Версия 1.0.4

- теперь проверяется только первый 1 Кб контента
- скорректирована проверка mpd-контента

.gitignore

@@ -9,5 +9,6 @@ output/
 *.m3u8
 *.json
 *.ini
+iptvc
 
 !/**/*.gitkeep

README.md

@@ -1,19 +1,21 @@
 # IPTV Checker (iptvc)
 
-![Последний релиз](https://img.shields.io/gitea/v/release/IPTV/iptvc?gitea_url=https%3A%2F%2Fgit.axenov.dev&display_name=release&color=green&cacheSeconds=600)
+[![Последний релиз](https://img.shields.io/gitea/v/release/IPTV/iptvc?gitea_url=https%3A%2F%2Fgit.axenov.dev&display_name=release&color=green&cacheSeconds=600)](https://git.axenov.dev/IPTV/iptvc/releases/latest)
 
 Консольная программа для проверки IPTV-плейлистов в формате m3u или m3u8.
 
-> [!IMPORTANT]
-> Проект находится на ранней стадии разработки.
-> Реализован минимально необходимый функционал.
-> Возможны ошибки, неточности и обратно несовместимые изменения.
-
-Для дополнительной документации можно обращаться в директорию [docs](./docs).
+> **Веб-сайт:** [iptv.axenov.dev](https://iptv.axenov.dev)  
+> **Зеркало:** [m3u.su](https://m3u.su)  
+> Исходный код: [git.axenov.dev/IPTV/iptvc](https://git.axenov.dev/IPTV/iptvc)  
+> Telegram-канал: [@iptv_aggregator](https://t.me/iptv_aggregator)  
+> Обсуждение: [@iptv_aggregator_chat](https://t.me/iptv_aggregator_chat)  
+> Дополнительные сведения:
+> * [./docs](./docs)
+> * [git.axenov.dev/IPTV/.profile](https://git.axenov.dev/IPTV/.profile)  
 
 ## Установка
 
-Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы релизов](https://git.axenov.dev/IPTV/iptvc/releases):
+Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы последнего релиза](https://git.axenov.dev/IPTV/iptvc/releases/latest):
 
 | ОС      | Архив                | Платформа |
 |---------|----------------------|-----------|
@@ -62,10 +64,13 @@
 2. Выполнить команду `./iptvc check` или `./iptvc check -i playlist.ini` для проверки всех плейлистов из файла `./playlists.ini`
 3. Выполнить команду `./iptvc check -i test.ini -c ABC`, чтобы проверить только плейлист с кодом `ABC` из файла `./test.ini`
 
+Если `-i` не указан явно, то будет попытка прочитать файл `playlists.ini`, находящийся в одной директории с iptvc.
+
 Аргумент `-i` можно указывать только однажды, но его можно комбинировать с `-f` и `-u`.
 
 ### Другие возможности команды `check`
 
+* `--random|-r X` -- проверить X случайных плейлистов из ini-файла
 * `--json|-j` -- вывести результаты проверки в формате JSON
 * `--quiet|-q` -- полностью подавить вывод лога (включая отладочную информацию)
 * `--verbose|-v` -- добавить в лог более подробную отладочную информацию (значительно увеличит количество строк!)

app/app.go

@@ -13,7 +13,7 @@ import (
 	"github.com/redis/go-redis/v9"
 )
 
-const VERSION = "1.0.0"
+const VERSION = "1.0.4"
 
 // Arguments описывает аргументы командной строки
 type Arguments struct {

app/checker/checker.go

@@ -18,6 +18,7 @@ import (
 	"io"
 	"log"
 	"maps"
+	"math"
 	"math/rand"
 	"net/http"
 	"os"
@@ -146,6 +147,7 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
 		if err != nil {
 			log.Printf("Cannot read playlist [%s]: %s\n", pls.Url, err)
 			offlineCount++
+			cachePlaylist(pls)
 			continue
 		}
 
@@ -156,28 +158,30 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
 
 		log.Printf("Parsed, checking channels (%d)...\n", len(pls.Channels))
 		pls = CheckChannels(pls)
-
 		lists[idx] = pls
-
-		if app.Config.Cache.IsActive {
-			jsonBytes, err := json.Marshal(pls)
-			if err != nil {
-				log.Printf("Error while saving playlist to cache: %s", err)
-			}
-
-			ttl := time.Duration(app.Config.Cache.Ttl) * time.Second
-			written := app.Cache.Set(ctx, pls.Code, string(jsonBytes), ttl)
-			if written.Err() != nil {
-				log.Printf("Error while saving playlist to cache: %s", err)
-			}
-
-			log.Println("Cached sucessfully")
-		}
+		cachePlaylist(pls)
 	}
 
 	return onlineCount, offlineCount
 }
 
+func cachePlaylist(pls playlist.Playlist) {
+	if app.Config.Cache.IsActive {
+		jsonBytes, err := json.Marshal(pls)
+		if err != nil {
+			log.Printf("Error while saving playlist to cache: %s", err)
+		}
+
+		ttl := time.Duration(app.Config.Cache.Ttl) * time.Second
+		written := app.Cache.Set(ctx, pls.Code, string(jsonBytes), ttl)
+		if written.Err() != nil {
+			log.Printf("Error while saving playlist to cache: %s", err)
+		}
+
+		log.Println("Cached sucessfully")
+	}
+}
+
 // CheckChannels проверяет каналы и возвращает их же с результатами проверки
 func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 	type errorData struct {
@@ -213,7 +217,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 
 			http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
 			req, err := http.NewRequest("GET", tvChannel.URL, nil)
-			tvChannel.CheckedAt = time.Now().Unix()
 			if err != nil {
 				data := errorData{tvChannel: tvChannel, err: err}
 				chError <- data
@@ -222,7 +225,9 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 
 			//TODO user-agent
 			req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
+			req.Header.Add("Range", "bytes=0-1023") // 1 Kb, but sometimes servers ignore it
 			resp, err := httpClient.Do(req)
+			tvChannel.CheckedAt = time.Now().Unix()
 			if err != nil {
 				data := errorData{tvChannel: tvChannel, err: err}
 				chError <- data
@@ -232,7 +237,8 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 			tvChannel.Status = resp.StatusCode
 			tvChannel.IsOnline = tvChannel.Status < http.StatusBadRequest
 			tvChannel.ContentType = resp.Header.Get("Content-Type")
-			bodyBytes, _ := io.ReadAll(resp.Body)
+			chunk := io.LimitReader(resp.Body, 1024) // just for sure
+			bodyBytes, _ := io.ReadAll(chunk)
 			bodyString := string(bodyBytes)
 			_ = resp.Body.Close()
 			contentType := http.DetectContentType(bodyBytes)
@@ -242,7 +248,9 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 
 			isContentCorrect := isContentBinary ||
 				strings.Contains(bodyString, "#EXTM3U") ||
-				strings.Contains(bodyString, "<SegmentTemplate")
+				strings.Contains(bodyString, "<MPD ") ||
+				strings.Contains(bodyString, "<SegmentTemplate ") ||
+				strings.Contains(bodyString, "<AdaptationSet ")
 
 			if tvChannel.Status >= http.StatusBadRequest || !isContentCorrect {
 				tvChannel.Error = bodyString
@@ -250,12 +258,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 				return
 			}
 
-			if isContentBinary {
-				tvChannel.Content = "binary"
-			} else {
-				tvChannel.Content = bodyString
-			}
-
 			chOnline <- tvChannel
 			return
 		}(tvChannel)
@@ -265,7 +267,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 		select {
 		case tvChannel := <-chOnline:
 			tvChannel.IsOnline = true
-			pls.OnlineCount++
 			pls.Channels[tvChannel.Id] = tvChannel
 			if app.Args.Verbose {
 				log.Printf("[%.3d/%.3d] ONLINE '%s'\n", idx, count, tvChannel.Title)
@@ -274,7 +275,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 				log.Printf("> MimeType: %s\n", tvChannel.ContentType)
 			}
 		case tvChannel := <-chOffline:
-			pls.OfflineCount++
 			pls.Channels[tvChannel.Id] = tvChannel
 			if app.Args.Verbose {
 				log.Printf("[%.3d/%.3d] OFFLINE '%s'\n", idx, count, tvChannel.Title)
@@ -283,7 +283,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 				log.Printf("> Status: %d\n", tvChannel.Status)
 			}
 		case data := <-chError:
-			pls.OfflineCount++
 			pls.Channels[data.tvChannel.Id] = data.tvChannel
 			if app.Args.Verbose {
 				log.Printf("[%.3d/%.3d] ERROR '%s'\n", idx, count, data.tvChannel.Title)
@@ -300,6 +299,14 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 	close(chError)
 	pls.CheckedAt = time.Now().Unix()
 
+	for _, tvChannel := range pls.Channels {
+		if tvChannel.IsOnline {
+			pls.OnlineCount++
+		} else {
+			pls.OfflineCount++
+		}
+	}
+
 	log.Printf(
 		"Checked successfully! online=%d onlinePercent=%.2f%% offline=%d offlinePercent=%.2f%% elapsedTime=%.2fs",
 		pls.OnlineCount,
@@ -314,26 +321,27 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
 
 // calcParameters вычисляет оптимальное количество горутин и таймаут запроса
 func calcParameters(count int) (time.Duration, int) {
-	var routines int
-	var percentage float32
-
-	if count <= 100 {
-		routines = count
-	} else {
-		percentage = float32(runtime.NumCPU()) * 0.075
-		for percentage >= 1 {
-			percentage *= 0.5
-		}
-		routines = int(float32(count) * percentage)
+	percentage := float32(runtime.NumCPU()) / 10
+	for percentage >= 1 {
+		percentage *= 0.5
 	}
-	if routines > 500 {
-		routines = 500
+
+	routines := int(float32(count) * percentage)
+	if routines > 1500 {
+		routines = 1500
 	}
 	if routines < 1 {
 		routines = 1
 	}
 
-	timeout := 10 / float32(count) * 150
+	var digits int
+	x := count
+	for x >= 10 {
+		digits++
+		x /= 10
+	}
+
+	timeout := int(math.Ceil(math.Pow(10, float64(digits)) / float64(count) * 15))
 	if timeout > 10 {
 		timeout = 10
 	}

app/playlist/playlist.go

@@ -12,6 +12,7 @@ import (
 	"os"
 	"regexp"
 	"strings"
+	"time"
 )
 
 // Group - структура для хранения информации о группе каналов
@@ -31,7 +32,6 @@ type Channel struct {
 	Status      int               `json:"status"`      // Код статуса HTTP
 	IsOnline    bool              `json:"isOnline"`    // Признак доступности канала (при Status < 400)
 	Error       string            `json:"error"`       // Текст ошибки (при Status >= 400)
-	Content     string            `json:"content"`     // Тело ответа (формат m3u, либо маскированные бинарные данные, либо пусто)
 	ContentType string            `json:"contentType"` // MIME-тип тела ответа
 	Tags        []string          `json:"tags"`        // Список тегов канала
 	CheckedAt   int64             `json:"checkedAt"`   // Время проверки в формате UNIX timestamp
@@ -123,6 +123,8 @@ func parseName(line string) string {
 func (pls *Playlist) Download() error {
 	content, err := utils.Fetch(pls.Url)
 	if err != nil {
+		pls.Content = err.Error()
+		pls.CheckedAt = time.Now().Unix()
 		return err
 	}
 
@@ -134,6 +136,8 @@ func (pls *Playlist) Download() error {
 func (pls *Playlist) ReadFromFs() error {
 	content, err := os.ReadFile(pls.Url)
 	if err != nil {
+		pls.Content = err.Error()
+		pls.CheckedAt = time.Now().Unix()
 		return err
 	}
 
@@ -144,6 +148,7 @@ func (pls *Playlist) ReadFromFs() error {
 // Parse разбирает плейлист
 func (pls *Playlist) Parse() Playlist {
 	isChannel := false
+	pls.Attributes = make(map[string]string)
 	pls.Channels = make(map[string]Channel)
 	pls.Groups = make(map[string]Group)
 
@@ -158,7 +163,7 @@ func (pls *Playlist) Parse() Playlist {
 		}
 
 		if strings.HasPrefix(line, "#EXTM3U") {
-			pls.Attributes = parseAttributes(content)
+			pls.Attributes = parseAttributes(line)
 			continue
 		}
 

app/tagfile/tagfile.go

@@ -18,9 +18,10 @@ import (
 
 // TagBlock описывает объект с набором тегов, который подходит для каналов по регулярному выражению
 type TagBlock struct {
-	TvgId string   `json:"tvg-id"`
-	Title string   `json:"title"`
-	Tags  []string `json:"tags"`
+	TvgId   string   `json:"tvg-id"`
+	TvgName string   `json:"tvg-name"`
+	Title   string   `json:"title"`
+	Tags    []string `json:"tags"`
 }
 
 // GetTags возвращает теги, соответствующие каналу
@@ -42,6 +43,18 @@ func (block *TagBlock) GetTags(ch playlist.Channel) []string {
 		if checkString == "" {
 			return result
 		}
+	} else if block.TvgName != "" {
+		regex, err = regexp.Compile(block.TvgName)
+		if err != nil {
+			return result
+		}
+		if _, ok := ch.Attributes["tvg-name"]; !ok {
+			return result
+		}
+		checkString = ch.Attributes["tvg-name"]
+		if checkString == "" {
+			return result
+		}
 	} else if block.Title != "" {
 		regex, err = regexp.Compile(block.Title)
 		if err != nil {