23 Commits

Author SHA1 Message Date
d6b133a8e0 Версия 1.0.6
All checks were successful
release / release (push) Successful in 6m33s
2025-11-19 00:15:38 +08:00
c9486c54b2 Улучшен парсинг названий каналов (#7) 2025-11-18 23:49:28 +08:00
ac062aa1ba Версия 1.0.5
All checks were successful
release / release (push) Successful in 11m41s
2025-10-02 22:31:08 +08:00
bcd45e34bf Изменены ссылки на сайт 2025-10-02 01:22:58 +08:00
b3ee981bd1 Мелочи по зависимостям 2025-10-02 01:22:21 +08:00
182b9a92ce Увеличен таймаут получения плейлиста до 10 сек 2025-10-02 01:18:41 +08:00
fbc1870ce7 Снижен размер чанка до 512Б при проверке канала 2025-10-02 01:16:40 +08:00
edd18e92ed Корректировка расчёта рутин/таймаута 2025-10-02 01:15:08 +08:00
dc61d47b66 Вывод строки подключения redis 2025-10-02 01:12:46 +08:00
10c3b8f5c1 Фикс проверки рабочих каналов при корректном контенте, но ошибочном HTTP-коде 2025-10-01 12:21:27 +08:00
041b32e1df Версия 1.0.4
All checks were successful
release / release (push) Successful in 1m23s
2025-05-16 23:10:02 +08:00
e98d923ce5 Оптимизация проверки каналов (#5)
- теперь проверяется только первый 1 Кб контента
- скорректирована проверка mpd-контента
2025-05-16 23:09:27 +08:00
01ddf25ed5 Поддержка тегирования по атрибуту tvg-name канала 2025-05-13 16:48:34 +08:00
4772f0179d Версия 1.0.3 - фикс парсинга атрибутов тега #EXTM3U
All checks were successful
release / release (push) Successful in 1m15s
2025-05-13 16:45:15 +08:00
c00dc8d33e Обновлён README 2025-05-11 12:25:15 +08:00
57eb194efa Версия 1.0.2
All checks were successful
release / release (push) Successful in 1m6s
2025-05-10 18:36:04 +08:00
4cbdd41b7c Скорректирован расчёт нагрузки в сторону увеличения 2025-05-10 18:35:02 +08:00
79891d178f Исправлен подсчёт онлайн/оффлайн каналов после проверки 2025-05-10 18:30:37 +08:00
89601096ba Исправлена дата проверки оффлайн плейлистов 2025-05-10 12:07:54 +08:00
68329697ac Бейдж теперь ссылка на последний релиз 2025-05-10 12:00:41 +08:00
c2ff027223 Версия 1.0.1
All checks were successful
release / release (push) Successful in 1m42s
2025-05-10 11:56:44 +08:00
13723a2dc5 Инициализация attributes плейлиста (#3) 2025-05-10 11:55:26 +08:00
2412b570be Исправлено кэширование оффлайн плейлистов 2025-05-10 11:54:55 +08:00
10 changed files with 123 additions and 85 deletions

1
.gitignore vendored
View File

@@ -9,5 +9,6 @@ output/
*.m3u8
*.json
*.ini
iptvc
!/**/*.gitkeep

View File

@@ -1,19 +1,20 @@
# IPTV Checker (iptvc)
![Последний релиз](https://img.shields.io/gitea/v/release/IPTV/iptvc?gitea_url=https%3A%2F%2Fgit.axenov.dev&display_name=release&color=green&cacheSeconds=600)
[![Последний релиз](https://img.shields.io/gitea/v/release/IPTV/iptvc?gitea_url=https%3A%2F%2Fgit.axenov.dev&display_name=release&color=green&cacheSeconds=600)](https://git.axenov.dev/IPTV/iptvc/releases/latest)
Консольная программа для проверки IPTV-плейлистов в формате m3u или m3u8.
> [!IMPORTANT]
> Проект находится на ранней стадии разработки.
> Реализован минимально необходимый функционал.
> Возможны ошибки, неточности и обратно несовместимые изменения.
Для дополнительной документации можно обращаться в директорию [docs](./docs).
> **Веб-сайт:** [m3u.su](https://m3u.su)
> Исходный код: [git.axenov.dev/IPTV/iptvc](https://git.axenov.dev/IPTV/iptvc)
> Telegram-канал: [@iptv_aggregator](https://t.me/iptv_aggregator)
> Обсуждение: [@iptv_aggregator_chat](https://t.me/iptv_aggregator_chat)
> Дополнительные сведения:
> * [./docs](./docs)
> * [git.axenov.dev/IPTV/.profile](https://git.axenov.dev/IPTV/.profile)
## Установка
Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы релизов](https://git.axenov.dev/IPTV/iptvc/releases):
Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы последнего релиза](https://git.axenov.dev/IPTV/iptvc/releases/latest):
| ОС | Архив | Платформа |
|---------|----------------------|-----------|
@@ -62,10 +63,13 @@
2. Выполнить команду `./iptvc check` или `./iptvc check -i playlist.ini` для проверки всех плейлистов из файла `./playlists.ini`
3. Выполнить команду `./iptvc check -i test.ini -c ABC`, чтобы проверить только плейлист с кодом `ABC` из файла `./test.ini`
Если `-i` не указан явно, то будет попытка прочитать файл `playlists.ini`, находящийся в одной директории с iptvc.
Аргумент `-i` можно указывать только однажды, но его можно комбинировать с `-f` и `-u`.
### Другие возможности команды `check`
* `--random|-r X` -- проверить X случайных плейлистов из ini-файла
* `--json|-j` -- вывести результаты проверки в формате JSON
* `--quiet|-q` -- полностью подавить вывод лога (включая отладочную информацию)
* `--verbose|-v` -- добавить в лог более подробную отладочную информацию (значительно увеличит количество строк!)

View File

@@ -10,10 +10,11 @@ import (
"axenov/iptv-checker/app/cache"
"axenov/iptv-checker/app/config"
"axenov/iptv-checker/app/logger"
"github.com/redis/go-redis/v9"
)
const VERSION = "1.0.0"
const VERSION = "1.0.6"
// Arguments описывает аргументы командной строки
type Arguments struct {

14
app/cache/cache.go vendored
View File

@@ -10,28 +10,30 @@ import (
"axenov/iptv-checker/app/config"
"context"
"fmt"
"github.com/redis/go-redis/v9"
"log"
"strconv"
"github.com/redis/go-redis/v9"
)
func Init(cfg *config.CacheConfig) *redis.Client {
redis := redis.NewClient(&redis.Options{
Addr: fmt.Sprintf("%s:%s", cfg.Host, strconv.Itoa(int(cfg.Port))),
redisUrl := fmt.Sprintf("%s:%s", cfg.Host, strconv.Itoa(int(cfg.Port)))
redisClient := redis.NewClient(&redis.Options{
Addr: redisUrl,
DB: int(cfg.Db),
PoolSize: 1000,
ReadTimeout: -1,
WriteTimeout: -1,
})
client := redis.Conn()
client := redisClient.Conn()
ctx := context.Background()
err := client.Ping(ctx).Err()
if err == nil {
log.Println("Connected to cache DB")
log.Println("Connected to cache DB:", redisUrl)
cfg.IsActive = true
} else {
log.Println("Error while connecting to cache DB, program may work not as expected:", err)
}
return redis
return redisClient
}

View File

@@ -18,10 +18,10 @@ import (
"io"
"log"
"maps"
"math"
"math/rand"
"net/http"
"os"
"runtime"
"slices"
"strings"
"sync"
@@ -146,6 +146,7 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
if err != nil {
log.Printf("Cannot read playlist [%s]: %s\n", pls.Url, err)
offlineCount++
cachePlaylist(pls)
continue
}
@@ -156,10 +157,18 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
log.Printf("Parsed, checking channels (%d)...\n", len(pls.Channels))
pls = CheckChannels(pls)
lists[idx] = pls
cachePlaylist(pls)
}
return onlineCount, offlineCount
}
func cachePlaylist(pls playlist.Playlist) {
if !app.Config.Cache.IsActive {
return
}
if app.Config.Cache.IsActive {
jsonBytes, err := json.Marshal(pls)
if err != nil {
log.Printf("Error while saving playlist to cache: %s", err)
@@ -173,10 +182,6 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
log.Println("Cached sucessfully")
}
}
return onlineCount, offlineCount
}
// CheckChannels проверяет каналы и возвращает их же с результатами проверки
func CheckChannels(pls playlist.Playlist) playlist.Playlist {
@@ -213,16 +218,16 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
req, err := http.NewRequest("GET", tvChannel.URL, nil)
tvChannel.CheckedAt = time.Now().Unix()
if err != nil {
data := errorData{tvChannel: tvChannel, err: err}
chError <- data
return
}
//TODO user-agent
req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
req.Header.Set("Range", "bytes=0-511") // 512 B, but sometimes servers ignore it
resp, err := httpClient.Do(req)
tvChannel.CheckedAt = time.Now().Unix()
if err != nil {
data := errorData{tvChannel: tvChannel, err: err}
chError <- data
@@ -232,7 +237,8 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
tvChannel.Status = resp.StatusCode
tvChannel.IsOnline = tvChannel.Status < http.StatusBadRequest
tvChannel.ContentType = resp.Header.Get("Content-Type")
bodyBytes, _ := io.ReadAll(resp.Body)
chunk := io.LimitReader(resp.Body, 512) // just for sure
bodyBytes, _ := io.ReadAll(chunk)
bodyString := string(bodyBytes)
_ = resp.Body.Close()
contentType := http.DetectContentType(bodyBytes)
@@ -242,20 +248,17 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
isContentCorrect := isContentBinary ||
strings.Contains(bodyString, "#EXTM3U") ||
strings.Contains(bodyString, "<SegmentTemplate")
strings.Contains(bodyString, "#EXT-X-") ||
strings.Contains(bodyString, "<MPD ") ||
strings.Contains(bodyString, "<SegmentTemplate ") ||
strings.Contains(bodyString, "<AdaptationSet ")
if tvChannel.Status >= http.StatusBadRequest || !isContentCorrect {
if tvChannel.Status >= http.StatusBadRequest && !isContentCorrect {
tvChannel.Error = bodyString
chOffline <- tvChannel
return
}
if isContentBinary {
tvChannel.Content = "binary"
} else {
tvChannel.Content = bodyString
}
chOnline <- tvChannel
return
}(tvChannel)
@@ -265,7 +268,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
select {
case tvChannel := <-chOnline:
tvChannel.IsOnline = true
pls.OnlineCount++
pls.Channels[tvChannel.Id] = tvChannel
if app.Args.Verbose {
log.Printf("[%.3d/%.3d] ONLINE '%s'\n", idx, count, tvChannel.Title)
@@ -274,7 +276,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
log.Printf("> MimeType: %s\n", tvChannel.ContentType)
}
case tvChannel := <-chOffline:
pls.OfflineCount++
pls.Channels[tvChannel.Id] = tvChannel
if app.Args.Verbose {
log.Printf("[%.3d/%.3d] OFFLINE '%s'\n", idx, count, tvChannel.Title)
@@ -283,7 +284,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
log.Printf("> Status: %d\n", tvChannel.Status)
}
case data := <-chError:
pls.OfflineCount++
pls.Channels[data.tvChannel.Id] = data.tvChannel
if app.Args.Verbose {
log.Printf("[%.3d/%.3d] ERROR '%s'\n", idx, count, data.tvChannel.Title)
@@ -300,6 +300,14 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
close(chError)
pls.CheckedAt = time.Now().Unix()
for _, tvChannel := range pls.Channels {
if tvChannel.IsOnline {
pls.OnlineCount++
} else {
pls.OfflineCount++
}
}
log.Printf(
"Checked successfully! online=%d onlinePercent=%.2f%% offline=%d offlinePercent=%.2f%% elapsedTime=%.2fs",
pls.OnlineCount,
@@ -314,26 +322,22 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
// calcParameters вычисляет оптимальное количество горутин и таймаут запроса
func calcParameters(count int) (time.Duration, int) {
var routines int
var percentage float32
if count <= 100 {
routines = count
} else {
percentage = float32(runtime.NumCPU()) * 0.075
for percentage >= 1 {
percentage *= 0.5
}
routines = int(float32(count) * percentage)
}
if routines > 500 {
routines = 500
routines := count
if routines > 3000 {
routines = 3000
}
if routines < 1 {
routines = 1
}
timeout := 10 / float32(count) * 150
var digits = 1
x := count
for x >= 10 {
digits++
x /= 10
}
timeout := 10 - int(math.Ceil(float64(digits)*1.5))
if timeout > 10 {
timeout = 10
}

View File

@@ -12,6 +12,7 @@ import (
"os"
"regexp"
"strings"
"time"
)
// Group - структура для хранения информации о группе каналов
@@ -31,7 +32,6 @@ type Channel struct {
Status int `json:"status"` // Код статуса HTTP
IsOnline bool `json:"isOnline"` // Признак доступности канала (при Status < 400)
Error string `json:"error"` // Текст ошибки (при Status >= 400)
Content string `json:"content"` // Тело ответа (формат m3u, либо маскированные бинарные данные, либо пусто)
ContentType string `json:"contentType"` // MIME-тип тела ответа
Tags []string `json:"tags"` // Список тегов канала
CheckedAt int64 `json:"checkedAt"` // Время проверки в формате UNIX timestamp
@@ -106,23 +106,36 @@ func parseAttributes(line string) map[string]string {
return result
}
// parseName парсит название канала из строки тега #EXTINF
func parseName(line string) string {
//TODO https://git.axenov.dev/IPTV/iptvc/issues/7
parts := strings.Split(line, ",")
if len(parts) == 2 {
return strings.Trim(parts[1], " ")
}
// parseTitle парсит название канала из строки тега #EXTINF
func parseTitle(line string) string {
// сначала пытаемся по-доброму: в строке есть тег, могут быть атрибуты,
// есть запятая-разделитель, после неё -- название канала (с запятыми или без)
regex := regexp.MustCompile(`['"]?\s*,\s*(.+)`)
regexMatches := regex.FindAllStringSubmatch(line, -1)
return regexMatches[0][1]
if len(regexMatches) > 0 && len(regexMatches[0]) >= 2 {
return strings.TrimSpace(regexMatches[0][1])
}
// теперь пытаемся хоть как-то: в строке есть тег, могут быть атрибуты,
// НЕТ запятой-разделителя и название канала (с запятыми или без)
lastQuotePos := strings.LastIndexAny(line, `,"'`)
if lastQuotePos != -1 && lastQuotePos < len(line)-1 {
afterLastQuote := line[lastQuotePos+1:]
name := strings.TrimSpace(afterLastQuote)
if name != "" {
return name
}
}
return line // ну штош
}
// Download загружает плейлист по URL-адресу
func (pls *Playlist) Download() error {
content, err := utils.Fetch(pls.Url)
if err != nil {
pls.Content = err.Error()
pls.CheckedAt = time.Now().Unix()
return err
}
@@ -134,6 +147,8 @@ func (pls *Playlist) Download() error {
func (pls *Playlist) ReadFromFs() error {
content, err := os.ReadFile(pls.Url)
if err != nil {
pls.Content = err.Error()
pls.CheckedAt = time.Now().Unix()
return err
}
@@ -144,6 +159,7 @@ func (pls *Playlist) ReadFromFs() error {
// Parse разбирает плейлист
func (pls *Playlist) Parse() Playlist {
isChannel := false
pls.Attributes = make(map[string]string)
pls.Channels = make(map[string]Channel)
pls.Groups = make(map[string]Group)
@@ -158,14 +174,14 @@ func (pls *Playlist) Parse() Playlist {
}
if strings.HasPrefix(line, "#EXTM3U") {
pls.Attributes = parseAttributes(content)
pls.Attributes = parseAttributes(line)
continue
}
if strings.HasPrefix(line, "#EXTINF") {
isChannel = true
tmpChannel.Attributes = parseAttributes(line)
tmpChannel.Title = parseName(line)
tmpChannel.Title = parseTitle(line)
if tmpChannel.Title == "" {
if tvgid, ok := tmpChannel.Attributes["tvg-id"]; ok {

View File

@@ -19,6 +19,7 @@ import (
// TagBlock описывает объект с набором тегов, который подходит для каналов по регулярному выражению
type TagBlock struct {
TvgId string `json:"tvg-id"`
TvgName string `json:"tvg-name"`
Title string `json:"title"`
Tags []string `json:"tags"`
}
@@ -42,6 +43,18 @@ func (block *TagBlock) GetTags(ch playlist.Channel) []string {
if checkString == "" {
return result
}
} else if block.TvgName != "" {
regex, err = regexp.Compile(block.TvgName)
if err != nil {
return result
}
if _, ok := ch.Attributes["tvg-name"]; !ok {
return result
}
checkString = ch.Attributes["tvg-name"]
if checkString == "" {
return result
}
} else if block.Title != "" {
regex, err = regexp.Compile(block.Title)
if err != nil {

View File

@@ -51,13 +51,9 @@ func Fetch(url string) ([]byte, error) {
return nil, err
}
req.Header.Set(
"User-Agent",
"Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer",
)
req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
httpClient := http.Client{Timeout: 5 * time.Second}
httpClient := http.Client{Timeout: 10 * time.Second}
resp, err := httpClient.Do(req)
if err != nil {
return nil, err

View File

@@ -11,9 +11,10 @@ import (
"axenov/iptv-checker/app/checker"
"encoding/json"
"fmt"
"github.com/spf13/cobra"
"log"
"time"
"github.com/spf13/cobra"
)
// checkCmd represents the file command

View File

@@ -16,8 +16,8 @@ import (
// rootCmd represents the base command when called without any subcommands
var rootCmd = &cobra.Command{
Use: "iptvc",
Short: "Simple utility to check iptv playlists. Part of iptv.axenov.dev project.",
Long: `Simple utility to check iptv playlists. Part of iptv.axenov.dev project.
Short: "Simple utility to check iptv playlists. Part of m3u.su project.",
Long: `Simple utility to check iptv playlists. Part of m3u.su project.
Copyright (c) 2025, Антон Аксенов, MIT license.`,
// Uncomment the following line if your bare application
// has an action associated with it: