Compare commits
25 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
ac062aa1ba
|
|||
|
bcd45e34bf
|
|||
|
b3ee981bd1
|
|||
|
182b9a92ce
|
|||
|
fbc1870ce7
|
|||
|
edd18e92ed
|
|||
|
dc61d47b66
|
|||
|
10c3b8f5c1
|
|||
|
041b32e1df
|
|||
|
e98d923ce5
|
|||
|
01ddf25ed5
|
|||
|
4772f0179d
|
|||
|
c00dc8d33e
|
|||
|
57eb194efa
|
|||
|
4cbdd41b7c
|
|||
|
79891d178f
|
|||
|
89601096ba
|
|||
|
68329697ac
|
|||
|
c2ff027223
|
|||
|
13723a2dc5
|
|||
|
2412b570be
|
|||
|
303ccdd02b
|
|||
|
b689f3e799
|
|||
|
c1a7f7e289
|
|||
|
994df87846
|
15
.env.example
15
.env.example
@@ -1,10 +1,9 @@
|
|||||||
APP_DEBUG=false
|
APP_DEBUG=false
|
||||||
|
|
||||||
HTTP_HOST=0.0.0.0
|
CACHE_ENABLED=false
|
||||||
HTTP_PORT=8031
|
CACHE_HOST=localhost
|
||||||
|
CACHE_PORT=6379
|
||||||
REDIS_HOST=
|
CACHE_USERNAME=
|
||||||
REDIS_PORT=
|
CACHE_PASSWORD=
|
||||||
REDIS_USERNAME=
|
CACHE_DB=1
|
||||||
REDIS_PASSWORD=
|
CACHE_TTL=1800
|
||||||
REDIS_DB=
|
|
||||||
|
|||||||
1
.gitignore
vendored
1
.gitignore
vendored
@@ -9,5 +9,6 @@ output/
|
|||||||
*.m3u8
|
*.m3u8
|
||||||
*.json
|
*.json
|
||||||
*.ini
|
*.ini
|
||||||
|
iptvc
|
||||||
|
|
||||||
!/**/*.gitkeep
|
!/**/*.gitkeep
|
||||||
|
|||||||
20
README.md
20
README.md
@@ -1,17 +1,20 @@
|
|||||||
# IPTV Checker (iptvc)
|
# IPTV Checker (iptvc)
|
||||||
|
|
||||||
|
[](https://git.axenov.dev/IPTV/iptvc/releases/latest)
|
||||||
|
|
||||||
Консольная программа для проверки IPTV-плейлистов в формате m3u или m3u8.
|
Консольная программа для проверки IPTV-плейлистов в формате m3u или m3u8.
|
||||||
|
|
||||||
> [!IMPORTANT]
|
> **Веб-сайт:** [m3u.su](https://m3u.su)
|
||||||
> Проект находится на ранней стадии разработки.
|
> Исходный код: [git.axenov.dev/IPTV/iptvc](https://git.axenov.dev/IPTV/iptvc)
|
||||||
> Реализован минимально необходимый функционал.
|
> Telegram-канал: [@iptv_aggregator](https://t.me/iptv_aggregator)
|
||||||
> Возможны ошибки, неточности и обратно несовместимые изменения.
|
> Обсуждение: [@iptv_aggregator_chat](https://t.me/iptv_aggregator_chat)
|
||||||
|
> Дополнительные сведения:
|
||||||
Для дополнительной документации можно обращаться в директорию [docs](./docs).
|
> * [./docs](./docs)
|
||||||
|
> * [git.axenov.dev/IPTV/.profile](https://git.axenov.dev/IPTV/.profile)
|
||||||
|
|
||||||
## Установка
|
## Установка
|
||||||
|
|
||||||
Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы релизов](https://git.axenov.dev/IPTV/iptvc/releases):
|
Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы последнего релиза](https://git.axenov.dev/IPTV/iptvc/releases/latest):
|
||||||
|
|
||||||
| ОС | Архив | Платформа |
|
| ОС | Архив | Платформа |
|
||||||
|---------|----------------------|-----------|
|
|---------|----------------------|-----------|
|
||||||
@@ -60,10 +63,13 @@
|
|||||||
2. Выполнить команду `./iptvc check` или `./iptvc check -i playlist.ini` для проверки всех плейлистов из файла `./playlists.ini`
|
2. Выполнить команду `./iptvc check` или `./iptvc check -i playlist.ini` для проверки всех плейлистов из файла `./playlists.ini`
|
||||||
3. Выполнить команду `./iptvc check -i test.ini -c ABC`, чтобы проверить только плейлист с кодом `ABC` из файла `./test.ini`
|
3. Выполнить команду `./iptvc check -i test.ini -c ABC`, чтобы проверить только плейлист с кодом `ABC` из файла `./test.ini`
|
||||||
|
|
||||||
|
Если `-i` не указан явно, то будет попытка прочитать файл `playlists.ini`, находящийся в одной директории с iptvc.
|
||||||
|
|
||||||
Аргумент `-i` можно указывать только однажды, но его можно комбинировать с `-f` и `-u`.
|
Аргумент `-i` можно указывать только однажды, но его можно комбинировать с `-f` и `-u`.
|
||||||
|
|
||||||
### Другие возможности команды `check`
|
### Другие возможности команды `check`
|
||||||
|
|
||||||
|
* `--random|-r X` -- проверить X случайных плейлистов из ini-файла
|
||||||
* `--json|-j` -- вывести результаты проверки в формате JSON
|
* `--json|-j` -- вывести результаты проверки в формате JSON
|
||||||
* `--quiet|-q` -- полностью подавить вывод лога (включая отладочную информацию)
|
* `--quiet|-q` -- полностью подавить вывод лога (включая отладочную информацию)
|
||||||
* `--verbose|-v` -- добавить в лог более подробную отладочную информацию (значительно увеличит количество строк!)
|
* `--verbose|-v` -- добавить в лог более подробную отладочную информацию (значительно увеличит количество строк!)
|
||||||
|
|||||||
16
app/app.go
16
app/app.go
@@ -7,11 +7,14 @@
|
|||||||
package app
|
package app
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"axenov/iptv-checker/app/cache"
|
||||||
"axenov/iptv-checker/app/config"
|
"axenov/iptv-checker/app/config"
|
||||||
|
"axenov/iptv-checker/app/logger"
|
||||||
|
|
||||||
"github.com/redis/go-redis/v9"
|
"github.com/redis/go-redis/v9"
|
||||||
)
|
)
|
||||||
|
|
||||||
const VERSION = "0.2.0"
|
const VERSION = "1.0.5"
|
||||||
|
|
||||||
// Arguments описывает аргументы командной строки
|
// Arguments описывает аргументы командной строки
|
||||||
type Arguments struct {
|
type Arguments struct {
|
||||||
@@ -25,14 +28,15 @@ type Arguments struct {
|
|||||||
|
|
||||||
var (
|
var (
|
||||||
Args Arguments
|
Args Arguments
|
||||||
Redis *redis.Client
|
Cache *redis.Client
|
||||||
Config *config.Config
|
Config *config.Config
|
||||||
//TagBlocks []tagfile.TagBlock
|
|
||||||
)
|
)
|
||||||
|
|
||||||
// Init инициализирует глобальные переменные
|
// Init инициализирует конфигурацию и подключение к keydb
|
||||||
func Init() {
|
func Init() {
|
||||||
Config = config.Init()
|
Config = config.Init()
|
||||||
//logger.Init(Args.NeedQuiet)
|
logger.Init(Args.NeedQuiet)
|
||||||
//Redis = cache.Init(Config.Redis)
|
if Config.Cache.IsEnabled {
|
||||||
|
Cache = cache.Init(&Config.Cache)
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
25
app/cache/cache.go
vendored
25
app/cache/cache.go
vendored
@@ -10,27 +10,30 @@ import (
|
|||||||
"axenov/iptv-checker/app/config"
|
"axenov/iptv-checker/app/config"
|
||||||
"context"
|
"context"
|
||||||
"fmt"
|
"fmt"
|
||||||
"github.com/redis/go-redis/v9"
|
|
||||||
"log"
|
"log"
|
||||||
"strconv"
|
"strconv"
|
||||||
|
|
||||||
|
"github.com/redis/go-redis/v9"
|
||||||
)
|
)
|
||||||
|
|
||||||
func Init(cfg config.RedisConfig) *redis.Client {
|
func Init(cfg *config.CacheConfig) *redis.Client {
|
||||||
rdb := redis.NewClient(&redis.Options{
|
redisUrl := fmt.Sprintf("%s:%s", cfg.Host, strconv.Itoa(int(cfg.Port)))
|
||||||
Addr: fmt.Sprintf("%s:%s", cfg.Host, strconv.Itoa(int(cfg.Port))),
|
redisClient := redis.NewClient(&redis.Options{
|
||||||
|
Addr: redisUrl,
|
||||||
DB: int(cfg.Db),
|
DB: int(cfg.Db),
|
||||||
PoolSize: 1000,
|
PoolSize: 1000,
|
||||||
ReadTimeout: -1,
|
ReadTimeout: -1,
|
||||||
WriteTimeout: -1,
|
WriteTimeout: -1,
|
||||||
})
|
})
|
||||||
client := rdb.Conn()
|
client := redisClient.Conn()
|
||||||
|
ctx := context.Background()
|
||||||
var ctx context.Context
|
err := client.Ping(ctx).Err()
|
||||||
if client.Ping(ctx).Err() != nil {
|
if err == nil {
|
||||||
log.Println("Error while connecting to Redis", cfg.Host, cfg.Port, cfg.Db)
|
log.Println("Connected to cache DB:", redisUrl)
|
||||||
|
cfg.IsActive = true
|
||||||
} else {
|
} else {
|
||||||
log.Println("Connected to Redis", cfg.Host, cfg.Port, cfg.Db)
|
log.Println("Error while connecting to cache DB, program may work not as expected:", err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return rdb
|
return redisClient
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -12,21 +12,26 @@ import (
|
|||||||
"axenov/iptv-checker/app/playlist"
|
"axenov/iptv-checker/app/playlist"
|
||||||
"axenov/iptv-checker/app/tagfile"
|
"axenov/iptv-checker/app/tagfile"
|
||||||
"axenov/iptv-checker/app/utils"
|
"axenov/iptv-checker/app/utils"
|
||||||
|
"context"
|
||||||
"crypto/tls"
|
"crypto/tls"
|
||||||
|
"encoding/json"
|
||||||
"io"
|
"io"
|
||||||
"log"
|
"log"
|
||||||
"maps"
|
"maps"
|
||||||
|
"math"
|
||||||
"math/rand"
|
"math/rand"
|
||||||
"net/http"
|
"net/http"
|
||||||
"os"
|
"os"
|
||||||
"runtime"
|
|
||||||
"slices"
|
"slices"
|
||||||
"strings"
|
"strings"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
)
|
)
|
||||||
|
|
||||||
var tagBlocks []tagfile.TagBlock
|
var (
|
||||||
|
tagBlocks []tagfile.TagBlock
|
||||||
|
ctx = context.Background()
|
||||||
|
)
|
||||||
|
|
||||||
// PrepareListsToCheck готовит список плейлистов для проверки
|
// PrepareListsToCheck готовит список плейлистов для проверки
|
||||||
func PrepareListsToCheck(files []string, urls []string, codes []string) []playlist.Playlist {
|
func PrepareListsToCheck(files []string, urls []string, codes []string) []playlist.Playlist {
|
||||||
@@ -68,7 +73,19 @@ func PrepareListsToCheck(files []string, urls []string, codes []string) []playli
|
|||||||
lists = append(lists, list)
|
lists = append(lists, list)
|
||||||
}
|
}
|
||||||
} else {
|
} else {
|
||||||
lists = slices.Collect(maps.Values(ini.Lists))
|
if app.Config.Cache.IsActive {
|
||||||
|
cachedLists := getCachedPlaylists()
|
||||||
|
for key := range ini.Lists {
|
||||||
|
if _, ok := cachedLists[key]; ok {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
lists = append(lists, ini.Lists[key])
|
||||||
|
}
|
||||||
|
log.Printf("Found %d cached playlists\n", len(cachedLists))
|
||||||
|
} else {
|
||||||
|
lists = slices.Collect(maps.Values(ini.Lists))
|
||||||
|
}
|
||||||
|
|
||||||
if int(app.Args.RandomCount) > 0 && int(app.Args.RandomCount) <= len(lists) {
|
if int(app.Args.RandomCount) > 0 && int(app.Args.RandomCount) <= len(lists) {
|
||||||
rand.Shuffle(len(lists), func(i int, j int) { lists[i], lists[j] = lists[j], lists[i] })
|
rand.Shuffle(len(lists), func(i int, j int) { lists[i], lists[j] = lists[j], lists[i] })
|
||||||
lists = lists[:app.Args.RandomCount]
|
lists = lists[:app.Args.RandomCount]
|
||||||
@@ -79,17 +96,31 @@ func PrepareListsToCheck(files []string, urls []string, codes []string) []playli
|
|||||||
return lists
|
return lists
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// getCachedPlaylists возвращает из кеша проверенные ранее плейлисты
|
||||||
|
func getCachedPlaylists() map[string]playlist.Playlist {
|
||||||
|
result := make(map[string]playlist.Playlist)
|
||||||
|
keys := app.Cache.Keys(ctx, "*")
|
||||||
|
for _, key := range keys.Val() {
|
||||||
|
value := app.Cache.Get(ctx, key).Val()
|
||||||
|
var pls playlist.Playlist
|
||||||
|
_ = json.Unmarshal([]byte(value), &pls)
|
||||||
|
result[pls.Code] = pls
|
||||||
|
}
|
||||||
|
return result
|
||||||
|
}
|
||||||
|
|
||||||
// CheckPlaylists проверяет плейлисты и возвращает их же с результатами проверки
|
// CheckPlaylists проверяет плейлисты и возвращает их же с результатами проверки
|
||||||
func CheckPlaylists(lists []playlist.Playlist) (int, int) {
|
func CheckPlaylists(lists []playlist.Playlist) (int, int) {
|
||||||
step, onlineCount, offlineCount := 0, 0, 0
|
|
||||||
count := len(lists)
|
count := len(lists)
|
||||||
tagBlocks = tagfile.Init(app.Args.TagsPath)
|
|
||||||
|
|
||||||
if count == 0 {
|
if count == 0 {
|
||||||
log.Println("There are no playlists to check")
|
log.Println("There are no playlists to check")
|
||||||
os.Exit(0)
|
os.Exit(0)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
log.Printf("%d playlists will be checked\n", len(lists))
|
||||||
|
step, onlineCount, offlineCount := 0, 0, 0
|
||||||
|
tagBlocks = tagfile.Init(app.Args.TagsPath)
|
||||||
|
|
||||||
for idx := range lists {
|
for idx := range lists {
|
||||||
pls := lists[idx]
|
pls := lists[idx]
|
||||||
step++
|
step++
|
||||||
@@ -115,6 +146,7 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
|
|||||||
if err != nil {
|
if err != nil {
|
||||||
log.Printf("Cannot read playlist [%s]: %s\n", pls.Url, err)
|
log.Printf("Cannot read playlist [%s]: %s\n", pls.Url, err)
|
||||||
offlineCount++
|
offlineCount++
|
||||||
|
cachePlaylist(pls)
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -125,13 +157,32 @@ func CheckPlaylists(lists []playlist.Playlist) (int, int) {
|
|||||||
|
|
||||||
log.Printf("Parsed, checking channels (%d)...\n", len(pls.Channels))
|
log.Printf("Parsed, checking channels (%d)...\n", len(pls.Channels))
|
||||||
pls = CheckChannels(pls)
|
pls = CheckChannels(pls)
|
||||||
|
|
||||||
lists[idx] = pls
|
lists[idx] = pls
|
||||||
|
cachePlaylist(pls)
|
||||||
}
|
}
|
||||||
|
|
||||||
return onlineCount, offlineCount
|
return onlineCount, offlineCount
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func cachePlaylist(pls playlist.Playlist) {
|
||||||
|
if !app.Config.Cache.IsActive {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
jsonBytes, err := json.Marshal(pls)
|
||||||
|
if err != nil {
|
||||||
|
log.Printf("Error while saving playlist to cache: %s", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
ttl := time.Duration(app.Config.Cache.Ttl) * time.Second
|
||||||
|
written := app.Cache.Set(ctx, pls.Code, string(jsonBytes), ttl)
|
||||||
|
if written.Err() != nil {
|
||||||
|
log.Printf("Error while saving playlist to cache: %s", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
log.Println("Cached sucessfully")
|
||||||
|
}
|
||||||
|
|
||||||
// CheckChannels проверяет каналы и возвращает их же с результатами проверки
|
// CheckChannels проверяет каналы и возвращает их же с результатами проверки
|
||||||
func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
||||||
type errorData struct {
|
type errorData struct {
|
||||||
@@ -167,16 +218,16 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
|
|
||||||
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
|
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
|
||||||
req, err := http.NewRequest("GET", tvChannel.URL, nil)
|
req, err := http.NewRequest("GET", tvChannel.URL, nil)
|
||||||
tvChannel.CheckedAt = time.Now().Unix()
|
|
||||||
if err != nil {
|
if err != nil {
|
||||||
data := errorData{tvChannel: tvChannel, err: err}
|
data := errorData{tvChannel: tvChannel, err: err}
|
||||||
chError <- data
|
chError <- data
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
//TODO user-agent
|
|
||||||
req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
|
req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
|
||||||
|
req.Header.Set("Range", "bytes=0-511") // 512 B, but sometimes servers ignore it
|
||||||
resp, err := httpClient.Do(req)
|
resp, err := httpClient.Do(req)
|
||||||
|
tvChannel.CheckedAt = time.Now().Unix()
|
||||||
if err != nil {
|
if err != nil {
|
||||||
data := errorData{tvChannel: tvChannel, err: err}
|
data := errorData{tvChannel: tvChannel, err: err}
|
||||||
chError <- data
|
chError <- data
|
||||||
@@ -186,9 +237,10 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
tvChannel.Status = resp.StatusCode
|
tvChannel.Status = resp.StatusCode
|
||||||
tvChannel.IsOnline = tvChannel.Status < http.StatusBadRequest
|
tvChannel.IsOnline = tvChannel.Status < http.StatusBadRequest
|
||||||
tvChannel.ContentType = resp.Header.Get("Content-Type")
|
tvChannel.ContentType = resp.Header.Get("Content-Type")
|
||||||
bodyBytes, _ := io.ReadAll(resp.Body)
|
chunk := io.LimitReader(resp.Body, 512) // just for sure
|
||||||
|
bodyBytes, _ := io.ReadAll(chunk)
|
||||||
bodyString := string(bodyBytes)
|
bodyString := string(bodyBytes)
|
||||||
resp.Body.Close()
|
_ = resp.Body.Close()
|
||||||
contentType := http.DetectContentType(bodyBytes)
|
contentType := http.DetectContentType(bodyBytes)
|
||||||
|
|
||||||
isContentBinary := strings.Contains(contentType, "octet-stream") ||
|
isContentBinary := strings.Contains(contentType, "octet-stream") ||
|
||||||
@@ -196,20 +248,17 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
|
|
||||||
isContentCorrect := isContentBinary ||
|
isContentCorrect := isContentBinary ||
|
||||||
strings.Contains(bodyString, "#EXTM3U") ||
|
strings.Contains(bodyString, "#EXTM3U") ||
|
||||||
strings.Contains(bodyString, "<SegmentTemplate")
|
strings.Contains(bodyString, "#EXT-X-") ||
|
||||||
|
strings.Contains(bodyString, "<MPD ") ||
|
||||||
|
strings.Contains(bodyString, "<SegmentTemplate ") ||
|
||||||
|
strings.Contains(bodyString, "<AdaptationSet ")
|
||||||
|
|
||||||
if tvChannel.Status >= http.StatusBadRequest || !isContentCorrect {
|
if tvChannel.Status >= http.StatusBadRequest && !isContentCorrect {
|
||||||
tvChannel.Error = bodyString
|
tvChannel.Error = bodyString
|
||||||
chOffline <- tvChannel
|
chOffline <- tvChannel
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
if isContentBinary {
|
|
||||||
tvChannel.Content = "binary"
|
|
||||||
} else {
|
|
||||||
tvChannel.Content = bodyString
|
|
||||||
}
|
|
||||||
|
|
||||||
chOnline <- tvChannel
|
chOnline <- tvChannel
|
||||||
return
|
return
|
||||||
}(tvChannel)
|
}(tvChannel)
|
||||||
@@ -219,7 +268,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
select {
|
select {
|
||||||
case tvChannel := <-chOnline:
|
case tvChannel := <-chOnline:
|
||||||
tvChannel.IsOnline = true
|
tvChannel.IsOnline = true
|
||||||
pls.OnlineCount++
|
|
||||||
pls.Channels[tvChannel.Id] = tvChannel
|
pls.Channels[tvChannel.Id] = tvChannel
|
||||||
if app.Args.Verbose {
|
if app.Args.Verbose {
|
||||||
log.Printf("[%.3d/%.3d] ONLINE '%s'\n", idx, count, tvChannel.Title)
|
log.Printf("[%.3d/%.3d] ONLINE '%s'\n", idx, count, tvChannel.Title)
|
||||||
@@ -228,7 +276,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
log.Printf("> MimeType: %s\n", tvChannel.ContentType)
|
log.Printf("> MimeType: %s\n", tvChannel.ContentType)
|
||||||
}
|
}
|
||||||
case tvChannel := <-chOffline:
|
case tvChannel := <-chOffline:
|
||||||
pls.OfflineCount++
|
|
||||||
pls.Channels[tvChannel.Id] = tvChannel
|
pls.Channels[tvChannel.Id] = tvChannel
|
||||||
if app.Args.Verbose {
|
if app.Args.Verbose {
|
||||||
log.Printf("[%.3d/%.3d] OFFLINE '%s'\n", idx, count, tvChannel.Title)
|
log.Printf("[%.3d/%.3d] OFFLINE '%s'\n", idx, count, tvChannel.Title)
|
||||||
@@ -237,7 +284,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
log.Printf("> Status: %d\n", tvChannel.Status)
|
log.Printf("> Status: %d\n", tvChannel.Status)
|
||||||
}
|
}
|
||||||
case data := <-chError:
|
case data := <-chError:
|
||||||
pls.OfflineCount++
|
|
||||||
pls.Channels[data.tvChannel.Id] = data.tvChannel
|
pls.Channels[data.tvChannel.Id] = data.tvChannel
|
||||||
if app.Args.Verbose {
|
if app.Args.Verbose {
|
||||||
log.Printf("[%.3d/%.3d] ERROR '%s'\n", idx, count, data.tvChannel.Title)
|
log.Printf("[%.3d/%.3d] ERROR '%s'\n", idx, count, data.tvChannel.Title)
|
||||||
@@ -254,6 +300,14 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
close(chError)
|
close(chError)
|
||||||
pls.CheckedAt = time.Now().Unix()
|
pls.CheckedAt = time.Now().Unix()
|
||||||
|
|
||||||
|
for _, tvChannel := range pls.Channels {
|
||||||
|
if tvChannel.IsOnline {
|
||||||
|
pls.OnlineCount++
|
||||||
|
} else {
|
||||||
|
pls.OfflineCount++
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
log.Printf(
|
log.Printf(
|
||||||
"Checked successfully! online=%d onlinePercent=%.2f%% offline=%d offlinePercent=%.2f%% elapsedTime=%.2fs",
|
"Checked successfully! online=%d onlinePercent=%.2f%% offline=%d offlinePercent=%.2f%% elapsedTime=%.2fs",
|
||||||
pls.OnlineCount,
|
pls.OnlineCount,
|
||||||
@@ -268,26 +322,22 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
|
|||||||
|
|
||||||
// calcParameters вычисляет оптимальное количество горутин и таймаут запроса
|
// calcParameters вычисляет оптимальное количество горутин и таймаут запроса
|
||||||
func calcParameters(count int) (time.Duration, int) {
|
func calcParameters(count int) (time.Duration, int) {
|
||||||
var routines int
|
routines := count
|
||||||
var percentage float32
|
if routines > 3000 {
|
||||||
|
routines = 3000
|
||||||
if count <= 100 {
|
|
||||||
routines = count
|
|
||||||
} else {
|
|
||||||
percentage = float32(runtime.NumCPU()) * 0.075
|
|
||||||
for percentage >= 1 {
|
|
||||||
percentage *= 0.5
|
|
||||||
}
|
|
||||||
routines = int(float32(count) * percentage)
|
|
||||||
}
|
|
||||||
if routines > 500 {
|
|
||||||
routines = 500
|
|
||||||
}
|
}
|
||||||
if routines < 1 {
|
if routines < 1 {
|
||||||
routines = 1
|
routines = 1
|
||||||
}
|
}
|
||||||
|
|
||||||
timeout := 10 / float32(count) * 150
|
var digits = 1
|
||||||
|
x := count
|
||||||
|
for x >= 10 {
|
||||||
|
digits++
|
||||||
|
x /= 10
|
||||||
|
}
|
||||||
|
|
||||||
|
timeout := 10 - int(math.Ceil(float64(digits)*1.5))
|
||||||
if timeout > 10 {
|
if timeout > 10 {
|
||||||
timeout = 10
|
timeout = 10
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -7,6 +7,7 @@
|
|||||||
package config
|
package config
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"github.com/joho/godotenv"
|
||||||
"os"
|
"os"
|
||||||
"strconv"
|
"strconv"
|
||||||
)
|
)
|
||||||
@@ -14,39 +15,34 @@ import (
|
|||||||
// Config описывает конфигурацию
|
// Config описывает конфигурацию
|
||||||
type Config struct {
|
type Config struct {
|
||||||
DebugMode bool
|
DebugMode bool
|
||||||
Redis RedisConfig
|
Cache CacheConfig
|
||||||
Http HttpConfig
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// RedisConfig описывает конфигурацию подключения к Redis
|
// CacheConfig описывает конфигурацию подключения к keydb
|
||||||
type RedisConfig struct {
|
type CacheConfig struct {
|
||||||
Host string
|
IsEnabled bool
|
||||||
Port uint
|
Host string
|
||||||
Username string
|
Port uint
|
||||||
Password string
|
Username string
|
||||||
Db uint
|
Password string
|
||||||
}
|
Db uint
|
||||||
|
Ttl uint
|
||||||
// HttpConfig описывает конфигурацию веб-сервера
|
IsActive bool
|
||||||
type HttpConfig struct {
|
|
||||||
Host string
|
|
||||||
Port uint
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// Init инициализирует объект конфигурации из переменных окружения
|
// Init инициализирует объект конфигурации из переменных окружения
|
||||||
func Init() *Config {
|
func Init() *Config {
|
||||||
|
_ = godotenv.Load(".env")
|
||||||
return &Config{
|
return &Config{
|
||||||
DebugMode: readEnvBoolean("APP_DEBUG", false),
|
//DebugMode: readEnvBoolean("APP_DEBUG", false),
|
||||||
Redis: RedisConfig{
|
Cache: CacheConfig{
|
||||||
Host: readEnv("REDIS_HOST", ""),
|
IsEnabled: readEnvBoolean("CACHE_ENABLED", false),
|
||||||
Port: readEnvInteger("REDIS_PORT", 6379),
|
Host: readEnv("CACHE_HOST", "localhost"),
|
||||||
Username: readEnv("REDIS_USERNAME", ""),
|
Port: readEnvInteger("CACHE_PORT", 6379),
|
||||||
Password: readEnv("REDIS_PASSWORD", ""),
|
Username: readEnv("CACHE_USERNAME", ""),
|
||||||
Db: readEnvInteger("REDIS_DB", 0),
|
Password: readEnv("CACHE_PASSWORD", ""),
|
||||||
},
|
Db: readEnvInteger("CACHE_DB", 0),
|
||||||
Http: HttpConfig{
|
Ttl: readEnvInteger("CACHE_TTL", 1800),
|
||||||
Host: readEnv("HTTP_HOST", "0.0.0.0"),
|
|
||||||
Port: readEnvInteger("HTTP_PORT", 1380),
|
|
||||||
},
|
},
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -57,7 +53,6 @@ func readEnv(key string, defaultValue string) string {
|
|||||||
if exists {
|
if exists {
|
||||||
return value
|
return value
|
||||||
}
|
}
|
||||||
|
|
||||||
return defaultValue
|
return defaultValue
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -44,7 +44,7 @@ func Init(path string) (IniFile, error) {
|
|||||||
|
|
||||||
log.Println("Loading playlists from ini-file:", pathNormalized)
|
log.Println("Loading playlists from ini-file:", pathNormalized)
|
||||||
for _, section := range iniFile.Sections() {
|
for _, section := range iniFile.Sections() {
|
||||||
if section.Name() == ini.DefaultSection { //TODO выкосить костыль
|
if section.Name() == ini.DefaultSection {
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -12,6 +12,7 @@ import (
|
|||||||
"os"
|
"os"
|
||||||
"regexp"
|
"regexp"
|
||||||
"strings"
|
"strings"
|
||||||
|
"time"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Group - структура для хранения информации о группе каналов
|
// Group - структура для хранения информации о группе каналов
|
||||||
@@ -31,7 +32,6 @@ type Channel struct {
|
|||||||
Status int `json:"status"` // Код статуса HTTP
|
Status int `json:"status"` // Код статуса HTTP
|
||||||
IsOnline bool `json:"isOnline"` // Признак доступности канала (при Status < 400)
|
IsOnline bool `json:"isOnline"` // Признак доступности канала (при Status < 400)
|
||||||
Error string `json:"error"` // Текст ошибки (при Status >= 400)
|
Error string `json:"error"` // Текст ошибки (при Status >= 400)
|
||||||
Content string `json:"content"` // Тело ответа (формат m3u, либо маскированные бинарные данные, либо пусто)
|
|
||||||
ContentType string `json:"contentType"` // MIME-тип тела ответа
|
ContentType string `json:"contentType"` // MIME-тип тела ответа
|
||||||
Tags []string `json:"tags"` // Список тегов канала
|
Tags []string `json:"tags"` // Список тегов канала
|
||||||
CheckedAt int64 `json:"checkedAt"` // Время проверки в формате UNIX timestamp
|
CheckedAt int64 `json:"checkedAt"` // Время проверки в формате UNIX timestamp
|
||||||
@@ -123,6 +123,8 @@ func parseName(line string) string {
|
|||||||
func (pls *Playlist) Download() error {
|
func (pls *Playlist) Download() error {
|
||||||
content, err := utils.Fetch(pls.Url)
|
content, err := utils.Fetch(pls.Url)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
|
pls.Content = err.Error()
|
||||||
|
pls.CheckedAt = time.Now().Unix()
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -134,6 +136,8 @@ func (pls *Playlist) Download() error {
|
|||||||
func (pls *Playlist) ReadFromFs() error {
|
func (pls *Playlist) ReadFromFs() error {
|
||||||
content, err := os.ReadFile(pls.Url)
|
content, err := os.ReadFile(pls.Url)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
|
pls.Content = err.Error()
|
||||||
|
pls.CheckedAt = time.Now().Unix()
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -144,6 +148,7 @@ func (pls *Playlist) ReadFromFs() error {
|
|||||||
// Parse разбирает плейлист
|
// Parse разбирает плейлист
|
||||||
func (pls *Playlist) Parse() Playlist {
|
func (pls *Playlist) Parse() Playlist {
|
||||||
isChannel := false
|
isChannel := false
|
||||||
|
pls.Attributes = make(map[string]string)
|
||||||
pls.Channels = make(map[string]Channel)
|
pls.Channels = make(map[string]Channel)
|
||||||
pls.Groups = make(map[string]Group)
|
pls.Groups = make(map[string]Group)
|
||||||
|
|
||||||
@@ -158,7 +163,7 @@ func (pls *Playlist) Parse() Playlist {
|
|||||||
}
|
}
|
||||||
|
|
||||||
if strings.HasPrefix(line, "#EXTM3U") {
|
if strings.HasPrefix(line, "#EXTM3U") {
|
||||||
pls.Attributes = parseAttributes(content)
|
pls.Attributes = parseAttributes(line)
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -18,9 +18,10 @@ import (
|
|||||||
|
|
||||||
// TagBlock описывает объект с набором тегов, который подходит для каналов по регулярному выражению
|
// TagBlock описывает объект с набором тегов, который подходит для каналов по регулярному выражению
|
||||||
type TagBlock struct {
|
type TagBlock struct {
|
||||||
TvgId string `json:"tvg-id"`
|
TvgId string `json:"tvg-id"`
|
||||||
Title string `json:"title"`
|
TvgName string `json:"tvg-name"`
|
||||||
Tags []string `json:"tags"`
|
Title string `json:"title"`
|
||||||
|
Tags []string `json:"tags"`
|
||||||
}
|
}
|
||||||
|
|
||||||
// GetTags возвращает теги, соответствующие каналу
|
// GetTags возвращает теги, соответствующие каналу
|
||||||
@@ -42,6 +43,18 @@ func (block *TagBlock) GetTags(ch playlist.Channel) []string {
|
|||||||
if checkString == "" {
|
if checkString == "" {
|
||||||
return result
|
return result
|
||||||
}
|
}
|
||||||
|
} else if block.TvgName != "" {
|
||||||
|
regex, err = regexp.Compile(block.TvgName)
|
||||||
|
if err != nil {
|
||||||
|
return result
|
||||||
|
}
|
||||||
|
if _, ok := ch.Attributes["tvg-name"]; !ok {
|
||||||
|
return result
|
||||||
|
}
|
||||||
|
checkString = ch.Attributes["tvg-name"]
|
||||||
|
if checkString == "" {
|
||||||
|
return result
|
||||||
|
}
|
||||||
} else if block.Title != "" {
|
} else if block.Title != "" {
|
||||||
regex, err = regexp.Compile(block.Title)
|
regex, err = regexp.Compile(block.Title)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
|
|||||||
@@ -51,13 +51,9 @@ func Fetch(url string) ([]byte, error) {
|
|||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
req.Header.Set(
|
req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
|
||||||
"User-Agent",
|
|
||||||
"Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer",
|
|
||||||
)
|
|
||||||
|
|
||||||
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
|
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
|
||||||
httpClient := http.Client{Timeout: 5 * time.Second}
|
httpClient := http.Client{Timeout: 10 * time.Second}
|
||||||
resp, err := httpClient.Do(req)
|
resp, err := httpClient.Do(req)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
|
|||||||
@@ -9,12 +9,12 @@ package cmd
|
|||||||
import (
|
import (
|
||||||
"axenov/iptv-checker/app"
|
"axenov/iptv-checker/app"
|
||||||
"axenov/iptv-checker/app/checker"
|
"axenov/iptv-checker/app/checker"
|
||||||
"axenov/iptv-checker/app/logger"
|
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"fmt"
|
"fmt"
|
||||||
"github.com/spf13/cobra"
|
|
||||||
"log"
|
"log"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"github.com/spf13/cobra"
|
||||||
)
|
)
|
||||||
|
|
||||||
// checkCmd represents the file command
|
// checkCmd represents the file command
|
||||||
@@ -22,7 +22,7 @@ var checkCmd = &cobra.Command{
|
|||||||
Use: "check",
|
Use: "check",
|
||||||
Short: "Check playlists",
|
Short: "Check playlists",
|
||||||
Run: func(cmd *cobra.Command, args []string) {
|
Run: func(cmd *cobra.Command, args []string) {
|
||||||
logger.Init(app.Args.NeedQuiet)
|
app.Init()
|
||||||
|
|
||||||
files, _ := cmd.Flags().GetStringSlice("file")
|
files, _ := cmd.Flags().GetStringSlice("file")
|
||||||
urls, _ := cmd.Flags().GetStringSlice("url")
|
urls, _ := cmd.Flags().GetStringSlice("url")
|
||||||
|
|||||||
@@ -16,8 +16,8 @@ import (
|
|||||||
// rootCmd represents the base command when called without any subcommands
|
// rootCmd represents the base command when called without any subcommands
|
||||||
var rootCmd = &cobra.Command{
|
var rootCmd = &cobra.Command{
|
||||||
Use: "iptvc",
|
Use: "iptvc",
|
||||||
Short: "Simple utility to check iptv playlists. Part of iptv.axenov.dev project.",
|
Short: "Simple utility to check iptv playlists. Part of m3u.su project.",
|
||||||
Long: `Simple utility to check iptv playlists. Part of iptv.axenov.dev project.
|
Long: `Simple utility to check iptv playlists. Part of m3u.su project.
|
||||||
Copyright (c) 2025, Антон Аксенов, MIT license.`,
|
Copyright (c) 2025, Антон Аксенов, MIT license.`,
|
||||||
// Uncomment the following line if your bare application
|
// Uncomment the following line if your bare application
|
||||||
// has an action associated with it:
|
// has an action associated with it:
|
||||||
@@ -27,7 +27,6 @@ Copyright (c) 2025, Антон Аксенов, MIT license.`,
|
|||||||
// Execute adds all child commands to the root command and sets flags appropriately.
|
// Execute adds all child commands to the root command and sets flags appropriately.
|
||||||
// This is called by main.main(). It only needs to happen once to the rootCmd.
|
// This is called by main.main(). It only needs to happen once to the rootCmd.
|
||||||
func Execute() {
|
func Execute() {
|
||||||
app.Init()
|
|
||||||
err := rootCmd.Execute()
|
err := rootCmd.Execute()
|
||||||
if err != nil {
|
if err != nil {
|
||||||
os.Exit(1)
|
os.Exit(1)
|
||||||
|
|||||||
3
go.mod
3
go.mod
@@ -3,7 +3,9 @@ module axenov/iptv-checker
|
|||||||
go 1.23.6
|
go 1.23.6
|
||||||
|
|
||||||
require (
|
require (
|
||||||
|
github.com/joho/godotenv v1.5.1
|
||||||
github.com/redis/go-redis/v9 v9.7.3
|
github.com/redis/go-redis/v9 v9.7.3
|
||||||
|
github.com/spf13/cobra v1.9.1
|
||||||
gopkg.in/ini.v1 v1.67.0
|
gopkg.in/ini.v1 v1.67.0
|
||||||
)
|
)
|
||||||
|
|
||||||
@@ -12,7 +14,6 @@ require (
|
|||||||
github.com/davecgh/go-spew v1.1.1 // indirect
|
github.com/davecgh/go-spew v1.1.1 // indirect
|
||||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
|
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
|
||||||
github.com/inconshreveable/mousetrap v1.1.0 // indirect
|
github.com/inconshreveable/mousetrap v1.1.0 // indirect
|
||||||
github.com/spf13/cobra v1.9.1 // indirect
|
|
||||||
github.com/spf13/pflag v1.0.6 // indirect
|
github.com/spf13/pflag v1.0.6 // indirect
|
||||||
github.com/stretchr/testify v1.7.0 // indirect
|
github.com/stretchr/testify v1.7.0 // indirect
|
||||||
)
|
)
|
||||||
|
|||||||
4
go.sum
4
go.sum
@@ -12,6 +12,8 @@ github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/r
|
|||||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
|
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
|
||||||
github.com/inconshreveable/mousetrap v1.1.0 h1:wN+x4NVGpMsO7ErUn/mUI3vEoE6Jt13X2s0bqwp9tc8=
|
github.com/inconshreveable/mousetrap v1.1.0 h1:wN+x4NVGpMsO7ErUn/mUI3vEoE6Jt13X2s0bqwp9tc8=
|
||||||
github.com/inconshreveable/mousetrap v1.1.0/go.mod h1:vpF70FUmC8bwa3OWnCshd2FqLfsEA9PFc4w1p2J65bw=
|
github.com/inconshreveable/mousetrap v1.1.0/go.mod h1:vpF70FUmC8bwa3OWnCshd2FqLfsEA9PFc4w1p2J65bw=
|
||||||
|
github.com/joho/godotenv v1.5.1 h1:7eLL/+HRGLY0ldzfGMeQkb7vMd0as4CfYvUVzLqw0N0=
|
||||||
|
github.com/joho/godotenv v1.5.1/go.mod h1:f4LDr5Voq0i2e/R5DDNOoa2zzDfwtkZa6DnEwAbqwq4=
|
||||||
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
|
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
|
||||||
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
|
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
|
||||||
github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM=
|
github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM=
|
||||||
@@ -27,6 +29,6 @@ github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/
|
|||||||
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
||||||
gopkg.in/ini.v1 v1.67.0 h1:Dgnx+6+nfE+IfzjUEISNeydPJh9AXNNsWbGP9KzCsOA=
|
gopkg.in/ini.v1 v1.67.0 h1:Dgnx+6+nfE+IfzjUEISNeydPJh9AXNNsWbGP9KzCsOA=
|
||||||
gopkg.in/ini.v1 v1.67.0/go.mod h1:pNLf8WUiyNEtQjuu5G5vTm06TEv9tsIgeAvK8hOrP4k=
|
gopkg.in/ini.v1 v1.67.0/go.mod h1:pNLf8WUiyNEtQjuu5G5vTm06TEv9tsIgeAvK8hOrP4k=
|
||||||
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c h1:dUUwHk2QECo/6vqA44rthZ8ie2QXMNeKRTHCNY2nXvo=
|
|
||||||
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||||
|
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
||||||
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||||
|
|||||||
Reference in New Issue
Block a user