47 Commits

Author SHA1 Message Date
a99349e75d Версия v1.1.3
All checks were successful
Release / release (push) Successful in 3m23s
2025-11-23 00:30:59 +08:00
4f6f54b631 Исправлена логика подготовки списка листов для проверки на каждой итерации --repeat 2025-11-23 00:30:10 +08:00
895146b472 Версия v1.1.2
All checks were successful
Release / release (push) Successful in 4m2s
2025-11-22 21:28:39 +08:00
522012d7d5 Фикс подсчёта онлайн-оффлайн каналов 2025-11-22 21:28:06 +08:00
a3c33d7ec1 Версия v1.1.1
All checks were successful
Release / release (push) Successful in 4m53s
2025-11-22 19:28:00 +08:00
d7f28413b2 Скорректировано поведение --repeat
При значении 0 количество итераций будет бесконечным
2025-11-22 19:27:33 +08:00
d4260f85ec Версия v1.1.0
All checks were successful
Release / release (push) Successful in 5m51s
2025-11-22 18:33:47 +08:00
6ea3683350 Аргументы --repeat и --every
Some checks failed
Release / release (push) Has been cancelled
2025-11-22 18:32:27 +08:00
bc03abeb9d Мелочи по сборке и README 2025-11-22 18:05:38 +08:00
14c251f3e4 Построение докер-образов в gitea 2025-11-22 01:17:38 +08:00
317ebfdf5f Dockerfile 2025-11-22 01:17:19 +08:00
68bb6199b9 Синтаксис Makefile + возможность передать ARCH 2025-11-21 00:15:06 +08:00
d6b133a8e0 Версия 1.0.6
All checks were successful
release / release (push) Successful in 6m33s
2025-11-19 00:15:38 +08:00
c9486c54b2 Улучшен парсинг названий каналов (#7) 2025-11-18 23:49:28 +08:00
ac062aa1ba Версия 1.0.5
All checks were successful
release / release (push) Successful in 11m41s
2025-10-02 22:31:08 +08:00
bcd45e34bf Изменены ссылки на сайт 2025-10-02 01:22:58 +08:00
b3ee981bd1 Мелочи по зависимостям 2025-10-02 01:22:21 +08:00
182b9a92ce Увеличен таймаут получения плейлиста до 10 сек 2025-10-02 01:18:41 +08:00
fbc1870ce7 Снижен размер чанка до 512Б при проверке канала 2025-10-02 01:16:40 +08:00
edd18e92ed Корректировка расчёта рутин/таймаута 2025-10-02 01:15:08 +08:00
dc61d47b66 Вывод строки подключения redis 2025-10-02 01:12:46 +08:00
10c3b8f5c1 Фикс проверки рабочих каналов при корректном контенте, но ошибочном HTTP-коде 2025-10-01 12:21:27 +08:00
041b32e1df Версия 1.0.4
All checks were successful
release / release (push) Successful in 1m23s
2025-05-16 23:10:02 +08:00
e98d923ce5 Оптимизация проверки каналов (#5)
- теперь проверяется только первый 1 Кб контента
- скорректирована проверка mpd-контента
2025-05-16 23:09:27 +08:00
01ddf25ed5 Поддержка тегирования по атрибуту tvg-name канала 2025-05-13 16:48:34 +08:00
4772f0179d Версия 1.0.3 - фикс парсинга атрибутов тега #EXTM3U
All checks were successful
release / release (push) Successful in 1m15s
2025-05-13 16:45:15 +08:00
c00dc8d33e Обновлён README 2025-05-11 12:25:15 +08:00
57eb194efa Версия 1.0.2
All checks were successful
release / release (push) Successful in 1m6s
2025-05-10 18:36:04 +08:00
4cbdd41b7c Скорректирован расчёт нагрузки в сторону увеличения 2025-05-10 18:35:02 +08:00
79891d178f Исправлен подсчёт онлайн/оффлайн каналов после проверки 2025-05-10 18:30:37 +08:00
89601096ba Исправлена дата проверки оффлайн плейлистов 2025-05-10 12:07:54 +08:00
68329697ac Бейдж теперь ссылка на последний релиз 2025-05-10 12:00:41 +08:00
c2ff027223 Версия 1.0.1
All checks were successful
release / release (push) Successful in 1m42s
2025-05-10 11:56:44 +08:00
13723a2dc5 Инициализация attributes плейлиста (#3) 2025-05-10 11:55:26 +08:00
2412b570be Исправлено кэширование оффлайн плейлистов 2025-05-10 11:54:55 +08:00
303ccdd02b Версия 1.0.0
Some checks failed
release / release (push) Failing after 51m35s
2025-05-09 17:58:40 +08:00
b689f3e799 Merge branch 'master' into cache 2025-05-08 11:15:31 +08:00
c1a7f7e289 Реализовано кеширование проверенных плейлистов, при включенном кеше -r теперь не учитывает только некешированные из ini-файла 2025-05-08 11:14:59 +08:00
994df87846 Бейдж с актуальной версией 2025-05-08 11:11:40 +08:00
368a459617 Версия v0.2.0
All checks were successful
release / release (push) Successful in 57s
2025-05-07 23:55:33 +08:00
6c50fda1cd Переработка расчёта нагрузки
All checks were successful
release / release (push) Successful in 1m0s
2025-05-07 01:42:43 +08:00
dcf91c86d9 Доп. статистика в конце проверки плейлистов 2025-05-07 01:42:24 +08:00
77c646d1f1 Корректировка размерности процентов в результате проверки 2025-05-06 22:57:22 +08:00
ea11381d07 Проверка количества каналов в плейлисте перед проверкой 2025-05-06 22:54:18 +08:00
6c9b7015a6 Корректировка сообщений об ошибках чтения channels.json 2025-05-06 22:53:32 +08:00
a346d9e2d7 Фикс игнорирования флагов -f/-u/-c при наличии playlists.ini 2025-05-06 22:52:26 +08:00
9c4f09db81 Игнорирование ошибок TLS 2025-05-06 22:50:52 +08:00
20 changed files with 461 additions and 250 deletions

View File

@@ -1,10 +1,9 @@
APP_DEBUG=false APP_DEBUG=false
HTTP_HOST=0.0.0.0 CACHE_ENABLED=false
HTTP_PORT=8031 CACHE_HOST=localhost
CACHE_PORT=6379
REDIS_HOST= CACHE_USERNAME=
REDIS_PORT= CACHE_PASSWORD=
REDIS_USERNAME= CACHE_DB=1
REDIS_PASSWORD= CACHE_TTL=1800
REDIS_DB=

View File

@@ -1,28 +0,0 @@
name: release
on:
push:
tags:
- 'v*'
jobs:
release:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
name: Checkout
with:
fetch-depth: 0
- name: Setup go
uses: https://github.com/actions/setup-go@v4
with:
go-version: '>=1.23.6'
- name: Compile
run: make release
- name: Make release
id: use-go-action
uses: https://gitea.com/actions/release-action@main
with:
files: |-
bin/*.zip
api_key: '${{secrets.RELEASE_TOKEN}}'

View File

@@ -0,0 +1,65 @@
# https://docs.gitea.com/usage/actions/overview
# https://docs.github.com/ru/actions/reference/workflows-and-actions/contexts
name: Release
on:
push:
tags:
- 'v*'
jobs:
release:
runs-on: ubuntu-latest
steps:
- name: Checkout
uses: actions/checkout@v4
with: # https://github.com/actions/checkout
fetch-depth: 0
- name: Set up go
uses: actions/setup-go@v4
with: # https://github.com/actions/setup-go
go-version: '>=1.24.2'
- name: Build release files (amd64)
run: make release ARCH=amd64
- name: Build release files (arm64)
run: make release ARCH=arm64
- name: Create new release
id: use-go-action
uses: https://gitea.com/actions/gitea-release-action@main
with: # https://gitea.com/actions/gitea-release-action
server_url: https://git.axenov.dev
token: '${{secrets.RELEASE_TOKEN}}'
files: |-
bin/*.zip
- name: Set up Docker Buildx
uses: docker/setup-buildx-action@v3
with: # https://github.com/docker/setup-buildx-action
build-args: "IPTVC_VERSION=${{ github.ref_name }}"
buildkitd-config-inline: |
# https://github.com/moby/buildkit/blob/master/docs/buildkitd.toml.md
[ registry."docker.io" ]
mirrors = ["https://dockerhub.timeweb.cloud", "https://dh-mirror.gitverse.ru"]
http = true
insecure = true
- name: Log in to Gitea Container Registry
uses: docker/login-action@v3
with: # https://github.com/docker/login-action
registry: git.axenov.dev
username: ${{ secrets.USERNAME }}
password: ${{ secrets.RELEASE_TOKEN }}
- name: Build and push Docker images
uses: docker/build-push-action@v5
with: # https://github.com/docker/build-push-action
context: .
push: true
tags: |
git.axenov.dev/iptv/iptvc:${{ github.ref_name }}
git.axenov.dev/iptv/iptvc:latest

1
.gitignore vendored
View File

@@ -9,5 +9,6 @@ output/
*.m3u8 *.m3u8
*.json *.json
*.ini *.ini
iptvc
!/**/*.gitkeep !/**/*.gitkeep

24
Dockerfile Normal file
View File

@@ -0,0 +1,24 @@
FROM golang:1.25-alpine AS iptv-img-builder
ARG GOOS
ARG GOARCH
ARG IPTVC_VERSION
ENV CGO_ENABLED=0
ENV GOOS=${GOOS:-linux}
ENV GOARCH=${GOARCH:-amd64}
COPY go.mod go.sum ./
RUN go mod download
COPY . .
RUN go build \
-trimpath \
-ldflags="-s -w -X main.version=${IPTVC_VERSION}" \
-o /app/iptvc \
.
FROM alpine:3.22.2 AS iptv-img-checker
LABEL org.opencontainers.image.authors="Anthony Axenov <anthonyaxenov@gmail.com>"
WORKDIR /app
RUN apk add --no-cache ca-certificates tzdata
RUN addgroup -S iptvc-user && adduser -S -G iptvc-user -H -s /sbin/nologin iptvc-user
COPY --from=iptv-img-builder --chown=iptvc-user:iptvc-user /app/iptvc /app/iptvc
USER iptvc-user
ENTRYPOINT ["/app/iptvc"]

View File

@@ -1,46 +1,46 @@
.DEFAULT_GOAL=help .DEFAULT_GOAL=help
BINARY_NAME=iptvc BINARY_NAME := iptvc
ARCH=amd64 GOARCH ?= amd64
LINUX_PATH="bin/linux_${ARCH}" LINUX_PATH := "bin/linux_$(GOARCH)"
WINDOWS_PATH="bin/windows_${ARCH}" WINDOWS_PATH := "bin/windows_$(GOARCH)"
DARWIN_PATH="bin/darwin_${ARCH}" DARWIN_PATH := "bin/darwin_$(GOARCH)"
LINUX_FILE="${LINUX_PATH}/${BINARY_NAME}" LINUX_FILE := "$(LINUX_PATH)/$(BINARY_NAME)"
WINDOWS_FILE="${WINDOWS_PATH}/${BINARY_NAME}.exe" WINDOWS_FILE := "$(WINDOWS_PATH)/$(BINARY_NAME).exe"
DARWIN_FILE="${DARWIN_PATH}/${BINARY_NAME}" DARWIN_FILE := "$(DARWIN_PATH)/$(BINARY_NAME)"
## clean: Remove all compiled binaries ## clean: Remove all compiled binaries
clean: clean:
@go clean @go clean
@rm -rf bin/ @rm -rf bin/
## linux: Build new binaries for linux (x64) ## linux: Build new binaries for linux
linux: linux:
@rm -rf ${LINUX_PATH} @rm -rf $(LINUX_PATH)
@GOARCH=${ARCH} GOOS=linux go build -o ${LINUX_FILE} . && echo "Compiled: ${LINUX_FILE}" @GOARCH=$(GOARCH) GOOS=linux go build -o $(LINUX_FILE) . && echo "Compiled: $(LINUX_FILE)"
## win: Build new binaries for windows (x64) ## win: Build new binaries for windows
win: win:
@rm -rf ${WINDOWS_PATH} @rm -rf $(WINDOWS_PATH)
@GOARCH=${ARCH} GOOS=windows go build -o ${WINDOWS_FILE} . && echo "Compiled: ${WINDOWS_FILE}" @GOARCH=$(GOARCH) GOOS=windows go build -o $(WINDOWS_FILE) . && echo "Compiled: $(WINDOWS_FILE)"
## darwin: Build new binaries for darwin (x64) ## darwin: Build new binaries for darwin
darwin: darwin:
@rm -rf ${DARWIN_PATH} @rm -rf $(DARWIN_PATH)
@GOARCH=${ARCH} GOOS=darwin go build -o ${DARWIN_FILE} . && echo "Compiled: ${DARWIN_FILE}" @GOARCH=$(GOARCH) GOOS=darwin go build -o $(DARWIN_FILE) . && echo "Compiled: $(DARWIN_FILE)"
## all: Build new binaries for linux, windows and darwin (x64) ## all: Build new binaries for linux, windows and darwin
all: clean linux win darwin all: clean linux win darwin
## release: Build all binaries and zip them ## release: Build all binaries and zip them
release: clean darwin linux win release: linux win darwin
@zip -j ${LINUX_PATH}.zip ${LINUX_FILE} @zip -j $(LINUX_PATH).zip $(LINUX_FILE)
@zip -j ${DARWIN_PATH}.zip ${DARWIN_FILE} @zip -j $(DARWIN_PATH).zip $(DARWIN_FILE)
@zip -j ${WINDOWS_PATH}.zip ${WINDOWS_FILE} @zip -j $(WINDOWS_PATH).zip $(WINDOWS_FILE)
## help: Show this message and exit ## help: Show this message and exit
help: Makefile help: Makefile
@echo "Choose a command run:" @echo "Available recipes:"
@sed -n 's/^##//p' $< | column -t -s ':' | sed -e 's/^/ /' @sed -n 's/^##//p' $< | column -t -s ':' | sed -e 's/^/ /'

View File

@@ -1,23 +1,25 @@
# IPTV Checker (iptvc) # IPTV Checker (iptvc)
[![Последний релиз](https://img.shields.io/gitea/v/release/IPTV/iptvc?gitea_url=https%3A%2F%2Fgit.axenov.dev&display_name=release&color=green&cacheSeconds=600)](https://git.axenov.dev/IPTV/iptvc/releases/latest)
Консольная программа для проверки IPTV-плейлистов в формате m3u или m3u8. Консольная программа для проверки IPTV-плейлистов в формате m3u или m3u8.
> [!IMPORTANT] > **Веб-сайт:** [m3u.su](https://m3u.su)
> Проект находится на ранней стадии разработки. > **Документация:** [m3u.su/docs](https://m3u.su/docs)
> Реализован минимально необходимый функционал. > Исходный код: [git.axenov.dev/IPTV](https://git.axenov.dev/IPTV)
> Возможны ошибки, неточности и обратно несовместимые изменения. > Telegram-канал: [@iptv_aggregator](https://t.me/iptv_aggregator)
> Обсуждение: [@iptv_aggregator_chat](https://t.me/iptv_aggregator_chat)
Для дополнительной документации можно обращаться в директорию [docs](./docs). > Бот: [@iptv_aggregator_bot](https://t.me/iptv_aggregator_bot)
## Установка ## Установка
Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы релизов](https://git.axenov.dev/IPTV/iptvc/releases): Достаточно скачать и распаковать архив с подходящим исполняемым файлом [со страницы последнего релиза](https://git.axenov.dev/IPTV/iptvc/releases/latest):
| ОС | Архив | Платформа | | ОС | Скачать для `amd64` | Скачать для `arm64` |
|---------|----------------------|-----------| | ------- | ------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------- |
| Linux | `linux_amd64.zip` | x64 | | Linux | [linux_amd64.zip](https://git.axenov.dev/IPTV/iptvc/releases/download/latest/linux_amd64.zip) | [linux_arm64.zip](https://git.axenov.dev/IPTV/iptvc/releases/download/latest/linux_arm64.zip) |
| MacOS | `darwin_amd64.zip` | x64 | | MacOS | [darwin_amd64.zip](https://git.axenov.dev/IPTV/iptvc/releases/download/latest/darwin_amd64.zip) | [darwin_arm64.zip](https://git.axenov.dev/IPTV/iptvc/releases/download/latest/darwin_arm64.zip) |
| Windows | `windows_amd64.zip` | x64 | | Windows | [windows_amd64.zip](https://git.axenov.dev/IPTV/iptvc/releases/download/latest/windows_amd64.zip) | [windows_arm64.zip](https://git.axenov.dev/IPTV/iptvc/releases/download/latest/windows_arm64.zip) |
## Компиляция ## Компиляция
@@ -26,7 +28,7 @@
1. Склонировать репозиторий 1. Склонировать репозиторий
2. Находясь в корне репозитория, следует выполнить `make` или `make help` для получения справки. 2. Находясь в корне репозитория, следует выполнить `make` или `make help` для получения справки.
3. Другой способ -- выполнить `go run .` для быстрого запуска. 3. Другой способ выполнить `go run .` для быстрого запуска.
## Быстрый старт ## Быстрый старт
@@ -60,14 +62,17 @@
2. Выполнить команду `./iptvc check` или `./iptvc check -i playlist.ini` для проверки всех плейлистов из файла `./playlists.ini` 2. Выполнить команду `./iptvc check` или `./iptvc check -i playlist.ini` для проверки всех плейлистов из файла `./playlists.ini`
3. Выполнить команду `./iptvc check -i test.ini -c ABC`, чтобы проверить только плейлист с кодом `ABC` из файла `./test.ini` 3. Выполнить команду `./iptvc check -i test.ini -c ABC`, чтобы проверить только плейлист с кодом `ABC` из файла `./test.ini`
Если `-i` не указан явно, то будет попытка прочитать файл `playlists.ini`, находящийся в одной директории с iptvc.
Аргумент `-i` можно указывать только однажды, но его можно комбинировать с `-f` и `-u`. Аргумент `-i` можно указывать только однажды, но его можно комбинировать с `-f` и `-u`.
### Другие возможности команды `check` ### Другие возможности команды `check`
* `--json|-j` -- вывести результаты проверки в формате JSON * `--random|-r X` — проверить X случайных плейлистов из ini-файла
* `--quiet|-q` -- полностью подавить вывод лога (включая отладочную информацию) * `--json|-j` — вывести результаты проверки в формате JSON
* `--verbose|-v` -- добавить в лог более подробную отладочную информацию (значительно увеличит количество строк!) * `--quiet|-q` — полностью подавить вывод лога (включая отладочную информацию)
* `--tags|-t` -- файл с перечислением тегов (подробности см. [здесь](https://git.axenov.dev/IPTV/playlists#файл-channelsjson)) * `--verbose|-v` — добавить в лог более подробную отладочную информацию (значительно увеличит количество строк!)
* `--tags|-t` — файл с перечислением тегов (подробности см. [здесь](https://git.axenov.dev/IPTV/playlists#файл-channelsjson))
Например, можно получить только json с результатами, передать его в `jq` и, отфильтровав результат, вывести названия оффлайн каналов: Например, можно получить только json с результатами, передать его в `jq` и, отфильтровав результат, вывести названия оффлайн каналов:
@@ -120,8 +125,8 @@ pls='https://example.com/list2.m3u'
### Параметры проверки ### Параметры проверки
Выше в п.7 видно некоторые служебные данные: Выше в п.7 видно некоторые служебные данные:
* `timeout` -- таймаут каждого запроса в секундах (макс. время ожидания ответа канала); * `timeout` таймаут каждого запроса в секундах (макс. время ожидания ответа канала);
* `routines` -- количество одновременных проверок. * `routines` количество одновременных проверок.
Эти параметры рассчитываются динамически для каждого плейлиста в отдельности, исходя из количества каналов в каждом (`count`). Эти параметры рассчитываются динамически для каждого плейлиста в отдельности, исходя из количества каналов в каждом (`count`).
См. [app/checker/checker.go](app/checker/checker.go) для подробностей. См. [app/checker/checker.go](app/checker/checker.go) для подробностей.
@@ -145,9 +150,9 @@ pls='https://example.com/list2.m3u'
### Коды возврата ### Коды возврата
* 0 -- успех * 0 успех
* 1 -- общая ошибка, см. вывод * 1 общая ошибка, см. вывод
* 2 -- команде `check` не переданы параметры `--file`, `--url` и `--code` * 2 команде `check` не переданы параметры `--file`, `--url` и `--code`
## Лицензия ## Лицензия

View File

@@ -7,32 +7,38 @@
package app package app
import ( import (
"axenov/iptv-checker/app/cache"
"axenov/iptv-checker/app/config" "axenov/iptv-checker/app/config"
"axenov/iptv-checker/app/logger"
"github.com/redis/go-redis/v9" "github.com/redis/go-redis/v9"
) )
const VERSION = "0.1.0" const VERSION = "1.1.3"
// Arguments описывает аргументы командной строки // Arguments описывает аргументы командной строки
type Arguments struct { type Arguments struct {
IniPath string IniPath string
TagsPath string TagsPath string
RandomCount uint RandomCount uint
NeedJson bool RepeatCount uint
NeedQuiet bool RepeatEverySec uint
Verbose bool NeedJson bool
NeedQuiet bool
Verbose bool
} }
var ( var (
Args Arguments Args Arguments
Redis *redis.Client Cache *redis.Client
Config *config.Config Config *config.Config
//TagBlocks []tagfile.TagBlock
) )
// Init инициализирует глобальные переменные // Init инициализирует конфигурацию и подключение к keydb
func Init() { func Init() {
Config = config.Init() Config = config.Init()
//logger.Init(Args.NeedQuiet) logger.Init(Args.NeedQuiet)
//Redis = cache.Init(Config.Redis) if Config.Cache.IsEnabled {
Cache = cache.Init(&Config.Cache)
}
} }

25
app/cache/cache.go vendored
View File

@@ -10,27 +10,30 @@ import (
"axenov/iptv-checker/app/config" "axenov/iptv-checker/app/config"
"context" "context"
"fmt" "fmt"
"github.com/redis/go-redis/v9"
"log" "log"
"strconv" "strconv"
"github.com/redis/go-redis/v9"
) )
func Init(cfg config.RedisConfig) *redis.Client { func Init(cfg *config.CacheConfig) *redis.Client {
rdb := redis.NewClient(&redis.Options{ redisUrl := fmt.Sprintf("%s:%s", cfg.Host, strconv.Itoa(int(cfg.Port)))
Addr: fmt.Sprintf("%s:%s", cfg.Host, strconv.Itoa(int(cfg.Port))), redisClient := redis.NewClient(&redis.Options{
Addr: redisUrl,
DB: int(cfg.Db), DB: int(cfg.Db),
PoolSize: 1000, PoolSize: 1000,
ReadTimeout: -1, ReadTimeout: -1,
WriteTimeout: -1, WriteTimeout: -1,
}) })
client := rdb.Conn() client := redisClient.Conn()
ctx := context.Background()
var ctx context.Context err := client.Ping(ctx).Err()
if client.Ping(ctx).Err() != nil { if err == nil {
log.Println("Error while connecting to Redis", cfg.Host, cfg.Port, cfg.Db) log.Println("Connected to cache DB:", redisUrl)
cfg.IsActive = true
} else { } else {
log.Println("Connected to Redis", cfg.Host, cfg.Port, cfg.Db) log.Println("Error while connecting to cache DB, program may work not as expected:", err)
} }
return rdb return redisClient
} }

View File

@@ -12,22 +12,26 @@ import (
"axenov/iptv-checker/app/playlist" "axenov/iptv-checker/app/playlist"
"axenov/iptv-checker/app/tagfile" "axenov/iptv-checker/app/tagfile"
"axenov/iptv-checker/app/utils" "axenov/iptv-checker/app/utils"
"context"
"crypto/tls"
"encoding/json" "encoding/json"
"fmt"
"io" "io"
"log" "log"
"maps" "maps"
"math"
"math/rand" "math/rand"
"net/http" "net/http"
"os" "os"
"runtime"
"slices" "slices"
"strings" "strings"
"sync" "sync"
"time" "time"
) )
var tagBlocks []tagfile.TagBlock var (
tagBlocks []tagfile.TagBlock
ctx = context.Background()
)
// PrepareListsToCheck готовит список плейлистов для проверки // PrepareListsToCheck готовит список плейлистов для проверки
func PrepareListsToCheck(files []string, urls []string, codes []string) []playlist.Playlist { func PrepareListsToCheck(files []string, urls []string, codes []string) []playlist.Playlist {
@@ -52,43 +56,71 @@ func PrepareListsToCheck(files []string, urls []string, codes []string) []playli
} }
} }
ini, err := inifile.Init(app.Args.IniPath) if len(lists) == 0 || len(codes) > 0 {
if err != nil { ini, err := inifile.Init(app.Args.IniPath)
log.Printf("Warning: %s, all --code flags will be ignored\n", err) if err != nil {
return lists log.Printf("Warning: %s, all --code flags will be ignored\n", err)
} return lists
if len(codes) > 0 {
for _, plsCode := range codes {
list := ini.Lists[plsCode]
if list.Url == "" {
log.Printf("Warning: playlist [%s] not found in ini-file, skipping\n", plsCode)
continue
}
lists = append(lists, list)
} }
} else {
lists = slices.Collect(maps.Values(ini.Lists)) if len(codes) > 0 {
if int(app.Args.RandomCount) > 0 && int(app.Args.RandomCount) <= len(lists) { for _, plsCode := range codes {
rand.Shuffle(len(lists), func(i int, j int) { lists[i], lists[j] = lists[j], lists[i] }) list := ini.Lists[plsCode]
lists = lists[:app.Args.RandomCount] if list.Url == "" {
log.Printf("Warning: playlist [%s] not found in ini-file, skipping\n", plsCode)
continue
}
lists = append(lists, list)
}
} else {
if app.Config.Cache.IsActive {
cachedLists := getCachedPlaylists()
for key := range ini.Lists {
if _, ok := cachedLists[key]; ok {
continue
}
lists = append(lists, ini.Lists[key])
}
log.Printf("Found %d cached playlists\n", len(cachedLists))
} else {
lists = slices.Collect(maps.Values(ini.Lists))
}
if int(app.Args.RandomCount) > 0 && int(app.Args.RandomCount) <= len(lists) {
rand.Shuffle(len(lists), func(i int, j int) { lists[i], lists[j] = lists[j], lists[i] })
lists = lists[:app.Args.RandomCount]
}
} }
} }
return lists return lists
} }
// CheckPlaylists проверяет плейлисты и возвращает их же с результатами проверки // getCachedPlaylists возвращает из кеша проверенные ранее плейлисты
func CheckPlaylists(lists []playlist.Playlist) { func getCachedPlaylists() map[string]playlist.Playlist {
step := 0 result := make(map[string]playlist.Playlist)
count := len(lists) keys := app.Cache.Keys(ctx, "*")
tagBlocks = tagfile.Init(app.Args.TagsPath) for _, key := range keys.Val() {
value := app.Cache.Get(ctx, key).Val()
var pls playlist.Playlist
_ = json.Unmarshal([]byte(value), &pls)
result[pls.Code] = pls
}
return result
}
// CheckPlaylists проверяет плейлисты и возвращает их же с результатами проверки
func CheckPlaylists(lists []playlist.Playlist) (int, int) {
count := len(lists)
if count == 0 { if count == 0 {
log.Println("There are no playlists to check") log.Println("There are no playlists to check")
os.Exit(0) os.Exit(0)
} }
log.Printf("%d playlists will be checked\n", len(lists))
step, onlineCount, offlineCount := 0, 0, 0
tagBlocks = tagfile.Init(app.Args.TagsPath)
for idx := range lists { for idx := range lists {
pls := lists[idx] pls := lists[idx]
step++ step++
@@ -112,24 +144,43 @@ func CheckPlaylists(lists []playlist.Playlist) {
} }
if err != nil { if err != nil {
log.Printf("Cannot read playlist [%s]: %s", pls.Url, err) log.Printf("Cannot read playlist [%s]: %s\n", pls.Url, err)
offlineCount++
cachePlaylist(pls)
continue continue
} }
log.Println("Parsing content...") log.Println("Parsing content...")
pls.IsOnline = true pls.IsOnline = true
onlineCount++
pls = pls.Parse() pls = pls.Parse()
log.Printf("Parsed, checking channels (%d)...\n", len(pls.Channels)) log.Printf("Parsed, checking channels (%d)...\n", len(pls.Channels))
pls = CheckChannels(pls) pls = CheckChannels(pls)
lists[idx] = pls lists[idx] = pls
cachePlaylist(pls)
} }
if app.Args.NeedJson { return onlineCount, offlineCount
marshal, _ := json.Marshal(lists) }
fmt.Println(string(marshal))
func cachePlaylist(pls playlist.Playlist) {
if !app.Config.Cache.IsActive {
return
} }
jsonBytes, err := json.Marshal(pls)
if err != nil {
log.Printf("Error while saving playlist to cache: %s", err)
}
ttl := time.Duration(app.Config.Cache.Ttl) * time.Second
written := app.Cache.Set(ctx, pls.Code, string(jsonBytes), ttl)
if written.Err() != nil {
log.Printf("Error while saving playlist to cache: %s", err)
}
log.Println("Cached sucessfully")
} }
// CheckChannels проверяет каналы и возвращает их же с результатами проверки // CheckChannels проверяет каналы и возвращает их же с результатами проверки
@@ -140,6 +191,14 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
} }
count := len(pls.Channels) count := len(pls.Channels)
if count == 0 {
log.Println("There are no channels to check, skipping")
return pls
}
pls.OnlineCount = 0
pls.OfflineCount = 0
timeout, routines := calcParameters(count) timeout, routines := calcParameters(count)
httpClient := http.Client{Timeout: timeout} httpClient := http.Client{Timeout: timeout}
chSemaphores := make(chan struct{}, routines) chSemaphores := make(chan struct{}, routines)
@@ -160,17 +219,18 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
tvChannel.Tags = getTagsForChannel(tvChannel) tvChannel.Tags = getTagsForChannel(tvChannel)
http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
req, err := http.NewRequest("GET", tvChannel.URL, nil) req, err := http.NewRequest("GET", tvChannel.URL, nil)
tvChannel.CheckedAt = time.Now().Unix()
if err != nil { if err != nil {
data := errorData{tvChannel: tvChannel, err: err} data := errorData{tvChannel: tvChannel, err: err}
chError <- data chError <- data
return return
} }
//TODO user-agent
req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer") req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
req.Header.Set("Range", "bytes=0-511") // 512 B, but sometimes servers ignore it
resp, err := httpClient.Do(req) resp, err := httpClient.Do(req)
tvChannel.CheckedAt = time.Now().Unix()
if err != nil { if err != nil {
data := errorData{tvChannel: tvChannel, err: err} data := errorData{tvChannel: tvChannel, err: err}
chError <- data chError <- data
@@ -180,9 +240,10 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
tvChannel.Status = resp.StatusCode tvChannel.Status = resp.StatusCode
tvChannel.IsOnline = tvChannel.Status < http.StatusBadRequest tvChannel.IsOnline = tvChannel.Status < http.StatusBadRequest
tvChannel.ContentType = resp.Header.Get("Content-Type") tvChannel.ContentType = resp.Header.Get("Content-Type")
bodyBytes, _ := io.ReadAll(resp.Body) chunk := io.LimitReader(resp.Body, 512) // just for sure
bodyBytes, _ := io.ReadAll(chunk)
bodyString := string(bodyBytes) bodyString := string(bodyBytes)
resp.Body.Close() _ = resp.Body.Close()
contentType := http.DetectContentType(bodyBytes) contentType := http.DetectContentType(bodyBytes)
isContentBinary := strings.Contains(contentType, "octet-stream") || isContentBinary := strings.Contains(contentType, "octet-stream") ||
@@ -190,20 +251,17 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
isContentCorrect := isContentBinary || isContentCorrect := isContentBinary ||
strings.Contains(bodyString, "#EXTM3U") || strings.Contains(bodyString, "#EXTM3U") ||
strings.Contains(bodyString, "<SegmentTemplate") strings.Contains(bodyString, "#EXT-X-") ||
strings.Contains(bodyString, "<MPD ") ||
strings.Contains(bodyString, "<SegmentTemplate ") ||
strings.Contains(bodyString, "<AdaptationSet ")
if tvChannel.Status >= http.StatusBadRequest || !isContentCorrect { if tvChannel.Status >= http.StatusBadRequest && !isContentCorrect {
tvChannel.Error = bodyString tvChannel.Error = bodyString
chOffline <- tvChannel chOffline <- tvChannel
return return
} }
if isContentBinary {
tvChannel.Content = "binary"
} else {
tvChannel.Content = bodyString
}
chOnline <- tvChannel chOnline <- tvChannel
return return
}(tvChannel) }(tvChannel)
@@ -213,7 +271,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
select { select {
case tvChannel := <-chOnline: case tvChannel := <-chOnline:
tvChannel.IsOnline = true tvChannel.IsOnline = true
pls.OnlineCount++
pls.Channels[tvChannel.Id] = tvChannel pls.Channels[tvChannel.Id] = tvChannel
if app.Args.Verbose { if app.Args.Verbose {
log.Printf("[%.3d/%.3d] ONLINE '%s'\n", idx, count, tvChannel.Title) log.Printf("[%.3d/%.3d] ONLINE '%s'\n", idx, count, tvChannel.Title)
@@ -222,7 +279,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
log.Printf("> MimeType: %s\n", tvChannel.ContentType) log.Printf("> MimeType: %s\n", tvChannel.ContentType)
} }
case tvChannel := <-chOffline: case tvChannel := <-chOffline:
pls.OfflineCount++
pls.Channels[tvChannel.Id] = tvChannel pls.Channels[tvChannel.Id] = tvChannel
if app.Args.Verbose { if app.Args.Verbose {
log.Printf("[%.3d/%.3d] OFFLINE '%s'\n", idx, count, tvChannel.Title) log.Printf("[%.3d/%.3d] OFFLINE '%s'\n", idx, count, tvChannel.Title)
@@ -231,7 +287,6 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
log.Printf("> Status: %d\n", tvChannel.Status) log.Printf("> Status: %d\n", tvChannel.Status)
} }
case data := <-chError: case data := <-chError:
pls.OfflineCount++
pls.Channels[data.tvChannel.Id] = data.tvChannel pls.Channels[data.tvChannel.Id] = data.tvChannel
if app.Args.Verbose { if app.Args.Verbose {
log.Printf("[%.3d/%.3d] ERROR '%s'\n", idx, count, data.tvChannel.Title) log.Printf("[%.3d/%.3d] ERROR '%s'\n", idx, count, data.tvChannel.Title)
@@ -248,12 +303,20 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
close(chError) close(chError)
pls.CheckedAt = time.Now().Unix() pls.CheckedAt = time.Now().Unix()
for _, tvChannel := range pls.Channels {
if tvChannel.IsOnline {
pls.OnlineCount++
} else {
pls.OfflineCount++
}
}
log.Printf( log.Printf(
"Checked successfully! online=%d onlinePercent=%.2f%% offline=%d offlinePercent=%.2f%% elapsedTime=%.2fs", "Checked successfully! online=%d onlinePercent=%.2f%% offline=%d offlinePercent=%.2f%% elapsedTime=%.2fs",
pls.OnlineCount, pls.OnlineCount,
float64(pls.OnlineCount)/float64(len(pls.Channels))*100, float32(pls.OnlineCount)/float32(len(pls.Channels))*100,
pls.OfflineCount, pls.OfflineCount,
float64(pls.OfflineCount)/float64(len(pls.Channels))*100, float32(pls.OfflineCount)/float32(len(pls.Channels))*100,
time.Since(startTime).Seconds(), time.Since(startTime).Seconds(),
) )
@@ -262,41 +325,22 @@ func CheckChannels(pls playlist.Playlist) playlist.Playlist {
// calcParameters вычисляет оптимальное количество горутин и таймаут запроса // calcParameters вычисляет оптимальное количество горутин и таймаут запроса
func calcParameters(count int) (time.Duration, int) { func calcParameters(count int) (time.Duration, int) {
// коэффициент нагрузки routines := count
var k float32 if routines > 3000 {
// чем ниже, тем больше горутин, меньше таймаут, быстрее проверка, хуже результаты routines = 3000
// чем выше, тем меньше горутин, больше таймаут, медленнее проверка, лучше результаты
switch true {
case count >= 4000:
k = 5
case count >= 3000:
k = 4.5
case count >= 2500:
k = 4
case count >= 2000:
k = 3.5
case count >= 1500:
k = 3
case count >= 1000:
k = 2.5
case count >= 500:
k = 2
case count >= 100:
k = 1.5
default:
k = 1
}
routines := int(float32(count) / k / float32(runtime.NumCPU()))
if routines > 500 {
routines = 500
} }
if routines < 1 { if routines < 1 {
routines = 1 routines = 1
} }
timeout := 10/k + 2 var digits = 1
x := count
for x >= 10 {
digits++
x /= 10
}
timeout := 10 - int(math.Ceil(float64(digits)*1.5))
if timeout > 10 { if timeout > 10 {
timeout = 10 timeout = 10
} }
@@ -306,7 +350,7 @@ func calcParameters(count int) (time.Duration, int) {
duration := time.Duration(timeout) * time.Second duration := time.Duration(timeout) * time.Second
log.Printf( log.Printf(
"Check parameters calculated: count=%d timeout=%.2fs routines=%d\n", "Check parameters calculated count=%d timeout=%.2fs routines=%d\n",
count, count,
duration.Seconds(), duration.Seconds(),
routines, routines,

View File

@@ -7,6 +7,7 @@
package config package config
import ( import (
"github.com/joho/godotenv"
"os" "os"
"strconv" "strconv"
) )
@@ -14,39 +15,34 @@ import (
// Config описывает конфигурацию // Config описывает конфигурацию
type Config struct { type Config struct {
DebugMode bool DebugMode bool
Redis RedisConfig Cache CacheConfig
Http HttpConfig
} }
// RedisConfig описывает конфигурацию подключения к Redis // CacheConfig описывает конфигурацию подключения к keydb
type RedisConfig struct { type CacheConfig struct {
Host string IsEnabled bool
Port uint Host string
Username string Port uint
Password string Username string
Db uint Password string
} Db uint
Ttl uint
// HttpConfig описывает конфигурацию веб-сервера IsActive bool
type HttpConfig struct {
Host string
Port uint
} }
// Init инициализирует объект конфигурации из переменных окружения // Init инициализирует объект конфигурации из переменных окружения
func Init() *Config { func Init() *Config {
_ = godotenv.Load(".env")
return &Config{ return &Config{
DebugMode: readEnvBoolean("APP_DEBUG", false), //DebugMode: readEnvBoolean("APP_DEBUG", false),
Redis: RedisConfig{ Cache: CacheConfig{
Host: readEnv("REDIS_HOST", ""), IsEnabled: readEnvBoolean("CACHE_ENABLED", false),
Port: readEnvInteger("REDIS_PORT", 6379), Host: readEnv("CACHE_HOST", "localhost"),
Username: readEnv("REDIS_USERNAME", ""), Port: readEnvInteger("CACHE_PORT", 6379),
Password: readEnv("REDIS_PASSWORD", ""), Username: readEnv("CACHE_USERNAME", ""),
Db: readEnvInteger("REDIS_DB", 0), Password: readEnv("CACHE_PASSWORD", ""),
}, Db: readEnvInteger("CACHE_DB", 0),
Http: HttpConfig{ Ttl: readEnvInteger("CACHE_TTL", 1800),
Host: readEnv("HTTP_HOST", "0.0.0.0"),
Port: readEnvInteger("HTTP_PORT", 1380),
}, },
} }
} }
@@ -57,7 +53,6 @@ func readEnv(key string, defaultValue string) string {
if exists { if exists {
return value return value
} }
return defaultValue return defaultValue
} }

View File

@@ -44,7 +44,7 @@ func Init(path string) (IniFile, error) {
log.Println("Loading playlists from ini-file:", pathNormalized) log.Println("Loading playlists from ini-file:", pathNormalized)
for _, section := range iniFile.Sections() { for _, section := range iniFile.Sections() {
if section.Name() == ini.DefaultSection { //TODO выкосить костыль if section.Name() == ini.DefaultSection {
continue continue
} }

View File

@@ -12,6 +12,7 @@ import (
"os" "os"
"regexp" "regexp"
"strings" "strings"
"time"
) )
// Group - структура для хранения информации о группе каналов // Group - структура для хранения информации о группе каналов
@@ -31,7 +32,6 @@ type Channel struct {
Status int `json:"status"` // Код статуса HTTP Status int `json:"status"` // Код статуса HTTP
IsOnline bool `json:"isOnline"` // Признак доступности канала (при Status < 400) IsOnline bool `json:"isOnline"` // Признак доступности канала (при Status < 400)
Error string `json:"error"` // Текст ошибки (при Status >= 400) Error string `json:"error"` // Текст ошибки (при Status >= 400)
Content string `json:"content"` // Тело ответа (формат m3u, либо маскированные бинарные данные, либо пусто)
ContentType string `json:"contentType"` // MIME-тип тела ответа ContentType string `json:"contentType"` // MIME-тип тела ответа
Tags []string `json:"tags"` // Список тегов канала Tags []string `json:"tags"` // Список тегов канала
CheckedAt int64 `json:"checkedAt"` // Время проверки в формате UNIX timestamp CheckedAt int64 `json:"checkedAt"` // Время проверки в формате UNIX timestamp
@@ -106,23 +106,36 @@ func parseAttributes(line string) map[string]string {
return result return result
} }
// parseName парсит название канала из строки тега #EXTINF // parseTitle парсит название канала из строки тега #EXTINF
func parseName(line string) string { func parseTitle(line string) string {
//TODO https://git.axenov.dev/IPTV/iptvc/issues/7 // сначала пытаемся по-доброму: в строке есть тег, могут быть атрибуты,
parts := strings.Split(line, ",") // есть запятая-разделитель, после неё -- название канала (с запятыми или без)
if len(parts) == 2 {
return strings.Trim(parts[1], " ")
}
regex := regexp.MustCompile(`['"]?\s*,\s*(.+)`) regex := regexp.MustCompile(`['"]?\s*,\s*(.+)`)
regexMatches := regex.FindAllStringSubmatch(line, -1) regexMatches := regex.FindAllStringSubmatch(line, -1)
return regexMatches[0][1] if len(regexMatches) > 0 && len(regexMatches[0]) >= 2 {
return strings.TrimSpace(regexMatches[0][1])
}
// теперь пытаемся хоть как-то: в строке есть тег, могут быть атрибуты,
// НЕТ запятой-разделителя и название канала (с запятыми или без)
lastQuotePos := strings.LastIndexAny(line, `,"'`)
if lastQuotePos != -1 && lastQuotePos < len(line)-1 {
afterLastQuote := line[lastQuotePos+1:]
name := strings.TrimSpace(afterLastQuote)
if name != "" {
return name
}
}
return line // ну штош
} }
// Download загружает плейлист по URL-адресу // Download загружает плейлист по URL-адресу
func (pls *Playlist) Download() error { func (pls *Playlist) Download() error {
content, err := utils.Fetch(pls.Url) content, err := utils.Fetch(pls.Url)
if err != nil { if err != nil {
pls.Content = err.Error()
pls.CheckedAt = time.Now().Unix()
return err return err
} }
@@ -134,6 +147,8 @@ func (pls *Playlist) Download() error {
func (pls *Playlist) ReadFromFs() error { func (pls *Playlist) ReadFromFs() error {
content, err := os.ReadFile(pls.Url) content, err := os.ReadFile(pls.Url)
if err != nil { if err != nil {
pls.Content = err.Error()
pls.CheckedAt = time.Now().Unix()
return err return err
} }
@@ -144,6 +159,7 @@ func (pls *Playlist) ReadFromFs() error {
// Parse разбирает плейлист // Parse разбирает плейлист
func (pls *Playlist) Parse() Playlist { func (pls *Playlist) Parse() Playlist {
isChannel := false isChannel := false
pls.Attributes = make(map[string]string)
pls.Channels = make(map[string]Channel) pls.Channels = make(map[string]Channel)
pls.Groups = make(map[string]Group) pls.Groups = make(map[string]Group)
@@ -158,14 +174,14 @@ func (pls *Playlist) Parse() Playlist {
} }
if strings.HasPrefix(line, "#EXTM3U") { if strings.HasPrefix(line, "#EXTM3U") {
pls.Attributes = parseAttributes(content) pls.Attributes = parseAttributes(line)
continue continue
} }
if strings.HasPrefix(line, "#EXTINF") { if strings.HasPrefix(line, "#EXTINF") {
isChannel = true isChannel = true
tmpChannel.Attributes = parseAttributes(line) tmpChannel.Attributes = parseAttributes(line)
tmpChannel.Title = parseName(line) tmpChannel.Title = parseTitle(line)
if tmpChannel.Title == "" { if tmpChannel.Title == "" {
if tvgid, ok := tmpChannel.Attributes["tvg-id"]; ok { if tvgid, ok := tmpChannel.Attributes["tvg-id"]; ok {

View File

@@ -18,9 +18,10 @@ import (
// TagBlock описывает объект с набором тегов, который подходит для каналов по регулярному выражению // TagBlock описывает объект с набором тегов, который подходит для каналов по регулярному выражению
type TagBlock struct { type TagBlock struct {
TvgId string `json:"tvg-id"` TvgId string `json:"tvg-id"`
Title string `json:"title"` TvgName string `json:"tvg-name"`
Tags []string `json:"tags"` Title string `json:"title"`
Tags []string `json:"tags"`
} }
// GetTags возвращает теги, соответствующие каналу // GetTags возвращает теги, соответствующие каналу
@@ -42,6 +43,18 @@ func (block *TagBlock) GetTags(ch playlist.Channel) []string {
if checkString == "" { if checkString == "" {
return result return result
} }
} else if block.TvgName != "" {
regex, err = regexp.Compile(block.TvgName)
if err != nil {
return result
}
if _, ok := ch.Attributes["tvg-name"]; !ok {
return result
}
checkString = ch.Attributes["tvg-name"]
if checkString == "" {
return result
}
} else if block.Title != "" { } else if block.Title != "" {
regex, err = regexp.Compile(block.Title) regex, err = regexp.Compile(block.Title)
if err != nil { if err != nil {
@@ -65,20 +78,20 @@ func Init(path string) []TagBlock {
pathNormalized, _ := utils.ExpandPath(path) pathNormalized, _ := utils.ExpandPath(path)
_, err := os.Stat(pathNormalized) _, err := os.Stat(pathNormalized)
if err != nil { if err != nil {
log.Println("Warning: tagfile load error (", err, "), all channels will be untagged") log.Println("Warning: all channels will be untagged due to error:", err)
return nil return nil
} }
content, err := os.ReadFile(pathNormalized) content, err := os.ReadFile(pathNormalized)
if err != nil { if err != nil {
log.Println("Warning: tagfile load error (", err, "), all channels will be untagged") log.Println("Warning: all channels will be untagged due to error:", err)
return nil return nil
} }
var blocks []TagBlock var blocks []TagBlock
err = json.Unmarshal(content, &blocks) err = json.Unmarshal(content, &blocks)
if err != nil { if err != nil {
log.Println("Warning: tagfile load error (", err, "), all channels will be untagged") log.Println("Warning: all channels will be untagged due to error:", err)
return nil return nil
} }

View File

@@ -8,6 +8,7 @@ package utils
import ( import (
"crypto/md5" "crypto/md5"
"crypto/tls"
"encoding/hex" "encoding/hex"
"fmt" "fmt"
"io" "io"
@@ -50,12 +51,9 @@ func Fetch(url string) ([]byte, error) {
return nil, err return nil, err
} }
req.Header.Set( req.Header.Set("User-Agent", "Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer")
"User-Agent", http.DefaultTransport.(*http.Transport).TLSClientConfig = &tls.Config{InsecureSkipVerify: true}
"Mozilla/5.0 WINK/1.31.1 (AndroidTV/9) HlsWinkPlayer", httpClient := http.Client{Timeout: 10 * time.Second}
)
httpClient := http.Client{Timeout: 5 * time.Second}
resp, err := httpClient.Do(req) resp, err := httpClient.Do(req)
if err != nil { if err != nil {
return nil, err return nil, err

17
build-docker-image.sh Executable file
View File

@@ -0,0 +1,17 @@
#!/usr/bin/env bash
[[ "$1" ]] && DOCKER_TAG="$1" || DOCKER_TAG="latest"
[[ "$1" ]] && GIT_TAG="$1" || GIT_TAG=$(git describe --tags --always)
GIT_HASH=$(git rev-parse --short HEAD)
IPTVC_VERSION="${GIT_TAG}-${GIT_HASH}"
git checkout "${GIT_TAG}" 2>/dev/null
docker build \
--build-arg IPTVC_VERSION="${IPTVC_VERSION}" \
--build-arg GOOS="${GOOS:-linux}" \
--build-arg GOARCH="${GOARCH:-amd64}" \
--tag iptvc:"${DOCKER_TAG}" \
--tag git.axenov.dev/iptv/iptvc:"${DOCKER_TAG}" \
.
docker push git.axenov.dev/iptv/iptvc:"${DOCKER_TAG}"

View File

@@ -9,10 +9,13 @@ package cmd
import ( import (
"axenov/iptv-checker/app" "axenov/iptv-checker/app"
"axenov/iptv-checker/app/checker" "axenov/iptv-checker/app/checker"
"axenov/iptv-checker/app/logger" "axenov/iptv-checker/app/playlist"
"github.com/spf13/cobra" "encoding/json"
"fmt"
"log" "log"
"os" "time"
"github.com/spf13/cobra"
) )
// checkCmd represents the file command // checkCmd represents the file command
@@ -20,19 +23,65 @@ var checkCmd = &cobra.Command{
Use: "check", Use: "check",
Short: "Check playlists", Short: "Check playlists",
Run: func(cmd *cobra.Command, args []string) { Run: func(cmd *cobra.Command, args []string) {
logger.Init(app.Args.NeedQuiet) app.Init()
files, _ := cmd.Flags().GetStringSlice("file") files, _ := cmd.Flags().GetStringSlice("file")
urls, _ := cmd.Flags().GetStringSlice("url") urls, _ := cmd.Flags().GetStringSlice("url")
codes, _ := cmd.Flags().GetStringSlice("code") codes, _ := cmd.Flags().GetStringSlice("code")
if len(files) < 1 && len(urls) < 1 && len(codes) < 1 { waitSeconds := app.Args.RepeatEverySec
log.Println("ERROR: You should provide at least one of --file, --url or --code flags") if waitSeconds <= 0 {
os.Exit(2) waitSeconds = 5
} }
lists := checker.PrepareListsToCheck(files, urls, codes) currentIteration := 1
checker.CheckPlaylists(lists) for {
if app.Args.RepeatCount != 1 {
log.Printf(
"@ New iteration current=%d count=%d\n",
currentIteration,
app.Args.RepeatCount,
)
}
var lists []playlist.Playlist
if len(files) == 0 && len(urls) == 0 && len(codes) == 0 {
lists = checker.PrepareListsToCheck(files, urls, codes)
} else {
if currentIteration == 1 {
lists = checker.PrepareListsToCheck(files, urls, codes)
}
}
if len(lists) > 0 {
startTime := time.Now()
onlineCount, offlineCount := checker.CheckPlaylists(lists)
log.Printf(
"Done! count=%d online=%d offline=%d elapsedTime=%.2fs\n",
len(lists),
onlineCount,
offlineCount,
time.Since(startTime).Seconds(),
)
if app.Args.NeedJson {
marshal, _ := json.Marshal(lists)
fmt.Println(string(marshal))
}
} else {
log.Println("There are no playlists to check")
}
if app.Args.RepeatCount != 0 {
if uint(currentIteration) == app.Args.RepeatCount {
break
}
currentIteration++
}
log.Printf("Waiting for new iteration... seconds=%d\n", app.Args.RepeatEverySec)
time.Sleep(time.Duration(app.Args.RepeatEverySec) * time.Second)
}
}, },
} }
@@ -40,6 +89,8 @@ func init() {
checkCmd.Flags().StringVarP(&app.Args.TagsPath, "tags", "t", "./channels.json", "path to a local tagfile") checkCmd.Flags().StringVarP(&app.Args.TagsPath, "tags", "t", "./channels.json", "path to a local tagfile")
checkCmd.Flags().StringVarP(&app.Args.IniPath, "ini", "i", "./playlists.ini", "path to a local ini-file") checkCmd.Flags().StringVarP(&app.Args.IniPath, "ini", "i", "./playlists.ini", "path to a local ini-file")
checkCmd.Flags().UintVarP(&app.Args.RandomCount, "random", "r", 0, "take this count of random playlists to check from ini-file") checkCmd.Flags().UintVarP(&app.Args.RandomCount, "random", "r", 0, "take this count of random playlists to check from ini-file")
checkCmd.Flags().UintVarP(&app.Args.RepeatCount, "repeat", "", 1, "repeat same check X times")
checkCmd.Flags().UintVarP(&app.Args.RepeatEverySec, "every", "", 5, "wait N seconds after every check")
checkCmd.Flags().BoolVarP(&app.Args.NeedJson, "json", "j", false, "print results in JSON format in the end") checkCmd.Flags().BoolVarP(&app.Args.NeedJson, "json", "j", false, "print results in JSON format in the end")
checkCmd.Flags().BoolVarP(&app.Args.NeedQuiet, "quiet", "q", false, "suppress logs (does not affect on -j)") checkCmd.Flags().BoolVarP(&app.Args.NeedQuiet, "quiet", "q", false, "suppress logs (does not affect on -j)")
checkCmd.Flags().StringSliceP("file", "f", []string{}, "path to a local playlist file (m3u/m3u8)") checkCmd.Flags().StringSliceP("file", "f", []string{}, "path to a local playlist file (m3u/m3u8)")

View File

@@ -16,8 +16,8 @@ import (
// rootCmd represents the base command when called without any subcommands // rootCmd represents the base command when called without any subcommands
var rootCmd = &cobra.Command{ var rootCmd = &cobra.Command{
Use: "iptvc", Use: "iptvc",
Short: "Simple utility to check iptv playlists. Part of iptv.axenov.dev project.", Short: "Simple utility to check iptv playlists. Part of m3u.su project.",
Long: `Simple utility to check iptv playlists. Part of iptv.axenov.dev project. Long: `Simple utility to check iptv playlists. Part of m3u.su project.
Copyright (c) 2025, Антон Аксенов, MIT license.`, Copyright (c) 2025, Антон Аксенов, MIT license.`,
// Uncomment the following line if your bare application // Uncomment the following line if your bare application
// has an action associated with it: // has an action associated with it:
@@ -27,7 +27,6 @@ Copyright (c) 2025, Антон Аксенов, MIT license.`,
// Execute adds all child commands to the root command and sets flags appropriately. // Execute adds all child commands to the root command and sets flags appropriately.
// This is called by main.main(). It only needs to happen once to the rootCmd. // This is called by main.main(). It only needs to happen once to the rootCmd.
func Execute() { func Execute() {
app.Init()
err := rootCmd.Execute() err := rootCmd.Execute()
if err != nil { if err != nil {
os.Exit(1) os.Exit(1)

3
go.mod
View File

@@ -3,7 +3,9 @@ module axenov/iptv-checker
go 1.23.6 go 1.23.6
require ( require (
github.com/joho/godotenv v1.5.1
github.com/redis/go-redis/v9 v9.7.3 github.com/redis/go-redis/v9 v9.7.3
github.com/spf13/cobra v1.9.1
gopkg.in/ini.v1 v1.67.0 gopkg.in/ini.v1 v1.67.0
) )
@@ -12,7 +14,6 @@ require (
github.com/davecgh/go-spew v1.1.1 // indirect github.com/davecgh/go-spew v1.1.1 // indirect
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
github.com/inconshreveable/mousetrap v1.1.0 // indirect github.com/inconshreveable/mousetrap v1.1.0 // indirect
github.com/spf13/cobra v1.9.1 // indirect
github.com/spf13/pflag v1.0.6 // indirect github.com/spf13/pflag v1.0.6 // indirect
github.com/stretchr/testify v1.7.0 // indirect github.com/stretchr/testify v1.7.0 // indirect
) )

4
go.sum
View File

@@ -12,6 +12,8 @@ github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/r
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc= github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
github.com/inconshreveable/mousetrap v1.1.0 h1:wN+x4NVGpMsO7ErUn/mUI3vEoE6Jt13X2s0bqwp9tc8= github.com/inconshreveable/mousetrap v1.1.0 h1:wN+x4NVGpMsO7ErUn/mUI3vEoE6Jt13X2s0bqwp9tc8=
github.com/inconshreveable/mousetrap v1.1.0/go.mod h1:vpF70FUmC8bwa3OWnCshd2FqLfsEA9PFc4w1p2J65bw= github.com/inconshreveable/mousetrap v1.1.0/go.mod h1:vpF70FUmC8bwa3OWnCshd2FqLfsEA9PFc4w1p2J65bw=
github.com/joho/godotenv v1.5.1 h1:7eLL/+HRGLY0ldzfGMeQkb7vMd0as4CfYvUVzLqw0N0=
github.com/joho/godotenv v1.5.1/go.mod h1:f4LDr5Voq0i2e/R5DDNOoa2zzDfwtkZa6DnEwAbqwq4=
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM= github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM= github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM=
@@ -27,6 +29,6 @@ github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
gopkg.in/ini.v1 v1.67.0 h1:Dgnx+6+nfE+IfzjUEISNeydPJh9AXNNsWbGP9KzCsOA= gopkg.in/ini.v1 v1.67.0 h1:Dgnx+6+nfE+IfzjUEISNeydPJh9AXNNsWbGP9KzCsOA=
gopkg.in/ini.v1 v1.67.0/go.mod h1:pNLf8WUiyNEtQjuu5G5vTm06TEv9tsIgeAvK8hOrP4k= gopkg.in/ini.v1 v1.67.0/go.mod h1:pNLf8WUiyNEtQjuu5G5vTm06TEv9tsIgeAvK8hOrP4k=
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c h1:dUUwHk2QECo/6vqA44rthZ8ie2QXMNeKRTHCNY2nXvo=
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=