Оптимизация вычитки листов из кэша для генерации qr-кодов

Reviewed-on: #9

.env.example

@@ -3,24 +3,23 @@
 ######################################
 
 # config/app.php
-APP_URL="http://localhost:8080"
-APP_URL_MIRROR="https://m3u.su/"
+APP_TITLE='Агрегатор плейлистов'
+APP_URL=http://localhost:8080
 APP_DEBUG=false
-APP_ENV="prod"
-APP_TITLE="IPTV Плейлисты"
+APP_ENV=prod
 APP_TIMEZONE=Europe/Moscow
-PAGE_SIZE=10
+PAGE_SIZE=0
 
 # config/bot.php
 TG_BOT_TOKEN=
 TG_BOT_SECRET=
 
 # config/cache.php
-CACHE_HOST="keydb"
+CACHE_HOST=keydb
 CACHE_PORT=6379
 CACHE_PASSWORD=
 CACHE_DB=0
-CACHE_TTL=14
+CACHE_TTL=600
 
 # config/twig.php
 TWIG_USE_CACHE=true

README.md

@@ -1,10 +1,10 @@
-# Веб-сервис iptv.axenov.dev
+# Веб-сервис m3u.su
 
 Содержит исходный код веб-сервиса и консольные инструменты проверки плейлистов и каналов.
 
 Использует [playlists.ini](https://git.axenov.dev/IPTV/playlists) с описанием плейлистов для своей работы.
 
-> **Веб-сайт:** [iptv.axenov.dev](https://iptv.axenov.dev)  
+> **Веб-сайт:** [m3u.su](https://m3u.su)  
 > **Зеркало:** [m3u.su](https://m3u.su)  
 > Исходный код: [git.axenov.dev/IPTV/web](https://git.axenov.dev/IPTV/web)  
 > Telegram-канал: [@iptv_aggregator](https://t.me/iptv_aggregator)  
@@ -34,7 +34,7 @@
 * `PAGE_SIZE` -- размер страницы для постраничной навигации на главной странице;
 * `USER_AGENT` -- user-agent для http-клиента, котоырй будет использоваться при подключении к внешним ресурсам;
 * `CACHE_HOST`, `CACHE_PORT`, `CACHE_PASSWORD`, `CACHE_DB` -- реквизиты подключения к cache/keydb;
-* `CACHE_TTL` -- количество часов для кэширования информации;
+* `CACHE_TTL` -- количество секунд для кэширования информации;
 * `TWIG_USE_CACHE` -- признак использования кэша компиляции шаблонов Twig.
 
 У каждой переменной есть умолчание на случай отсутствия файла `.env` или её отсутствия в нём.

app/Controllers/ApiController.php

@@ -55,8 +55,9 @@ class ApiController extends BasicController
      */
     public function makeQrCode(ServerRequestInterface $request, ResponseInterface $response): ResponseInterface
     {
+        $ini = ini()->load();
         $code = $request->getAttribute('code');
-        $codes = array_keys(ini()->getPlaylists());
+        $codes = array_keys($ini);
         if (!in_array($code, $codes, true)) {
             return $response->withStatus(404);
         }

app/Controllers/WebController.php

@@ -36,28 +36,25 @@ class WebController extends BasicController
      */
     public function home(ServerRequestInterface $request, ResponseInterface $response): ResponseInterface
     {
-        $playlists = ini()->getPlaylists();
-
-        $count = count($playlists);
-        $onlineCount = count(array_filter($playlists, static fn (array $playlist) => $playlist['isOnline'] === true));
-        $uncheckedCount = count(array_filter($playlists, static fn (array $playlist) => $playlist['isOnline'] === null));
-        $offlineCount = $count - $onlineCount - $uncheckedCount;
-
+        $ini = ini()->load();
+        $keys = [];
+        $count = count($ini);
         $pageSize = config('app.page_size');
+
         if ($pageSize > 0) {
             $pageCurrent = (int)($request->getAttributes()['page'] ?? $request->getQueryParams()['page'] ?? 1);
             $pageCount = ceil($count / $pageSize);
             $offset = max(0, ($pageCurrent - 1) * $pageSize);
-            $playlists = array_slice($playlists, $offset, $pageSize, true);
+            $ini = array_slice($ini, $offset, $pageSize, true);
+            $keys = array_keys($ini);
         }
 
+        $playlists = ini()->getPlaylists($keys);
+
         return $this->view($request, $response, 'list.twig', [
             'updatedAt' => ini()->updatedAt(),
             'playlists' => $playlists,
             'count' => $count,
-            'onlineCount' => $onlineCount,
-            'uncheckedCount' => $uncheckedCount,
-            'offlineCount' => $offlineCount,
             'pageCount' => $pageCount ?? 1,
             'pageCurrent' => $pageCurrent ?? 1,
         ]);

app/Core/IniFile.php

@@ -31,56 +31,13 @@ class IniFile
      * Считывает ini-файл и инициализирует плейлисты
      *
      * @return array
-     * @throws Exception
      */
     public function load(): array
     {
         $filepath = config_path('playlists.ini');
-        $ini = parse_ini_file($filepath, true);
+        $this->playlists = parse_ini_file($filepath, true);
         $this->updatedAt = date('d.m.Y h:i', filemtime($filepath));
 
-        // сохраняем порядок
-        foreach (array_keys($ini) as $code) {
-            try {
-                $data = @redis()->get($code);
-            } catch (Throwable) {
-                $data = false;
-            }
-            if ($data === false) {
-                $raw = $ini[$code];
-                $data = [
-                    'code' => $code,
-                    'name' => $raw['name'] ?? "Playlist #$code",
-                    'description' => $raw['desc'] ?? null,
-                    'url' => $raw['pls'],
-                    'source' => $raw['src'] ?? null,
-                    'content' => null,
-                    'isOnline' => null,
-                    'attributes' => [],
-                    'groups' => [],
-                    'channels' => [],
-                    'onlineCount' => 0,
-                    'offlineCount' => 0,
-                    'checkedAt' => null,
-                ];
-            } elseif (!isset($data['attributes'])) {
-                $data['attributes'] = [];
-            }
-
-            $data['hasCatchup'] = str_contains($data['content'] ?? '', 'catchup');
-            $data['hasTvg'] = !empty($data['attributes']['url-tvg'])
-                || !empty($data['attributes']['x-tvg-url']);
-
-            $data['tags'] = [];
-            foreach ($data['channels'] ?? [] as $channel) {
-                $data['tags'] = array_merge($data['tags'], $channel['tags']);
-            }
-            $data['tags'] = array_values(array_unique($data['tags']));
-            sort($data['tags']);
-
-            $this->playlists[$code] = $data;
-        }
-
         return $this->playlists;
     }
 
@@ -90,9 +47,32 @@ class IniFile
      * @return array[]
      * @throws Exception
      */
-    public function getPlaylists(): array
+    public function getPlaylists(array $plsCodes = []): array
     {
-        return $this->playlists ??= $this->load();
+        $playlists = [];
+        empty($this->playlists) && $this->load();
+        empty($plsCodes) && $plsCodes = array_keys($this->playlists);
+        $cached = array_combine($plsCodes, redis()->mget($plsCodes));
+        foreach ($cached as $code => $data) {
+            $playlists[$code] = $this->initPlaylist($code, $data);
+        }
+
+        return $playlists;
+    }
+
+    /**
+     * Возвращает плейлист по его коду
+     *
+     * @param string $code Код плейлиста
+     * @return array|null
+     * @throws PlaylistNotFoundException
+     * @throws Exception
+     */
+    public function getPlaylist(string $code): ?array
+    {
+        empty($this->playlists) && $this->load();
+        $data = redis()->get($code);
+        return $this->initPlaylist($code, $data);
     }
 
     /**
@@ -106,19 +86,56 @@ class IniFile
     }
 
     /**
-     * Возвращает плейлист по его коду
+     * Подготавливает данные о плейлисте в расширенном формате
      *
-     * @param string $code Код плейлиста
-     * @return array|null
+     * @param string $code
+     * @param array|false $data
+     * @return array
      * @throws PlaylistNotFoundException
-     * @throws Exception
      */
-    public function getPlaylist(string $code): ?array
+    protected function initPlaylist(string $code, array|false $data): array
     {
-        if (empty($this->playlists)) {
-            $this->load();
+        if ($data === false) {
+            $raw = $this->playlists[$code];
+            empty($raw) && throw new PlaylistNotFoundException($code);
+            $data === false && $data = [
+                'code' => $code,
+                'name' => $raw['name'] ?? "Плейлист #$code",
+                'description' => $raw['desc'] ?? null,
+                'url' => $raw['pls'],
+                'source' => $raw['src'] ?? null,
+                'content' => null,
+                'isOnline' => null,
+                'attributes' => [],
+                'groups' => [],
+                'channels' => [],
+                'checkedAt' => null,
+            ];
         }
 
-        return $this->playlists[$code] ?? throw new PlaylistNotFoundException($code);
+        // приколы golang
+        $data['attributes'] === null && $data['attributes'] = [];
+        $data['groups'] === null && $data['groups'] = [];
+        $data['channels'] === null && $data['channels'] = [];
+
+        $data['onlinePercent'] = 0;
+        $data['offlinePercent'] = 0;
+        if ($data['isOnline'] === true && count($data['channels']) > 0) {
+            $data['onlinePercent'] = round($data['onlineCount'] / count($data['channels']) * 100);
+            $data['offlinePercent'] = round($data['offlineCount'] / count($data['channels']) * 100);
+        }
+
+        $data['hasCatchup'] = str_contains($data['content'] ?? '', 'catchup');
+        $data['hasTvg'] = !empty($data['attributes']['url-tvg'])
+            || !empty($data['attributes']['x-tvg-url']);
+
+        $data['tags'] = [];
+        foreach ($data['channels'] as $channel) {
+            $data['tags'] = array_merge($data['tags'], $channel['tags']);
+        }
+        $data['tags'] = array_values(array_unique($data['tags']));
+        sort($data['tags']);
+
+        return $data;
     }
 }

app/Core/TwigExtention.php

@@ -66,17 +66,6 @@ class TwigExtention extends AbstractExtension
         return base_url($path);
     }
 
-    /**
-     * Возвращает зеркальный URL приложения
-     *
-     * @param string $path
-     * @return string
-     */
-    public function mirrorUrl(string $path = ''): string
-    {
-        return mirror_url($path);
-    }
-
     /**
      * Проверячет существование файла
      *

config/app.php

@@ -8,12 +8,11 @@
 declare(strict_types=1);
 
 return [
+    'title' => env('APP_TITLE', 'Агрегатор плейлистов'),
     'base_url' => rtrim(trim(env('APP_URL', 'http://localhost:8080')), '/'),
-    'mirror_url' => rtrim(trim(env('APP_URL_MIRROR') ?? '', '/')),
     'debug' => bool(env('APP_DEBUG', false)),
     'env' => env('APP_ENV', env('IPTV_ENV', 'prod')),
-    'title' => 'IPTV Плейлисты',
-    'timezone' => env('APP_TIMEZONE', 'UTC'),
+    'timezone' => env('APP_TIMEZONE', 'GMT'),
     'page_size' => int(env('PAGE_SIZE', 10)),
     'pls_encodings' => [
         'UTF-8',

views/details.twig

@@ -8,7 +8,7 @@
 
 {% block title %}[{{ playlist.code }}] {{ playlist.name }} - {{ config('app.title') }}{% endblock %}
 
-{% block metadescription %}Смотреть бесплатный самообновляемый плейлист {{ playlist.name }}, посмотреть статус плейлиста {{ playlist.description }}{% endblock %}
+{% block metadescription %}Смотреть бесплатный самообновляемый плейлист {{ playlist.name }}, проверить статус, {{ playlist.description }}{% endblock %}
 
 {% block metakeywords %}самообновляемый,бесплатный,iptv-плейлист,iptv,плейлист{% if (playlist.groups|length > 1) %}{% for group in playlist.groups %},{{ group.name|lower }}{% endfor %}{% endif %},{{ playlist.tags|join(',') }}{% endblock %}
 
@@ -49,7 +49,7 @@
                        data-bs-toggle="tab"
                        data-bs-target="#tab-data"
                     >
-                        <ion-icon name="radio-outline"></ion-icon>&nbsp;Основные данные
+                        <ion-icon name="radio-outline"></ion-icon>&nbsp;Основные&nbsp;данные
                     </a>
                 </li>
                 <li class="nav-item small">
@@ -59,7 +59,17 @@
                        data-bs-toggle="tab"
                        data-bs-target="#tab-raw"
                     >
-                        <ion-icon name="document-text-outline"></ion-icon>&nbsp;Исходный текст
+                        <ion-icon name="document-text-outline"></ion-icon>&nbsp;Исходный&nbsp;текст
+                    </a>
+                </li>
+                <li class="nav-item small">
+                    <a class="nav-link"
+                       type="button"
+                       href="#tab-abuse"
+                       data-bs-toggle="tab"
+                       data-bs-target="#tab-abuse"
+                    >
+                        <ion-icon name="wallet-outline"></ion-icon>&nbsp;Правообладателям
                     </a>
                 </li>
             </ul>
@@ -72,10 +82,10 @@
                             <th class="text-break">
                                 {% if playlist.isOnline is same as(true) %}
                                     <span class="font-monospace text-success">{{ playlist.code }}</span>
-                                    <span class="badge small text-dark bg-success">онлайн</span>
+                                    <span class="badge small text-dark bg-success">online</span>
                                 {% elseif playlist.isOnline is same as(false) %}
                                     <span class="font-monospace text-danger">{{ playlist.code }}</span>
-                                    <span class="badge small text-dark bg-danger">оффлайн</span>
+                                    <span class="badge small text-dark bg-danger">offline</span>
                                 {% elseif playlist.isOnline is same as(null) %}
                                     <span class="font-monospace">{{ playlist.code }}</span>
                                     <span class="badge small text-dark bg-secondary" title="Не проверялся">unknown</span>
@@ -92,11 +102,11 @@
                         <tr>
                             <th scope="row">Ccылка для ТВ</th>
                             <td>
-                                <b onclick="prompt('Скопируй адрес плейлиста. Если не работает, добавь \'.m3u\' в конец.', '{{ mirror_url(playlist.code) }}')"
+                                <b onclick="prompt('Скопируй адрес плейлиста. Если не работает, добавь \'.m3u\' в конец.', '{{ base_url(playlist.code) }}')"
                                    data-bs-toggle="tooltip"
                                    data-bs-placement="top"
                                    title="Нажми на ссылку, чтобы скопировать её в буфер обмена"
-                                   class="font-monospace cursor-pointer text-break">{{ mirror_url(playlist.code) }}</b>
+                                   class="font-monospace cursor-pointer text-break">{{ base_url(playlist.code) }}</b>
                             </td>
                         </tr>
                         <tr>
@@ -106,16 +116,18 @@
                         <tr>
                             <th scope="row">Наполнение</th>
                             <td class="text-break">
-                                <ion-icon name="folder-open-outline"></ion-icon>&nbsp;группы:&nbsp;{{ playlist.groups|length }},
-                                <ion-icon name="videocam-outline"></ion-icon>&nbsp;каналы:&nbsp;{{ playlist.channels|length }}
-                                (<span class="text-success">{{ playlist.onlineCount }}</span>&nbsp;+&nbsp;<span class="text-danger">{{ playlist.offlineCount }}</span>)
+                                <ion-icon name="folder-open-outline"></ion-icon>&nbsp;группы:&nbsp;{{ playlist.groups|length }}<br>
+                                <ion-icon name="videocam-outline"></ion-icon>&nbsp;каналы:&nbsp;{{ playlist.channels|length }}:
+                                <span class="text-success"
+                                    >{{ playlist.onlineCount }} ({{ playlist.onlinePercent }}%)</span>&nbsp;+&nbsp;<span class="text-danger"
+                                >{{ playlist.offlineCount }} ({{ playlist.offlinePercent }}%)</span>
                             </td>
                         </tr>
                         <tr>
                             <th scope="row">Возможности</th>
                             <td class="text-break">
                                 <ion-icon name="newspaper-outline"></ion-icon>&nbsp;Программа передач:&nbsp;{{ playlist.hasTvg ? 'есть' : 'нет' }}<br>
-                                <ion-icon name="play-back"></ion-icon>&nbsp;Перемотка (архив):&nbsp;{{ playlist.hasCatchup ? 'есть' : 'нет' }}
+                                <ion-icon name="play-back"></ion-icon>&nbsp;Перемотка&nbsp;(архив):&nbsp;{{ playlist.hasCatchup ? 'есть' : 'нет' }}
                             </td>
                         </tr>
                         <tr class="text-secondary">
@@ -186,6 +198,50 @@
                               readonly
                     >{{ playlist.content }}</textarea>
                 </div>
+                <div class="tab-pane fade" id="tab-abuse" tabindex="2">
+                    <p class="my-3">
+                        Данные, представленные на данной странице, получены автоматически из открыто доступных в
+                        интернете IPTV-плейлистов, опубликованных третьими лицами.
+                        При наличии технической возможности, источник плейлиста может быть указан на вкладке "Основные
+                        данные".
+                    </p>
+                    <p class="my-3">
+                        Сервис {{ base_url() }} не размещает и не транслирует медиаконтент, не создаёт, не призывает
+                        использовать и распространять плейлисты третьих лиц, а также не оказывает услуг по ретрансляции
+                        телепрограмм.
+                    </p>
+                    <p class="my-3">
+                        Подробности о проекте и о том, как здесь оказались объекты ваших прав,
+                        <a href="{{ base_url('docs') }}" target="_blank">читайте здесь</a>.
+                    </p>
+                    <p class="my-3">
+                        Информация о телеканалах (наименования, логотипы, технический статус и другие сведения)
+                        формируется исключительно путём обработки содержимого самого плейлиста.
+                        Вся информация носит технический и ознакомительный характер, и её достоверность не гарантируется.
+                    </p>
+                    <p class="my-3">
+                        Все права на торговые марки и графические изображения принадлежат их законным владельцам.
+                        Если вы являетесь правообладателем и считаете, что сведения на этой странице затрагивают ваши
+                        права, вот какие меры вы можете предпринять прямо сейчас:
+                    </p>
+                    <ul>
+                        <li>
+                            создать pull-request в открытом репозитории проекта с удалением данных о плейлисте из файла
+                            <a href="https://git.axenov.dev/IPTV/playlists/src/branch/master/playlists.ini"
+                               target="_blank"
+                            >playlists.ini</a>, указав в комментарии к коммиту юридически значимую информацию;
+                        </li>
+                        <li>
+                            <a href="https://git.axenov.dev/IPTV/playlists/issues/new" target="_blank">создать
+                            публичное обращение</a> в открытом репозитории проекта, указав юридически значимую
+                            информацию;
+                        </li>
+                        <li>
+                            направить конфиденциальное уведомление на адрес:
+                            <a href="mailto:abuse@m3u.su" target="_blank">abuse@m3u.su</a>.
+                        </li>
+                    </ul>
+                </div>
             </div>
         </div>
 
@@ -261,7 +317,7 @@
                                    for="chfOnline"
                                    title="Выбрать только онлайн каналы"
                             >
-                                <ion-icon name="radio-button-on-outline"></ion-icon>
+                                <ion-icon name="radio-button-on-outline"></ion-icon>{{ playlist.onlineCount }}
                             </label>
 
                             <input type="radio"
@@ -275,7 +331,7 @@
                                    for="chfOffline"
                                    title="Выбрать только оффлайн каналы"
                             >
-                                <ion-icon name="radio-button-on-outline"></ion-icon>
+                                <ion-icon name="radio-button-on-outline"></ion-icon>{{ playlist.offlineCount }}
                             </label>
 
                             <button type="button"

views/list.twig

@@ -31,11 +31,6 @@
             <h2 class="mb-0">Список плейлистов ({{ count }})</h2>
             <div class="text-muted small">Изменён {{ updatedAt }} МСК</div>
         </div>
-        <div class="d-flex flex-wrap gap-2 mb-2">
-            <span class="badge bg-success">online: {{ onlineCount }}</span>
-            <span class="badge bg-danger">offline: {{ offlineCount }}</span>
-            <span class="badge bg-secondary">unknown: {{ uncheckedCount }}</span>
-        </div>
     </div>
 {% endblock %}
 
@@ -60,6 +55,9 @@
                                     {% elseif playlist.isOnline is same as(null) %}unknown
                                     {% endif %}
                                 </span>
+                            {% if playlist.isOnline is same as(true) %}
+                                <span class="badge border border-success" title="Процент рабочих каналов">{{ playlist.onlinePercent }}%</span>
+                            {% endif %}
                             {% if "adult" in playlist.tags %}
                                 <span class="badge bg-warning text-dark" title="Есть каналы для взрослых!">18+</span>
                             {% endif %}
@@ -98,12 +96,12 @@
                     </div>
 
                     <div class="card-footer cursor-pointer"
-                        onclick="prompt('Скопируй адрес плейлиста. Если не работает, добавь \'.m3u\' в конец.', '{{ mirror_url(playlist.code) }}')"
+                        onclick="prompt('Скопируй адрес плейлиста. Если не работает, добавь \'.m3u\' в конец.', '{{ base_url(playlist.code) }}')"
                         title="Нажми чтобы скопировать"
                     >
                         <div class="d-flex justify-content-between align-items-center small">
                             <span class="font-monospace text-truncate">
-                                {{ mirror_url(playlist.code) }}
+                                {{ base_url(playlist.code) }}
                             </span>
                             <ion-icon name="copy-outline"></ion-icon>
                         </div>
@@ -125,7 +123,7 @@
                         </li>
                     {% else %}
                         <li class="page-item">
-                            <a class="page-link bg-dark text-light" href="page/{{ page }}">{{ page }}</a>
+                            <a class="page-link bg-dark text-light" href="/page/{{ page }}">{{ page }}</a>
                         </li>
                     {% endif %}
                 {% endfor %}