210 lines
12 KiB
Markdown
210 lines
12 KiB
Markdown
---
|
||
source: https://habr.com/ru/post/439018/
|
||
---
|
||
|
||
Информации по #Sphinx не так много, как хотелось бы. Лишняя статья не помешает.
|
||
|
||
Первые шаги в освоении Sphinx мне помогли сделать статьи
|
||
[Создание ознакомительного поискового движка на Sphinx + php](https://habr.com/ru/post/104690/) и [Пример Sphinx поиска на реальном проекте — магазин автозапчастей Tecdoc](https://habr.com/ru/post/132118/). Советую начать с них.
|
||
|
||
Некоторое время на моем сайте работал поиск через LIKE по каждому слову запроса. Хотелось большего, и вот какие случаи теперь будут обрабатываться правильно:
|
||
|
||
- Словоформы. Выдача по «винты» и «винтов» должна быть одинаковой.
|
||
- Поиск по фрагменту слова.
|
||
- Поиск нецелых чисел. Разделитель точка и запятая.
|
||
- Буква `Ё`
|
||
- Типичные ошибки. Например «Аммортизатор».
|
||
- Синонимы. Регулятор и ESC.
|
||
- Язык. mAh и мАч, В и V, AAA латиницей и кириллицей.
|
||
- Слово из букв и цифр. 10х15х4, 6000mAh
|
||
|
||
## Раздел source и дополнительная сортировка
|
||
|
||
Выдача сначала должна содержать позиции в наличии, потом временно отсутствующие, потом архивные. И все эти три группы должны быть отсортированы по релевантности. Для этого надо задать атрибуты. В моем случае это поля clearance и in_stock раздела source sphinx.conf
|
||
|
||
```
|
||
sql_query = \
|
||
SELECT id, `art`, `name`, `clearance`, `in_stock` \
|
||
FROM items_zip WHERE show_flag=1
|
||
sql_attr_bool = clearance
|
||
sql_attr_uint = in_stock
|
||
```
|
||
|
||
Эти поля будут использованы в формировании выдачи в #php. Опишу ниже.
|
||
|
||
## Раздел `index` в `sphinx.conf`
|
||
|
||
`morphology = stem_enru`
|
||
|
||
Морфология решает мою первою задачу. Поиск 'подшипники', 'подшипника', 'подшипников' приведет к единому результату.
|
||
|
||
Стэммы (`stem_enru`) быстрее, леммы (`lemmatize_ru`) точнее. Я пробовал только стэммы. Выбор повлияет на ваш словарь замен wordforms. Захотите поменять — придется переписывать.
|
||
|
||
`min_word_len = 1`
|
||
|
||
Индексируем слова любой длины.
|
||
|
||
`html_strip = 1`
|
||
|
||
Удаляем html тэги
|
||
|
||
`min_infix_len = 1`
|
||
|
||
Поиск будет по фрагменту слова. Проиндексируем фрагменты вплоть до 1 буквы. Так как база у меня менее 10000 наименований, то на индексе не экономлю.
|
||
|
||
`expand_keywords = 1`
|
||
|
||
Автоматически приводит запрос к виду "( running |
|
||
_running_ | =running )". min_infix_len и expand_keywords приведут, к тому что запрос RV 2205 выдаст RV2205. Кстати, тире – это разделитель эквивалентный пробелу. Так что RV-2205 то же выдаст RV2205.
|
||
|
||
`charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F, U+401->U+0435, U+451->U+0435`
|
||
|
||
Приводим латиницу и кириллицу в нижний регистр. `Ё` заменяем на `е`.
|
||
|
||
`blend_chars = +, &, U+2C, U+2E`
|
||
|
||
У меня много нецелых чисел. Их надо индексировать полностью. U+2C и U+2E это точка и запятая. Например, 1.25 будет индексирован как '1.25', '1' и '25'.
|
||
|
||
`regexp_filter = (\d+)\,(\d+) => \1.\2`
|
||
|
||
Десятичные знаки в числах могут быть разделены точками и запятыми: "1,75", "1.75". Приведем все к точке
|
||
|
||
### Синонимы и опечатки
|
||
|
||
Единицы измерения можно писать по русски или английски: мм-mm, мАч-mAh, мВт-mW. Добавляем в словарь синонимов, путь к которому указан в `wordforms`: "мач > mah". Язык для индекса выбираю по собственным предпочтениям.
|
||
|
||
Знак `~` указывает применять замену после обработчика морфологии. Это позволяет не писать все словоформы и вместо правил для 'корка', 'корку', 'корки' написать "~корк > кузов"
|
||
|
||
Мой список полностью:
|
||
|
||
```
|
||
~регулятор > esc
|
||
регуль > esc
|
||
мач > mah
|
||
~корк > кузов
|
||
~корпус > кузов
|
||
~пищалк > buzz
|
||
~бузер > buzz
|
||
~буззер > buzz
|
||
~зуммер > buzz
|
||
~зумер > buzz
|
||
~бальс > бальз
|
||
~двигатель > мотор
|
||
~электродвигатель > мотор
|
||
li-po > lipo
|
||
~аммортизатор > амортизатор
|
||
~зарядк > зарядн
|
||
серво > сервопривод
|
||
серва > сервопривод
|
||
vtx > видеопередатчик
|
||
~антен > антенн
|
||
lollipop > lolipop
|
||
battery > аккумулятор
|
||
~пульт > аппаратур
|
||
~безколлекторн > бесколлекторн
|
||
~пиньен > пиньон
|
||
mkF > мкФ
|
||
бек > BEC
|
||
бэк > BEC
|
||
~термоусадк > термоусадочн
|
||
LED > светодиод
|
||
~светодиодн > светодиод
|
||
driver > драйвер
|
||
~пакет > сумк
|
||
~пропеллер > лопаст
|
||
ААА > AAA
|
||
АА > AA
|
||
М > M
|
||
mm > мм
|
||
мВт > mW
|
||
В > V
|
||
А > A
|
||
deans > t-plug
|
||
tplug > t-plug
|
||
```
|
||
|
||
### Прилипание букв к цифрам
|
||
|
||
Иногда числа это часть названия (например LCD5208D), но чаще характеристика (100mAh, 10x15x4мм). Отделяем все числа от букв и индексируем.
|
||
|
||
Это решит несколько задач:
|
||
|
||
- Кто-то будет искать 'подшипник 10x15x4', кто-то 'подшипник 15x10x4'. Проиндексированные числа приведут к правильной выдаче.
|
||
- Единицы измерения могут быть или не быть отделены пробелом от числа: "1.75мм", "1.75 мм".
|
||
- Для названий это тоже полезно. Правильная выдача будет по трем вариантам записи LCD-5208, LCD 5208 и LCD5208
|
||
|
||
Прежде чем написать регулярное выражение для отделения чисел, нужно унифицировать разделители. Важно помнить, что регулярные выражения выполняются все и последовательно.
|
||
|
||
Уберем икс, хэ и звезду в размерах типа 10х15х4 M3x10:
|
||
|
||
```
|
||
regexp_filter = (\d+)[x\x{0445}\*] => \1 x
|
||
```
|
||
|
||
Отбросим хвосты:
|
||
|
||
```
|
||
regexp_filter = (\d*\.?\d+)(\D+) => \1 \2
|
||
```
|
||
|
||
И головы:
|
||
|
||
```
|
||
regexp_filter = (\D+)(\d*\.?\d+) => \1 \2
|
||
```
|
||
|
||
Отбросим "мм", так как они часто не указаны в названии товара.
|
||
Сделаем файл stop.txt и пропишем его в stopwords.
|
||
|
||
Содержимое:
|
||
|
||
```
|
||
мм
|
||
mm
|
||
```
|
||
|
||
## Теперь немного про PHP
|
||
|
||
Sphinxapi рано или поздно будет depricated. Будем использовать Sphinxql. Для этого надо подключиться к БД. В моем случае Sphinx подключаемого через хостинг это выглядит так:
|
||
|
||
```php
|
||
$opt = [
|
||
PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
|
||
PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
|
||
PDO::ATTR_EMULATE_PREPARES => TRUE,
|
||
];
|
||
$dsn = 'mysql:host=127.0.0.1;port=9306;';
|
||
$this->pdo = new PDO($dsn, DB_USER, DB_PASS, $opt);
|
||
```
|
||
|
||
А все общение со #Spinxql это один `SELECT` передающий отфильтрованный текст запроса
|
||
|
||
```php
|
||
$stmt = $this->pdo->prepare("SELECT `id`, WEIGHT() as `w`, in_stock>0 AS stock FROM `items` WHERE MATCH ('".$search."') ORDER BY clearance ASC, stock DESC, w DESC LIMIT ".$limit." OPTION field_weights=(name=10, art=3, cat_names=3, model_names=3)");
|
||
```
|
||
|
||
SphinxQL не понимает выражения в разделе сортировки `ORDER BY`, поэтому `WEIGHT()` и `in_stock>0` пришлось поместить в поля. Кстати, `LIMIT` по умолчанию всего 20.
|
||
|
||
Сортировка сначала выдаст позиции в наличии, потом временно отсутствующие, потом архивные. И все эти три группы будут отсортированы по релевантности (весу).
|
||
|
||
Через `field_weights` задаем какие поля будут обладать большим весом.
|
||
|
||
Выполнив запрос, мы получим отсортированный массив `id`. Но, к сожалению, отбор данных через `WHERE id IN()` эту сортировку нарушит. Придется формировать свой запрос для каждого `id`.
|
||
|
||
На этапе отладки сильно помогает запрос `SHOW META` сразу после запроса `SELECT`. Особенно для проверки словаря `wordforms` и регулярных выражений фильтров. Можно увидеть перечень ключевых слов, на которые разложился запрос.
|
||
|
||
## Усложняем `sql_query`
|
||
|
||
Мы продаем запчасти. Я решил добавить в индекс название категории товара и название модели, для которой предназначается запчасть. Но каждый товар может быть привязан сразу к нескольким категориям и подходить для нескольких моделей. И я открыл для себя функцию [GROUP_CONCAT](http://blog.nagaychenko.com/2010/06/15/%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0-%D1%81-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B5%D0%B9-group_concat/) Она позволяет получить данные по группировке в строку. Например поле categories.name будет содержать все категории отобранного `items_zip.id` через пробел.
|
||
|
||
```sql
|
||
SELECT items_zip.id, `art`, items_zip.`name`, `clearance`, `in_stock`,
|
||
GROUP_CONCAT(DISTINCT categories.name SEPARATOR ' ') AS cat_names,
|
||
GROUP_CONCAT(DISTINCT items.family SEPARATOR ' ') AS model_names
|
||
FROM items_zip LEFT JOIN items_cat ON items_cat.item_id=items_zip.id
|
||
LEFT JOIN categories ON categories.id=items_cat.cat_id
|
||
LEFT JOIN zip_comp ON zip_comp.zip_id=items_zip.id
|
||
LEFT JOIN items ON zip_comp.model_id=items.id
|
||
WHERE items_zip.show_flag=1 GROUP BY items_zip.id
|
||
```
|