1.1 KiB
1.1 KiB
Чек-лист по построению RAG
- Определиться с форматом входных данных
- Очистить входные данные, обеспечив метаданными
- Подобрать модель эмбеддинга
- Подобрать размер чанка и перекрытия для эмбеддинга
- Подобрать место хранения (векторная СУБД)
- Подобрать модель ранжирования
- Подобрать модель генерации
- Подобрать для неё системный промпт (для встраивания найденных чанков, грамотного их цитирования)
- Подобрать параметры:
- top_k (количество чанков для поиска при эмбеддинге)
- top_n (остаток найденных чанков после ранжирования)
- temperature (степень фантазии)
- top_p (???)
- другие?