Мелочи по rag
- переименована папка - написан новый скрипт quickstart - отказ от requirements.txt - добавлен забытый и актуализированный README
This commit is contained in:
20
README.md
20
README.md
@@ -3,7 +3,7 @@
|
||||
Набор скриптов для быстрого запуска локальных LLM.
|
||||
|
||||
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
|
||||
Такие модели наиболее реально запускать на среднем ПК.
|
||||
Такие модели наиболее реально запускать на домашних ПК разных мощностей.
|
||||
|
||||
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
|
||||
|
||||
@@ -12,9 +12,23 @@
|
||||
Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
|
||||
Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая llama.
|
||||
|
||||
## Структура проекта
|
||||
|
||||
```
|
||||
./
|
||||
├── models/ # Директория со скриптами установки моделей ollama
|
||||
├── rag/ # Директория с инструментами для подготовки RAG
|
||||
├── up # Скрипт для запуска ollama + open-webui
|
||||
├── down # Скрипт для остановки ollama + open-webui
|
||||
├── ollama # Скрипт для выполнения произвольных команд ollama
|
||||
├── ollama.code-workspace # Конфигурация VSCode Workspace
|
||||
└── README.md # Этот файл
|
||||
```
|
||||
|
||||
## Стек
|
||||
|
||||
* bash
|
||||
* python, venv, pip
|
||||
* [docker](https://docker.com)
|
||||
* [ollama](https://ollama.com)
|
||||
* [open-webui](https://docs.openwebui.com)
|
||||
@@ -36,9 +50,9 @@
|
||||
|
||||
Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
|
||||
|
||||
## Использование RAG системы
|
||||
### Использование RAG системы
|
||||
|
||||
Для работы RAG системы необходимо обратиться к документу [@rag/README.md](@rag/README.md).
|
||||
Для работы RAG системы необходимо обратиться к документу [rag/README.md](rag/README.md).
|
||||
|
||||
## Дополнительные материалы
|
||||
|
||||
|
||||
Reference in New Issue
Block a user