61 lines
3.3 KiB
Markdown
61 lines
3.3 KiB
Markdown
# Local ollama
|
||
|
||
Набор скриптов для быстрого запуска локальных LLM.
|
||
|
||
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
|
||
Такие модели наиболее реально запускать на домашних ПК разных мощностей.
|
||
|
||
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
|
||
|
||
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
|
||
|
||
Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
|
||
Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая llama.
|
||
|
||
## Структура проекта
|
||
|
||
```
|
||
./
|
||
├── models/ # Директория со скриптами установки моделей ollama
|
||
├── rag/ # Директория для подготовки RAG
|
||
├── up # Скрипт для запуска ollama + open-webui
|
||
├── down # Скрипт для остановки ollama + open-webui
|
||
├── ollama # Скрипт для выполнения произвольных команд ollama
|
||
├── ollama.code-workspace # Конфигурация VSCode Workspace
|
||
└── README.md # Этот файл
|
||
```
|
||
|
||
## Стек
|
||
|
||
* bash
|
||
* python, venv, pip
|
||
* [docker](https://docker.com)
|
||
* [ollama](https://ollama.com)
|
||
* [open-webui](https://docs.openwebui.com)
|
||
|
||
## Как использовать
|
||
|
||
1. Запустить `./up`
|
||
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
|
||
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999)
|
||
|
||
Для настройки vscode поставить один из плагинов:
|
||
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
|
||
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
|
||
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
|
||
|
||
Для настройки idea поставить плагин:
|
||
* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding)
|
||
* [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server)
|
||
|
||
Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
|
||
|
||
### Использование RAG системы
|
||
|
||
Для работы RAG системы необходимо обратиться к документу [rag/README.md](rag/README.md).
|
||
|
||
## Дополнительные материалы
|
||
|
||
* https://habr.com/ru/companies/minerva_media/articles/909130/
|
||
* https://github.com/nagaraj-real/localaipilot-api/blob/main/README.md#chat-models
|