32 lines
1.8 KiB
Markdown
32 lines
1.8 KiB
Markdown
# Local ollama
|
||
|
||
Набор скриптов для быстрого запуска локальных LLM.
|
||
|
||
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
|
||
Такие модели наиболее реально запускать на среднем ПК.
|
||
|
||
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество.
|
||
|
||
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество.
|
||
|
||
Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ.
|
||
|
||
## Как использовать
|
||
|
||
1. Запустить `./run.sh`
|
||
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
|
||
|
||
Для настройки vscode поставить один из плагинов:
|
||
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
|
||
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
|
||
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
|
||
|
||
Плагин должен соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
|
||
|
||
Есть веб-морда по адресу [localhost:9999](http://localhost:9999).
|
||
|
||
## Дополнительные материалы
|
||
|
||
* https://habr.com/ru/companies/minerva_media/articles/909130/
|
||
* https://github.com/nagaraj-real/localaipilot-api/blob/main/README.md#chat-models
|