Local ollama
Набор скриптов для быстрого запуска локальных LLM.
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b). Такие модели наиболее реально запускать на среднем ПК.
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество.
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество.
Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ.
Как использовать
- Запустить
./run.sh - Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
Для настройки vscode поставить один из плагинов:
Плагин должен соединиться с localhost:11434 и подгрузить доступные модели из контейнера.
Есть веб-морда по адресу localhost:9999.