diff --git a/README.md b/README.md index ce78593..d5a4bf8 100644 --- a/README.md +++ b/README.md @@ -1,9 +1,23 @@ # Local ollama +Набор скриптов для быстрого запуска локальных LLM. + +Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b). +Такие модели наиболее реально запускать на среднем ПК. + +Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество. + +Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество. + +Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ. + +## Как использовать + 1. Запустить `./run.sh` 2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале Для настройки vscode поставить один из плагинов: +* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev) * [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue) * [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot) diff --git a/ollama.sh b/ollama.sh new file mode 100755 index 0000000..7c47796 --- /dev/null +++ b/ollama.sh @@ -0,0 +1,3 @@ +#!/bin/bash + +docker exec -it ai-ollama bash