diff --git a/README.md b/README.md index d5a4bf8..f77da9e 100644 --- a/README.md +++ b/README.md @@ -5,23 +5,36 @@ Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b). Такие модели наиболее реально запускать на среднем ПК. -Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество. +Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество. -Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество. +Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество. -Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ. +Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос. +Например, [phi4-mini:3.8b](phi4-mini/3.8b) или [qwen2.5:7b](qwen2.5/7b). + +## Стек + +* bash +* [docker](https://docker.com) +* [ollama](https://ollama.com) +* [open-webui](https://docs.openwebui.com) ## Как использовать 1. Запустить `./run.sh` 2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале +3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) Для настройки vscode поставить один из плагинов: * [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev) * [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue) * [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot) -Плагин должен соединиться с `localhost:11434` и подгрузить доступные модели из контейнера. +Для настройки idea поставить плагин: +* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding ) +* [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server) + +Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера. Есть веб-морда по адресу [localhost:9999](http://localhost:9999). diff --git a/gemma3/7b copy 4 b/gemma3/7b copy 4 deleted file mode 100755 index e37c08b..0000000 --- a/gemma3/7b copy 4 +++ /dev/null @@ -1,4 +0,0 @@ -#!/bin/bash -# https://ollama.com/library/gemma/tags - -docker exec -it ai-ollama ollama run gemma:7b --verbose diff --git a/gemma3/7b copy 5 b/gemma3/7b copy 5 deleted file mode 100755 index e37c08b..0000000 --- a/gemma3/7b copy 5 +++ /dev/null @@ -1,4 +0,0 @@ -#!/bin/bash -# https://ollama.com/library/gemma/tags - -docker exec -it ai-ollama ollama run gemma:7b --verbose diff --git a/phi4-mini/14b b/phi4-mini/3.8b similarity index 100% rename from phi4-mini/14b rename to phi4-mini/3.8b diff --git a/run.sh b/run.sh index cbf412d..2a99f84 100755 --- a/run.sh +++ b/run.sh @@ -1,6 +1,7 @@ #!/bin/bash docker run \ + --pull=always \ --detach \ --volume ./.data/ollama:/root/.ollama \ --publish 11434:11434 \ @@ -9,6 +10,7 @@ docker run \ ollama/ollama docker run \ + --pull=always \ --detach \ --volume ./.data/webui:/app/backend/data \ --publish 9999:8080 \