Корректировки по README и мелочи
This commit is contained in:
21
README.md
21
README.md
@@ -5,23 +5,36 @@
|
|||||||
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
|
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
|
||||||
Такие модели наиболее реально запускать на среднем ПК.
|
Такие модели наиболее реально запускать на среднем ПК.
|
||||||
|
|
||||||
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество.
|
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
|
||||||
|
|
||||||
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество.
|
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
|
||||||
|
|
||||||
Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ.
|
Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
|
||||||
|
Например, [phi4-mini:3.8b](phi4-mini/3.8b) или [qwen2.5:7b](qwen2.5/7b).
|
||||||
|
|
||||||
|
## Стек
|
||||||
|
|
||||||
|
* bash
|
||||||
|
* [docker](https://docker.com)
|
||||||
|
* [ollama](https://ollama.com)
|
||||||
|
* [open-webui](https://docs.openwebui.com)
|
||||||
|
|
||||||
## Как использовать
|
## Как использовать
|
||||||
|
|
||||||
1. Запустить `./run.sh`
|
1. Запустить `./run.sh`
|
||||||
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
|
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
|
||||||
|
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999)
|
||||||
|
|
||||||
Для настройки vscode поставить один из плагинов:
|
Для настройки vscode поставить один из плагинов:
|
||||||
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
|
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
|
||||||
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
|
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
|
||||||
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
|
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
|
||||||
|
|
||||||
Плагин должен соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
|
Для настройки idea поставить плагин:
|
||||||
|
* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding )
|
||||||
|
* [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server)
|
||||||
|
|
||||||
|
Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
|
||||||
|
|
||||||
Есть веб-морда по адресу [localhost:9999](http://localhost:9999).
|
Есть веб-морда по адресу [localhost:9999](http://localhost:9999).
|
||||||
|
|
||||||
|
|||||||
@@ -1,4 +0,0 @@
|
|||||||
#!/bin/bash
|
|
||||||
# https://ollama.com/library/gemma/tags
|
|
||||||
|
|
||||||
docker exec -it ai-ollama ollama run gemma:7b --verbose
|
|
||||||
@@ -1,4 +0,0 @@
|
|||||||
#!/bin/bash
|
|
||||||
# https://ollama.com/library/gemma/tags
|
|
||||||
|
|
||||||
docker exec -it ai-ollama ollama run gemma:7b --verbose
|
|
||||||
2
run.sh
2
run.sh
@@ -1,6 +1,7 @@
|
|||||||
#!/bin/bash
|
#!/bin/bash
|
||||||
|
|
||||||
docker run \
|
docker run \
|
||||||
|
--pull=always \
|
||||||
--detach \
|
--detach \
|
||||||
--volume ./.data/ollama:/root/.ollama \
|
--volume ./.data/ollama:/root/.ollama \
|
||||||
--publish 11434:11434 \
|
--publish 11434:11434 \
|
||||||
@@ -9,6 +10,7 @@ docker run \
|
|||||||
ollama/ollama
|
ollama/ollama
|
||||||
|
|
||||||
docker run \
|
docker run \
|
||||||
|
--pull=always \
|
||||||
--detach \
|
--detach \
|
||||||
--volume ./.data/webui:/app/backend/data \
|
--volume ./.data/webui:/app/backend/data \
|
||||||
--publish 9999:8080 \
|
--publish 9999:8080 \
|
||||||
|
|||||||
Reference in New Issue
Block a user