stable-code

.vscode/extensions.json

@@ -1,5 +1,6 @@
 {
     "recommendations": [
+        "saoudrizwan.claude-dev",
         "nr-codetools.localaipilot",
         "continue.continue"
     ]

README.md

@@ -5,23 +5,36 @@
 Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
 Такие модели наиболее реально запускать на среднем ПК.
 
-Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество.
+Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
 
-Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество.
+Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
 
-Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ.
+Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
+Например, [phi4-mini:3.8b](phi4-mini/3.8b) или [qwen2.5:7b](qwen2.5/7b).
+
+## Стек
+
+* bash
+* [docker](https://docker.com)
+* [ollama](https://ollama.com)
+* [open-webui](https://docs.openwebui.com)
 
 ## Как использовать
 
 1. Запустить `./run.sh`
 2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
+3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999)
 
 Для настройки vscode поставить один из плагинов:
 * [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
 * [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
 * [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
 
-Плагин должен соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
+Для настройки idea поставить плагин:
+* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding )
+* [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server)
+
+Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
 
 Есть веб-морда по адресу [localhost:9999](http://localhost:9999).
 

gemma3/7b copy 4

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma/tags
-
-docker exec -it ai-ollama ollama run gemma:7b --verbose

gemma3/7b copy 5

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma/tags
-
-docker exec -it ai-ollama ollama run gemma:7b --verbose

llama3.2/3b

@@ -1,4 +1,4 @@
 #!/bin/bash
 # https://ollama.com/library/llama3.2/tags
 
-docker exec -it ai-ollama ollama run llama3.2:1b --verbose
+docker exec -it ai-ollama ollama run llama3.2:3b --verbose

mxbai-embed-large/latest

@@ -0,0 +1,4 @@
+#!/bin/bash
+# https://ollama.com/library/mxbai-embed-large/tags
+
+docker exec -it ai-ollama ollama pull mxbai-embed-large:latest --verbose

nomic-embed-text/latest

@@ -0,0 +1,4 @@
+#!/bin/bash
+# https://ollama.com/library/nomic-embed-text/tags
+
+docker exec -it ai-ollama ollama pull nomic-embed-text:latest --verbose

ollama.sh

@@ -1,3 +1,3 @@
 #!/bin/bash
 
-docker exec -it ai-ollama bash
+docker exec -it ai-ollama ollama "$@"

run.sh

@@ -1,18 +1,20 @@
 #!/bin/bash
 
 docker run \
+    --pull=always \
+    --rm \
     --detach \
     --volume ./.data/ollama:/root/.ollama \
     --publish 11434:11434 \
-    --restart unless-stopped \
     --name ai-ollama \
     ollama/ollama
 
 docker run \
+    --pull=always \
+    --rm \
     --detach \
     --volume ./.data/webui:/app/backend/data \
     --publish 9999:8080 \
-    --restart unless-stopped \
     --add-host=host.docker.internal:host-gateway \
     --name ai-webui \
     ghcr.io/open-webui/open-webui:main

stable-code/3b

@@ -0,0 +1,4 @@
+#!/bin/bash
+# https://ollama.com/library/stable-code/tags
+
+docker exec -it ai-ollama ollama run stable-code:3b --verbose

stable-code/instruct

@@ -0,0 +1,4 @@
+#!/bin/bash
+# https://ollama.com/library/stable-code/tags
+
+docker exec -it ai-ollama ollama run stable-code:instruct --verbose