WIP

.gitignore

@@ -1,8 +1,10 @@
+/.vscode/launch.json
 /.data/*
 /rag/input_html/*
 /rag/data/*
 /rag/sys_prompt.txt
 /rag/chats/*.md
+/rag/prompts/*
 
 .old/
 .venv/

.vscode/extensions.json

@@ -2,6 +2,7 @@
     "recommendations": [
         "saoudrizwan.claude-dev",
         "nr-codetools.localaipilot",
-        "continue.continue"
+        "continue.continue",
+        "rooveterinaryinc.roo-cline"
     ]
 }

.vscode/launch.json.example

@@ -0,0 +1,25 @@
+{
+    // Используйте IntelliSense, чтобы узнать о возможных атрибутах.
+    // Наведите указатель мыши, чтобы просмотреть описания существующих атрибутов.
+    // Для получения дополнительной информации посетите: https://go.microsoft.com/fwlink/?linkid=830387
+    "version": "0.2.0",
+    "configurations": [
+        {
+            "name": "rag",
+            "type": "debugpy",
+            "request": "launch",
+            "program": "${workspaceFolder}/rag/rag.py",
+            "args": [
+                "--verbose",
+                "--show-stats",
+                // "--interactive",
+                "--use-rank",
+                // "--stream",
+                "--show-prompt",
+                "--qdrant-collection",
+                "rag-2000-300"
+            ],
+            "console": "integratedTerminal"
+        }
+    ]
+}

README.md

@@ -1,25 +1,22 @@
-# Local ollama
+# Local ollama + RAG
 
-Набор скриптов для быстрого запуска локальных LLM.
+Набор скриптов для быстрого запуска локальных LLM и RAG-системы.
 
-Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
-Такие модели наиболее реально запускать на домашних ПК разных мощностей.
+Модели примерно до 40 млрд параметров (обычно 32b) наиболее реально запускать на домашних ПК разных мощностей.
 
-Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
-
-Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
+> Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
+> Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
 
 Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
-Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая llama.
+Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая `llama`.
 
 ## Структура проекта
 
 ```
 ./
-├── models/                 # Директория со скриптами установки моделей ollama
 ├── rag/                    # Директория для работы с RAG
-├── up                      # Скрипт для запуска ollama + open-webui
-├── down                    # Скрипт для остановки ollama + open-webui
+├── up                      # Скрипт для запуска docker-стека
+├── down                    # Скрипт для остановки docker-стека
 ├── ollama                  # Скрипт для выполнения произвольных команд ollama
 ├── ollama.code-workspace   # Конфигурация VSCode Workspace
 └── README.md               # Этот файл
@@ -37,17 +34,134 @@
 ## Как использовать
 
 1. Запустить `./up`
-2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
-3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999)
+2. Запустить `./ollama run <название модели>` для диалога в терминале
+3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
+
+<a id="models"></a>
+<details>
+<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
+
+```
+codegemma:2b
+codegemma:7b
+codellama:7b
+codellama:13b
+codellama:34b
+codeqwen:1.5b
+codeqwen:7b
+codestral:22b
+deepcoder:1.5b
+deepcoder:14b
+deepseek-coder:1.3b
+deepseek-coder:6.7b
+deepseek-coder:33b
+deepseek-coder-v2:16b
+deepseek-r1:1.5b
+deepseek-r1:7b
+deepseek-r1:8b
+deepseek-r1:14b
+deepseek-r1:32b
+devstral:24b
+dolphin3:8b
+gemma:2b
+gemma:7b
+gemma3:1b
+gemma3:4b
+gemma3:12b
+gemma3:27b
+gemma3:270m
+gemma3n:e2b
+gemma3n:e4b
+gpt-oss:20b
+granite-code:3b
+granite-code:8b
+granite-code:20b
+granite-code:34b
+llama2:7b
+llama2:13b
+llama3:8b
+llama3.1:8b
+llama3.2:1b
+llama3.2:3b
+llava-llama3:8b
+magistral:24b
+mistral:7b
+mistral-nemo:12b
+mistral-small:22b
+mistral-small:24b
+mixtral:8x7b
+mxbai-embed-large:latest
+nomic-embed-text:latest
+openthinker:7b
+openthinker:32b
+phi:2.7b
+phi3:3.8b
+phi3:14b
+phi3:instruct
+phi3:medium
+phi3:mini
+phi3.5:3.8b
+phi4:14b
+phi4-mini-reasoning:3.8b
+phi4-mini:3.8b
+phi4-reasoning:14b
+qwen:0.5b
+qwen:1.8b
+qwen:4b
+qwen:7b
+qwen:14b
+qwen:32b
+qwen2:0.5b
+qwen2:1.5b
+qwen2:7b
+qwen2.5:0.5b
+qwen2.5:1.5b
+qwen2.5:3b
+qwen2.5:7b
+qwen2.5:14b
+qwen2.5:32b
+qwen2.5-coder:0.5b
+qwen2.5-coder:1.5b
+qwen2.5-coder:3b
+qwen2.5-coder:7b
+qwen2.5-coder:14b
+qwen2.5-coder:32b
+qwen3:0.6b
+qwen3:1.7b
+qwen3:4b
+qwen3:8b
+qwen3:14b
+qwen3:30b
+qwen3:32b
+qwen3-coder:30b
+qwq:32b
+smollm2:1.7m
+smollm2:135m
+smollm2:360m
+stable-code:3b
+stable-code:instruct
+starcoder2:3b
+starcoder2:7b
+starcoder2:15b
+```
+
+</details>
 
 Для настройки vscode поставить один из плагинов:
-* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
-* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
-* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
+* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev) (полноценный агент/болталка)
+* [Roo Code](https://marketplace.visualstudio.com/items?itemName=RooVeterinaryInc.roo-cline) (более удобный форк cline)
+* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue) (замкнут на своей экосистеме, но позволяет работать с ollama)
+* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot) (примитивная болталка)
 
-Для настройки idea поставить плагин:
-* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding)
+Для настройки idea поставить плагины:
 * [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server)
+  * File | Settings | Tools | MCP Server:
+    * Enable MCP Server
+    * Copy SSE Config
+* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding)
+    * File | Settings | Other Settings | AI Coding — настроить API
+    * в панели AI Coding зайти в MCP и добавить новый, вставив JSON-конфиг SSE, скопированный выше
+    * в панели AI Coding зайти в Agents, создать нового и дать ему этот MCP-сервер
 
 Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
 

compose.yml

@@ -9,24 +9,25 @@ services:
       - "${OLLAMA_PORT:-11434}:11434"
     restart: "no"
 
-  ai-qdrant:
-    container_name: ai-qdrant
-    image: qdrant/qdrant
-    env_file: .env
-    ports:
-      - "${QDRANT_PORT:-6333}:6333"
-    volumes:
-      - ./.data/qdrant/storage:/qdrant/storage
-    restart: "no"
+  # ai-qdrant:
+  #   container_name: ai-qdrant
+  #   image: qdrant/qdrant
+  #   env_file: .env
+  #   ports:
+  #     - "${QDRANT_PORT:-6333}:6333"
+  #   volumes:
+  #     - ./.data/qdrant/storage:/qdrant/storage
+  #   restart: "no"
+  #   profiles: ["rag"]
 
-  ai-webui:
-    container_name: ai-webui
-    image: ghcr.io/open-webui/open-webui:main
-    env_file: .env
-    volumes:
-      - ./.data/webui:/app/backend/data
-    ports:
-      - "${OWEBUI_PORT:-9999}:8080"
-    extra_hosts:
-      - "host.docker.internal:host-gateway"
-    restart: "no"
+  # ai-webui:
+  #   container_name: ai-webui
+  #   image: ghcr.io/open-webui/open-webui:main
+  #   env_file: .env
+  #   volumes:
+  #     - ./.data/webui:/app/backend/data
+  #   ports:
+  #     - "${OWEBUI_PORT:-9999}:8080"
+  #   extra_hosts:
+  #     - "host.docker.internal:host-gateway"
+  #   restart: "no"

models/codegemma/2b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codegemma/tags
-
-docker exec -it ai-ollama ollama run codegemma:2b --verbose

models/codegemma/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codegemma/tags
-
-docker exec -it ai-ollama ollama run codegemma:7b --verbose

models/codellama/13b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codellama/tags
-
-docker exec -it ai-ollama ollama run codellama:13b --verbose

models/codellama/34b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codellama/tags
-
-docker exec -it ai-ollama ollama run codellama:34b --verbose

models/codellama/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codellama/tags
-
-docker exec -it ai-ollama ollama run codellama:7b --verbose

models/codeqwen1.5/1.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codeqwen/tags
-
-docker exec -it ai-ollama ollama run codeqwen:1.5b --verbose

models/codeqwen1.5/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codeqwen/tags
-
-docker exec -it ai-ollama ollama run codeqwen:7b --verbose

models/codestral/22b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/codestral/tags
-
-docker exec -it ai-ollama ollama run codestral:22b --verbose

models/deepcoder/1.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepcoder/tags
-
-docker exec -it ai-ollama ollama run deepcoder:1.5b --verbose

models/deepcoder/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepcoder/tags
-
-docker exec -it ai-ollama ollama run deepcoder:14b --verbose

models/deepseek-coder-v2/16b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-coder-v2/tags
-
-docker exec -it ai-ollama ollama run deepseek-coder-v2:16b --verbose

models/deepseek-coder/1.3b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-coder/tags
-
-docker exec -it ai-ollama ollama run deepseek-coder:1.3b --verbose

models/deepseek-coder/33b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-coder/tags
-
-docker exec -it ai-ollama ollama run deepseek-coder:33b --verbose

models/deepseek-coder/6.7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-coder/tags
-
-docker exec -it ai-ollama ollama run deepseek-coder:6.7b --verbose

models/deepseek-r1/1.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-r1/tags
-
-docker exec -it ai-ollama ollama run deepseek-r1:1.5b --verbose

models/deepseek-r1/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-r1/tags
-
-docker exec -it ai-ollama ollama run deepseek-r1:14b --verbose

models/deepseek-r1/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-r1/tags
-
-docker exec -it ai-ollama ollama run deepseek-r1:32b --verbose

models/deepseek-r1/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-r1/tags
-
-docker exec -it ai-ollama ollama run deepseek-r1:7b --verbose

models/deepseek-r1/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/deepseek-r1/tags
-
-docker exec -it ai-ollama ollama run deepseek-r1:8b --verbose

models/devstral/24b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/devstral/tags
-
-docker exec -it ai-ollama ollama run devstral:24b --verbose

models/dolphin3/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/dolphin3/tags
-
-docker exec -it ai-ollama ollama run dolphin3:8b --verbose

models/gemma/2b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma/tags
-
-docker exec -it ai-ollama ollama run gemma:2b --verbose

models/gemma/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma/tags
-
-docker exec -it ai-ollama ollama run gemma:7b --verbose

models/gemma3/12b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3/tags
-
-docker exec -it ai-ollama ollama run gemma3:12b --verbose

models/gemma3/1b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3/tags
-
-docker exec -it ai-ollama ollama run gemma3:1b --verbose

models/gemma3/270m

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3/tags
-
-docker exec -it ai-ollama ollama run gemma3:270m --verbose

models/gemma3/27b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3/tags
-
-docker exec -it ai-ollama ollama run gemma3:27b --verbose

models/gemma3/4b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3/tags
-
-docker exec -it ai-ollama ollama run gemma3:4b --verbose

models/gemma3n/e2b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3n/tags
-
-docker exec -it ai-ollama ollama run gemma3n:e2b --verbose

models/gemma3n/e4b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gemma3n/tags
-
-docker exec -it ai-ollama ollama run gemma3n:e4b --verbose

models/gpt-oss/20b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/gpt-oss/tags
-
-docker exec -it ai-ollama ollama run gpt-oss:20b --verbose

models/granite-code/20b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/granite-code/tags
-
-docker exec -it ai-ollama ollama run granite-code:20b --verbose

models/granite-code/34b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/granite-code/tags
-
-docker exec -it ai-ollama ollama run granite-code:34b --verbose

models/granite-code/3b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/granite-code/tags
-
-docker exec -it ai-ollama ollama run granite-code:3b --verbose

models/granite-code/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/granite-code/tags
-
-docker exec -it ai-ollama ollama run granite-code:8b --verbose

models/llama2/13b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llama2/tags
-
-docker exec -it ai-ollama ollama run llama2:13b --verbose

models/llama2/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llama2/tags
-
-docker exec -it ai-ollama ollama run llama2:7b --verbose

models/llama3.1/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llama3.1/tags
-
-docker exec -it ai-ollama ollama run llama3.1:8b --verbose

models/llama3.2/1b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llama3.2/tags
-
-docker exec -it ai-ollama ollama run llama3.2:1b --verbose

models/llama3.2/3b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llama3.2/tags
-
-docker exec -it ai-ollama ollama run llama3.2:3b --verbose

models/llama3/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llama3/tags
-
-docker exec -it ai-ollama ollama run llama3:8b --verbose

models/llava-llama3/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/llava-llama3/tags
-
-docker exec -it ai-ollama ollama run llava-llama3:8b --verbose

models/magistral/24b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/magistral/tags
-
-docker exec -it ai-ollama ollama run magistral:24b --verbose

models/mistral-nemo/12b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/mistral-nemo/tags
-
-docker exec -it ai-ollama ollama run mistral-nemo:12b --verbose

models/mistral-small/22b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/mistral-small/tags
-
-docker exec -it ai-ollama ollama run mistral-small:22b --verbose

models/mistral-small/24b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/mistral-small/tags
-
-docker exec -it ai-ollama ollama run mistral-small:24b --verbose

models/mistral/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/mistral/tags
-
-docker exec -it ai-ollama ollama run mistral:7b --verbose

models/mixtral/8x7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/mixtral/tags
-
-docker exec -it ai-ollama ollama run mixtral:8x7b --verbose

models/mxbai-embed-large/latest

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/mxbai-embed-large/tags
-
-../ollama pull mxbai-embed-large:latest --verbose

models/nomic-embed-text/latest

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/nomic-embed-text/tags
-
-../ollama pull nomic-embed-text:latest --verbose

models/openthinker/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/openthinker/tags
-
-docker exec -it ai-ollama ollama run openthinker:32b --verbose

models/openthinker/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/openthinker/tags
-
-docker exec -it ai-ollama ollama run openthinker:7b --verbose

models/phi/2.7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi/tags
-
-docker exec -it ai-ollama ollama run phi:2.7b --verbose

models/phi3.5/3.8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi3.5/tags
-
-docker exec -it ai-ollama ollama run phi3.5:3.8b --verbose

models/phi3/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi3/tags
-
-docker exec -it ai-ollama ollama run phi3:14b --verbose

models/phi3/3.8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi3/tags
-
-docker exec -it ai-ollama ollama run phi3:3.8b --verbose

models/phi3/instruct

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi3/tags
-
-docker exec -it ai-ollama ollama run phi3:instruct --verbose

models/phi3/medium

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi3/tags
-
-docker exec -it ai-ollama ollama run phi3:medium --verbose

models/phi3/mini

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi3/tags
-
-docker exec -it ai-ollama ollama run phi3:mini --verbose

models/phi4/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi4/tags
-
-docker exec -it ai-ollama ollama run phi4:14b --verbose

models/phi4/mini-reasoning:3.8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi4-mini-reasoning/tags
-
-docker exec -it ai-ollama ollama run phi4-mini-reasoning:3.8b --verbose

models/phi4/mini:3.8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi4-mini/tags
-
-docker exec -it ai-ollama ollama run phi4-mini:3.8b --verbose

models/phi4/reasoning:14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/phi4-reasoning/tags
-
-docker exec -it ai-ollama ollama run phi4-reasoning:14b --verbose

models/qwen/0.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen/tags
-
-docker exec -it ai-ollama ollama run qwen:0.5b --verbose

models/qwen/1.8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen/tags
-
-docker exec -it ai-ollama ollama run qwen:1.8b --verbose

models/qwen/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen/tags
-
-docker exec -it ai-ollama ollama run qwen:14b --verbose

models/qwen/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen/tags
-
-docker exec -it ai-ollama ollama run qwen:32b --verbose

models/qwen/4b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen/tags
-
-docker exec -it ai-ollama ollama run qwen:4b --verbose

models/qwen/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen/tags
-
-docker exec -it ai-ollama ollama run qwen:7b --verbose

models/qwen2.5-coder/0.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5-coder/tags
-
-docker exec -it ai-ollama ollama run qwen2.5-coder:0.5b --verbose

models/qwen2.5-coder/1.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5-coder/tags
-
-docker exec -it ai-ollama ollama run qwen2.5-coder:1.5b --verbose

models/qwen2.5-coder/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5-coder/tags
-
-docker exec -it ai-ollama ollama run qwen2.5-coder:14b --verbose

models/qwen2.5-coder/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5-coder/tags
-
-docker exec -it ai-ollama ollama run qwen2.5-coder:32b --verbose

models/qwen2.5-coder/3b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5-coder/tags
-
-docker exec -it ai-ollama ollama run qwen2.5-coder:3b --verbose

models/qwen2.5-coder/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5-coder/tags
-
-docker exec -it ai-ollama ollama run qwen2.5-coder:7b --verbose

models/qwen2.5/0.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5/tags
-
-docker exec -it ai-ollama ollama run qwen2.5:0.5b --verbose

models/qwen2.5/1.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5/tags
-
-docker exec -it ai-ollama ollama run qwen2.5:1.5b --verbose

models/qwen2.5/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5/tags
-
-docker exec -it ai-ollama ollama run qwen2.5:14b --verbose

models/qwen2.5/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5/tags
-
-docker exec -it ai-ollama ollama run qwen2.5:32b --verbose

models/qwen2.5/3b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5/tags
-
-docker exec -it ai-ollama ollama run qwen2.5:3b --verbose

models/qwen2.5/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2.5/tags
-
-docker exec -it ai-ollama ollama run qwen2.5:7b --verbose

models/qwen2/0.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2/tags
-
-docker exec -it ai-ollama ollama run qwen2:0.5b --verbose

models/qwen2/1.5b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2/tags
-
-docker exec -it ai-ollama ollama run qwen2:1.5b --verbose

models/qwen2/7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen2/tags
-
-docker exec -it ai-ollama ollama run qwen2:7b --verbose

models/qwen3-coder/30b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3-coder/tags
-
-docker exec -it ai-ollama ollama run qwen3-coder:30b --verbose

models/qwen3/0.6b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:0.6b --verbose

models/qwen3/1.7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:1.7b --verbose

models/qwen3/14b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:14b --verbose

models/qwen3/30b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:30b --verbose

models/qwen3/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:32b --verbose

models/qwen3/4b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:4b --verbose

models/qwen3/8b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwen3/tags
-
-docker exec -it ai-ollama ollama run qwen3:8b --verbose

models/qwq/32b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/qwq/tags
-
-docker exec -it ai-ollama ollama run qwq:32b --verbose

models/smollm2/1.7b

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/smollm2/tags
-
-docker exec -it ai-ollama ollama run smollm2:1.7m --verbose

models/smollm2/135m

@@ -1,4 +0,0 @@
-#!/bin/bash
-# https://ollama.com/library/smollm2/tags
-
-docker exec -it ai-ollama ollama run smollm2:135m --verbose