Compare commits
29 Commits
36e2785290
...
master
| Author | SHA1 | Date | |
|---|---|---|---|
|
f5d3229b7c
|
|||
|
74b0f4ba55
|
|||
|
4748403378
|
|||
|
f1aa9f2324
|
|||
|
435d4dfbc2
|
|||
|
87b65155d5
|
|||
|
1f54ab0409
|
|||
|
0106d157d3
|
|||
|
bb32153fc1
|
|||
|
1413933521
|
|||
|
77ba817f14
|
|||
|
defc30cad0
|
|||
|
c408972b45
|
|||
|
f3672e6ffd
|
|||
|
3f2491db27
|
|||
|
3b15a6a19e
|
|||
|
22d23c1ca0
|
|||
|
a8acbd6354
|
|||
|
789e7b4903
|
|||
|
1fa14207be
|
|||
|
b391de5d35
|
|||
|
e366b62b52
|
|||
|
220d9eba7f
|
|||
|
a9328b4681
|
|||
|
c6e498a0c8
|
|||
|
a01f903714
|
|||
|
2e3eb52e9f
|
|||
|
330c65697a
|
|||
|
3dcdc6f847
|
@@ -4,3 +4,8 @@ CONF_URL=
|
||||
# Имя пользователя и его пароль для авторизации
|
||||
CONF_USERNAME=
|
||||
CONF_PASSWORD=
|
||||
|
||||
# Порты сервисов на хосте
|
||||
OLLAMA_PORT=11434
|
||||
QDRANT_PORT=6333
|
||||
OWEBUI_PORT=9999
|
||||
13
.gitignore
vendored
13
.gitignore
vendored
@@ -1,12 +1,15 @@
|
||||
/.vscode/launch.json
|
||||
/.data/*
|
||||
/rag/input_html/*
|
||||
/rag/output_md/*
|
||||
/rag/ready_rag/*
|
||||
/rag/venv
|
||||
/rag/data/*
|
||||
/rag/sys_prompt.txt
|
||||
/rag/chats/*.md
|
||||
/rag/prompts/*
|
||||
|
||||
.old/
|
||||
.venv/
|
||||
|
||||
.env
|
||||
*.html
|
||||
*.pdf
|
||||
*.sqlite*
|
||||
|
||||
!.gitkeep
|
||||
|
||||
3
.idea/.gitignore
generated
vendored
Normal file
3
.idea/.gitignore
generated
vendored
Normal file
@@ -0,0 +1,3 @@
|
||||
# Default ignored files
|
||||
/shelf/
|
||||
/workspace.xml
|
||||
6
.idea/inspectionProfiles/profiles_settings.xml
generated
Normal file
6
.idea/inspectionProfiles/profiles_settings.xml
generated
Normal file
@@ -0,0 +1,6 @@
|
||||
<component name="InspectionProjectProfileManager">
|
||||
<settings>
|
||||
<option name="USE_PROJECT_PROFILE" value="false" />
|
||||
<version value="1.0" />
|
||||
</settings>
|
||||
</component>
|
||||
7
.idea/misc.xml
generated
Normal file
7
.idea/misc.xml
generated
Normal file
@@ -0,0 +1,7 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<project version="4">
|
||||
<component name="Black">
|
||||
<option name="sdkName" value="Python 3.13" />
|
||||
</component>
|
||||
<component name="ProjectRootManager" version="2" project-jdk-name="Python 3.13 (ollama)" project-jdk-type="Python SDK" />
|
||||
</project>
|
||||
8
.idea/modules.xml
generated
Normal file
8
.idea/modules.xml
generated
Normal file
@@ -0,0 +1,8 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<project version="4">
|
||||
<component name="ProjectModuleManager">
|
||||
<modules>
|
||||
<module fileurl="file://$PROJECT_DIR$/.idea/ollama.iml" filepath="$PROJECT_DIR$/.idea/ollama.iml" />
|
||||
</modules>
|
||||
</component>
|
||||
</project>
|
||||
17
.idea/ollama.iml
generated
Normal file
17
.idea/ollama.iml
generated
Normal file
@@ -0,0 +1,17 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<module type="PYTHON_MODULE" version="4">
|
||||
<component name="NewModuleRootManager">
|
||||
<content url="file://$MODULE_DIR$">
|
||||
<excludeFolder url="file://$MODULE_DIR$/.venv" />
|
||||
</content>
|
||||
<orderEntry type="jdk" jdkName="Python 3.13 (ollama)" jdkType="Python SDK" />
|
||||
<orderEntry type="sourceFolder" forTests="false" />
|
||||
</component>
|
||||
<component name="PyDocumentationSettings">
|
||||
<option name="format" value="GOOGLE" />
|
||||
<option name="myDocStringFormat" value="Google" />
|
||||
</component>
|
||||
<component name="TestRunnerService">
|
||||
<option name="PROJECT_TEST_RUNNER" value="py.test" />
|
||||
</component>
|
||||
</module>
|
||||
6
.idea/vcs.xml
generated
Normal file
6
.idea/vcs.xml
generated
Normal file
@@ -0,0 +1,6 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<project version="4">
|
||||
<component name="VcsDirectoryMappings">
|
||||
<mapping directory="" vcs="Git" />
|
||||
</component>
|
||||
</project>
|
||||
3
.vscode/extensions.json
vendored
3
.vscode/extensions.json
vendored
@@ -2,6 +2,7 @@
|
||||
"recommendations": [
|
||||
"saoudrizwan.claude-dev",
|
||||
"nr-codetools.localaipilot",
|
||||
"continue.continue"
|
||||
"continue.continue",
|
||||
"rooveterinaryinc.roo-cline"
|
||||
]
|
||||
}
|
||||
|
||||
25
.vscode/launch.json.example
vendored
Normal file
25
.vscode/launch.json.example
vendored
Normal file
@@ -0,0 +1,25 @@
|
||||
{
|
||||
// Используйте IntelliSense, чтобы узнать о возможных атрибутах.
|
||||
// Наведите указатель мыши, чтобы просмотреть описания существующих атрибутов.
|
||||
// Для получения дополнительной информации посетите: https://go.microsoft.com/fwlink/?linkid=830387
|
||||
"version": "0.2.0",
|
||||
"configurations": [
|
||||
{
|
||||
"name": "rag",
|
||||
"type": "debugpy",
|
||||
"request": "launch",
|
||||
"program": "${workspaceFolder}/rag/rag.py",
|
||||
"args": [
|
||||
"--verbose",
|
||||
"--show-stats",
|
||||
// "--interactive",
|
||||
"--use-rank",
|
||||
// "--stream",
|
||||
"--show-prompt",
|
||||
"--qdrant-collection",
|
||||
"rag-2000-300"
|
||||
],
|
||||
"console": "integratedTerminal"
|
||||
}
|
||||
]
|
||||
}
|
||||
153
README.md
153
README.md
@@ -1,25 +1,22 @@
|
||||
# Local ollama
|
||||
# Local ollama + RAG
|
||||
|
||||
Набор скриптов для быстрого запуска локальных LLM.
|
||||
Набор скриптов для быстрого запуска локальных LLM и RAG-системы.
|
||||
|
||||
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
|
||||
Такие модели наиболее реально запускать на домашних ПК разных мощностей.
|
||||
Модели примерно до 40 млрд параметров (обычно 32b) наиболее реально запускать на домашних ПК разных мощностей.
|
||||
|
||||
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
|
||||
|
||||
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
|
||||
> Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
|
||||
> Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
|
||||
|
||||
Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
|
||||
Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая llama.
|
||||
Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая `llama`.
|
||||
|
||||
## Структура проекта
|
||||
|
||||
```
|
||||
./
|
||||
├── models/ # Директория со скриптами установки моделей ollama
|
||||
├── rag/ # Директория для подготовки RAG
|
||||
├── up # Скрипт для запуска ollama + open-webui
|
||||
├── down # Скрипт для остановки ollama + open-webui
|
||||
├── rag/ # Директория для работы с RAG
|
||||
├── up # Скрипт для запуска docker-стека
|
||||
├── down # Скрипт для остановки docker-стека
|
||||
├── ollama # Скрипт для выполнения произвольных команд ollama
|
||||
├── ollama.code-workspace # Конфигурация VSCode Workspace
|
||||
└── README.md # Этот файл
|
||||
@@ -31,22 +28,140 @@
|
||||
* python, venv, pip
|
||||
* [docker](https://docker.com)
|
||||
* [ollama](https://ollama.com)
|
||||
* [qdrant](https://qdrant.tech/documentation/quickstart/)
|
||||
* [open-webui](https://docs.openwebui.com)
|
||||
|
||||
## Как использовать
|
||||
|
||||
1. Запустить `./up`
|
||||
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
|
||||
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999)
|
||||
2. Запустить `./ollama run <название модели>` для диалога в терминале
|
||||
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
|
||||
|
||||
<a id="models"></a>
|
||||
<details>
|
||||
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
|
||||
|
||||
```
|
||||
codegemma:2b
|
||||
codegemma:7b
|
||||
codellama:7b
|
||||
codellama:13b
|
||||
codellama:34b
|
||||
codeqwen:1.5b
|
||||
codeqwen:7b
|
||||
codestral:22b
|
||||
deepcoder:1.5b
|
||||
deepcoder:14b
|
||||
deepseek-coder:1.3b
|
||||
deepseek-coder:6.7b
|
||||
deepseek-coder:33b
|
||||
deepseek-coder-v2:16b
|
||||
deepseek-r1:1.5b
|
||||
deepseek-r1:7b
|
||||
deepseek-r1:8b
|
||||
deepseek-r1:14b
|
||||
deepseek-r1:32b
|
||||
devstral:24b
|
||||
dolphin3:8b
|
||||
gemma:2b
|
||||
gemma:7b
|
||||
gemma3:1b
|
||||
gemma3:4b
|
||||
gemma3:12b
|
||||
gemma3:27b
|
||||
gemma3:270m
|
||||
gemma3n:e2b
|
||||
gemma3n:e4b
|
||||
gpt-oss:20b
|
||||
granite-code:3b
|
||||
granite-code:8b
|
||||
granite-code:20b
|
||||
granite-code:34b
|
||||
llama2:7b
|
||||
llama2:13b
|
||||
llama3:8b
|
||||
llama3.1:8b
|
||||
llama3.2:1b
|
||||
llama3.2:3b
|
||||
llava-llama3:8b
|
||||
magistral:24b
|
||||
mistral:7b
|
||||
mistral-nemo:12b
|
||||
mistral-small:22b
|
||||
mistral-small:24b
|
||||
mixtral:8x7b
|
||||
mxbai-embed-large:latest
|
||||
nomic-embed-text:latest
|
||||
openthinker:7b
|
||||
openthinker:32b
|
||||
phi:2.7b
|
||||
phi3:3.8b
|
||||
phi3:14b
|
||||
phi3:instruct
|
||||
phi3:medium
|
||||
phi3:mini
|
||||
phi3.5:3.8b
|
||||
phi4:14b
|
||||
phi4-mini-reasoning:3.8b
|
||||
phi4-mini:3.8b
|
||||
phi4-reasoning:14b
|
||||
qwen:0.5b
|
||||
qwen:1.8b
|
||||
qwen:4b
|
||||
qwen:7b
|
||||
qwen:14b
|
||||
qwen:32b
|
||||
qwen2:0.5b
|
||||
qwen2:1.5b
|
||||
qwen2:7b
|
||||
qwen2.5:0.5b
|
||||
qwen2.5:1.5b
|
||||
qwen2.5:3b
|
||||
qwen2.5:7b
|
||||
qwen2.5:14b
|
||||
qwen2.5:32b
|
||||
qwen2.5-coder:0.5b
|
||||
qwen2.5-coder:1.5b
|
||||
qwen2.5-coder:3b
|
||||
qwen2.5-coder:7b
|
||||
qwen2.5-coder:14b
|
||||
qwen2.5-coder:32b
|
||||
qwen3:0.6b
|
||||
qwen3:1.7b
|
||||
qwen3:4b
|
||||
qwen3:8b
|
||||
qwen3:14b
|
||||
qwen3:30b
|
||||
qwen3:32b
|
||||
qwen3-coder:30b
|
||||
qwq:32b
|
||||
smollm2:1.7m
|
||||
smollm2:135m
|
||||
smollm2:360m
|
||||
stable-code:3b
|
||||
stable-code:instruct
|
||||
starcoder2:3b
|
||||
starcoder2:7b
|
||||
starcoder2:15b
|
||||
```
|
||||
|
||||
</details>
|
||||
|
||||
Для настройки vscode поставить один из плагинов:
|
||||
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
|
||||
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
|
||||
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
|
||||
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev) (полноценный агент/болталка)
|
||||
* [Roo Code](https://marketplace.visualstudio.com/items?itemName=RooVeterinaryInc.roo-cline) (более удобный форк cline)
|
||||
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue) (замкнут на своей экосистеме, но позволяет работать с ollama)
|
||||
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot) (примитивная болталка)
|
||||
|
||||
Для настройки idea поставить плагин:
|
||||
* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding)
|
||||
Для настройки idea поставить плагины:
|
||||
* [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server)
|
||||
* File | Settings | Tools | MCP Server:
|
||||
* Enable MCP Server
|
||||
* Copy SSE Config
|
||||
* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding)
|
||||
* File | Settings | Other Settings | AI Coding — настроить API
|
||||
* в панели AI Coding зайти в MCP и добавить новый, вставив JSON-конфиг SSE, скопированный выше
|
||||
* в панели AI Coding зайти в Agents, создать нового и дать ему этот MCP-сервер
|
||||
|
||||
Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
|
||||
|
||||
|
||||
33
compose.yml
Normal file
33
compose.yml
Normal file
@@ -0,0 +1,33 @@
|
||||
services:
|
||||
ai-ollama:
|
||||
container_name: ai-ollama
|
||||
image: ollama/ollama
|
||||
env_file: .env
|
||||
volumes:
|
||||
- ./.data/ollama:/root/.ollama
|
||||
ports:
|
||||
- "${OLLAMA_PORT:-11434}:11434"
|
||||
restart: "no"
|
||||
|
||||
# ai-qdrant:
|
||||
# container_name: ai-qdrant
|
||||
# image: qdrant/qdrant
|
||||
# env_file: .env
|
||||
# ports:
|
||||
# - "${QDRANT_PORT:-6333}:6333"
|
||||
# volumes:
|
||||
# - ./.data/qdrant/storage:/qdrant/storage
|
||||
# restart: "no"
|
||||
# profiles: ["rag"]
|
||||
|
||||
# ai-webui:
|
||||
# container_name: ai-webui
|
||||
# image: ghcr.io/open-webui/open-webui:main
|
||||
# env_file: .env
|
||||
# volumes:
|
||||
# - ./.data/webui:/app/backend/data
|
||||
# ports:
|
||||
# - "${OWEBUI_PORT:-9999}:8080"
|
||||
# extra_hosts:
|
||||
# - "host.docker.internal:host-gateway"
|
||||
# restart: "no"
|
||||
3
down
3
down
@@ -1,4 +1,3 @@
|
||||
#!/bin/bash
|
||||
# https://habr.com/ru/companies/minerva_media/articles/909130/
|
||||
|
||||
docker stop ai-ollama ai-webui
|
||||
docker compose down
|
||||
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codegemma/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codegemma:2b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codegemma/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codegemma:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codellama/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codellama:13b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codellama/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codellama:34b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codellama/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codellama:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codeqwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codeqwen:1.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codeqwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codeqwen:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/codestral/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run codestral:22b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepcoder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepcoder:1.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepcoder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepcoder:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-coder-v2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-coder-v2:16b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-coder:1.3b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-coder:33b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-coder:6.7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-r1/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-r1:1.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-r1/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-r1:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-r1/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-r1:32b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-r1/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-r1:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/deepseek-r1/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run deepseek-r1:8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/devstral/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run devstral:24b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/dolphin3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run dolphin3:8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma:2b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3:12b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3:1b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3:270m --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3:27b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3:4b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3n/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3n:e2b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gemma3n/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gemma3n:e4b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/gpt-oss/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run gpt-oss:20b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/granite-code/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run granite-code:20b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/granite-code/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run granite-code:34b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/granite-code/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run granite-code:3b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/granite-code/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run granite-code:8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llama2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llama2:13b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llama2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llama2:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llama3.1/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llama3.1:8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llama3.2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llama3.2:1b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llama3.2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llama3.2:3b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llama3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llama3:8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/llava-llama3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run llava-llama3:8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/magistral/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run magistral:24b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/mistral-nemo/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run mistral-nemo:12b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/mistral-small/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run mistral-small:22b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/mistral-small/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run mistral-small:24b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/mistral/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run mistral:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/mixtral/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run mixtral:8x7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/mxbai-embed-large/tags
|
||||
|
||||
../ollama pull mxbai-embed-large:latest --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/nomic-embed-text/tags
|
||||
|
||||
../ollama pull nomic-embed-text:latest --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/openthinker/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run openthinker:32b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/openthinker/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run openthinker:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi:2.7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi3.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi3.5:3.8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi3:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi3:3.8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi3:instruct --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi3:medium --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi3:mini --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi4/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi4:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi4-mini-reasoning/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi4-mini-reasoning:3.8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi4-mini/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi4-mini:3.8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/phi4-reasoning/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run phi4-reasoning:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen:0.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen:1.8b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen:32b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen:4b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5-coder:0.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5-coder:1.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5-coder:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5-coder:32b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5-coder:3b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5-coder:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5:0.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5:1.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5:14b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5:32b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5:3b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2.5/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2.5:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2:0.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2:1.5b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen2/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen2:7b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen3-coder/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen3-coder:30b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen3:0.6b --verbose
|
||||
@@ -1,4 +0,0 @@
|
||||
#!/bin/bash
|
||||
# https://ollama.com/library/qwen3/tags
|
||||
|
||||
docker exec -it ai-ollama ollama run qwen3:1.7b --verbose
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user