1
0

Compare commits

...

50 Commits

Author SHA1 Message Date
f5d3229b7c WIP 2026-01-23 14:05:19 +08:00
74b0f4ba55 Автозагрузка модели ollama при отсутствии 2025-09-08 19:51:22 +08:00
4748403378 Удалён чеклист, который заменён майнд-картой 2025-09-08 19:04:53 +08:00
f1aa9f2324 Mindmap 2025-09-08 12:46:06 +08:00
435d4dfbc2 Проба чат-режима 2025-09-08 09:16:32 +08:00
87b65155d5 Директория для кастомных промптов 2025-09-08 09:16:03 +08:00
1f54ab0409 Проба отсева документов по минимальному скору 2025-09-08 09:15:38 +08:00
0106d157d3 Удалён /.vscode/launch.json 2025-09-08 09:13:54 +08:00
bb32153fc1 qdrant в профиле rag 2025-09-08 09:13:23 +08:00
1413933521 Мелочи по README 2025-09-08 09:13:03 +08:00
77ba817f14 Актуализация README 2025-09-05 14:18:10 +08:00
defc30cad0 Доработка rag, удаление скриптов моделей, актуализация README 2025-09-05 12:49:41 +08:00
c408972b45 Мелочи по vectorize и README 2025-08-30 23:29:52 +08:00
f3672e6ffd Много мелких доработок
- переименован input_md => data
- добавление инфы о дате, версии и авторе изменений conf-страницы в индекс
- вывод этой инфы в источниках
- вывод статистики последнего ответа
- указание имени коллекции для qdrant
- мелочи по текстовкам
2025-08-29 08:54:43 +08:00
3f2491db27 WIP 2025-08-27 00:20:10 +08:00
3b15a6a19e Исправлено поведение rag.py --show-prompt 2025-08-25 21:00:09 +08:00
22d23c1ca0 Фикс ошибки длинных имён файлов 2025-08-25 14:23:43 +08:00
a8acbd6354 Актуализация README 2025-08-25 14:01:14 +08:00
789e7b4903 Актуализация rag/README 2025-08-25 13:24:17 +08:00
1fa14207be Поддержка множества pageId в rag/download.sh 2025-08-25 13:17:00 +08:00
b391de5d35 Фикс подгрузки .env в rag/download.sh 2025-08-25 13:05:31 +08:00
e366b62b52 Фикс {QDRANT_PORT в композе 2025-08-25 12:55:45 +08:00
220d9eba7f Проверка .env в up 2025-08-25 12:32:09 +08:00
a9328b4681 Почти полная переработка всего rag
- включение qdrant в контур
- использование нормальной эмб-модели
- векторизация текста
- README и туча мелочей
2025-08-25 01:55:46 +08:00
c6e498a0c8 Доработка под sentence_transformers 2025-08-23 11:55:24 +08:00
a01f903714 Упрощено изменение внутренних ссылок + скрипт для очистки данных 2025-08-23 11:53:23 +08:00
2e3eb52e9f Переход на docker compose 2025-08-23 11:12:22 +08:00
330c65697a gitignore misc 2025-08-23 11:06:15 +08:00
3dcdc6f847 Дополнение внутренних ссылок в html 2025-08-23 11:05:52 +08:00
36e2785290 Получение pdf, фикс имени файла при наличии слеша, фикс quickstart и мелочи 2025-08-21 21:17:51 +08:00
e1acc136df Добавление ссылки на исходную страницу в формируемый html-файл 2025-08-20 20:05:19 +08:00
5ab8341401 Упомянут pip install в rag readme 2025-08-20 11:37:28 +08:00
84744c8ab6 Исправлена подгрузка .env 2025-08-19 23:47:47 +08:00
464d63aa2b RAG README и доработка quickstart 2025-08-19 23:38:40 +08:00
be78f22048 Перекладка моделей phi4, добавлены phi3 2025-08-19 23:37:49 +08:00
3de0f36d1e Доработан скрипт up 2025-08-19 23:37:18 +08:00
4a0e5d5ce9 Лицензия и мелочи 2025-08-19 23:37:00 +08:00
ed123da101 Мелочи по rag
- переименована папка
- написан новый скрипт quickstart
- отказ от requirements.txt
- добавлен забытый и актуализированный README
2025-08-19 15:42:09 +08:00
7824e99235 Перенос моделей в подпапку 2025-08-19 15:39:14 +08:00
2427885ddd Мелочи по основным скриптам 2025-08-19 13:06:17 +08:00
99634d85df README misc 2025-08-19 12:09:07 +08:00
92156fdebd Корректировка о RAG в корневом README 2025-08-19 12:07:22 +08:00
dd6e5a9b38 Корректировка размера чанков и перекрытия 2025-08-19 12:04:40 +08:00
3bc9b031eb Фикс ошибки name 'false' is not defined 2025-08-19 10:18:40 +08:00
64a63f048a Скрипты генерации rag 2025-08-19 09:51:12 +08:00
acad96a7b7 stable-code 2025-08-18 00:43:45 +08:00
3c96260032 mxbai-embed-large:latest 2025-08-18 00:43:34 +08:00
f663319c30 nomic-embed-text:latest 2025-08-18 00:43:23 +08:00
cf8c0cbc66 Мелочи по скриптам 2025-08-18 00:42:47 +08:00
8c121efe1a Корректировки по README и мелочи 2025-08-17 01:17:30 +08:00
130 changed files with 2018 additions and 436 deletions

11
.env.example Normal file
View File

@@ -0,0 +1,11 @@
# Адрес Confluence, например, https://confluence.company.ltd
CONF_URL=
# Имя пользователя и его пароль для авторизации
CONF_USERNAME=
CONF_PASSWORD=
# Порты сервисов на хосте
OLLAMA_PORT=11434
QDRANT_PORT=6333
OWEBUI_PORT=9999

12
.gitignore vendored
View File

@@ -1,3 +1,15 @@
/.vscode/launch.json
/.data/*
/rag/input_html/*
/rag/data/*
/rag/sys_prompt.txt
/rag/chats/*.md
/rag/prompts/*
.old/
.venv/
.env
*.html
!.gitkeep

3
.idea/.gitignore generated vendored Normal file
View File

@@ -0,0 +1,3 @@
# Default ignored files
/shelf/
/workspace.xml

View File

@@ -0,0 +1,6 @@
<component name="InspectionProjectProfileManager">
<settings>
<option name="USE_PROJECT_PROFILE" value="false" />
<version value="1.0" />
</settings>
</component>

7
.idea/misc.xml generated Normal file
View File

@@ -0,0 +1,7 @@
<?xml version="1.0" encoding="UTF-8"?>
<project version="4">
<component name="Black">
<option name="sdkName" value="Python 3.13" />
</component>
<component name="ProjectRootManager" version="2" project-jdk-name="Python 3.13 (ollama)" project-jdk-type="Python SDK" />
</project>

8
.idea/modules.xml generated Normal file
View File

@@ -0,0 +1,8 @@
<?xml version="1.0" encoding="UTF-8"?>
<project version="4">
<component name="ProjectModuleManager">
<modules>
<module fileurl="file://$PROJECT_DIR$/.idea/ollama.iml" filepath="$PROJECT_DIR$/.idea/ollama.iml" />
</modules>
</component>
</project>

17
.idea/ollama.iml generated Normal file
View File

@@ -0,0 +1,17 @@
<?xml version="1.0" encoding="UTF-8"?>
<module type="PYTHON_MODULE" version="4">
<component name="NewModuleRootManager">
<content url="file://$MODULE_DIR$">
<excludeFolder url="file://$MODULE_DIR$/.venv" />
</content>
<orderEntry type="jdk" jdkName="Python 3.13 (ollama)" jdkType="Python SDK" />
<orderEntry type="sourceFolder" forTests="false" />
</component>
<component name="PyDocumentationSettings">
<option name="format" value="GOOGLE" />
<option name="myDocStringFormat" value="Google" />
</component>
<component name="TestRunnerService">
<option name="PROJECT_TEST_RUNNER" value="py.test" />
</component>
</module>

6
.idea/vcs.xml generated Normal file
View File

@@ -0,0 +1,6 @@
<?xml version="1.0" encoding="UTF-8"?>
<project version="4">
<component name="VcsDirectoryMappings">
<mapping directory="" vcs="Git" />
</component>
</project>

View File

@@ -1,6 +1,8 @@
{
"recommendations": [
"saoudrizwan.claude-dev",
"nr-codetools.localaipilot",
"continue.continue"
"continue.continue",
"rooveterinaryinc.roo-cline"
]
}

25
.vscode/launch.json.example vendored Normal file
View File

@@ -0,0 +1,25 @@
{
// Используйте IntelliSense, чтобы узнать о возможных атрибутах.
// Наведите указатель мыши, чтобы просмотреть описания существующих атрибутов.
// Для получения дополнительной информации посетите: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "rag",
"type": "debugpy",
"request": "launch",
"program": "${workspaceFolder}/rag/rag.py",
"args": [
"--verbose",
"--show-stats",
// "--interactive",
"--use-rank",
// "--stream",
"--show-prompt",
"--qdrant-collection",
"rag-2000-300"
],
"console": "integratedTerminal"
}
]
}

View File

@@ -1,3 +0,0 @@
{
"localaipilot.standalone.ollamaCodeModel": "deepseek-coder:6.7b-base"
}

21
LICENSE Normal file
View File

@@ -0,0 +1,21 @@
MIT License
Copyright (c) 2025 Антон Аксенов (aka Anthony Axenov)
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

172
README.md
View File

@@ -1,29 +1,173 @@
# Local ollama
# Local ollama + RAG
Набор скриптов для быстрого запуска локальных LLM.
Набор скриптов для быстрого запуска локальных LLM и RAG-системы.
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
Такие модели наиболее реально запускать на среднем ПК.
Модели примерно до 40 млрд параметров (обычно 32b) наиболее реально запускать на домашних ПК разных мощностей.
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество.
> Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость (tps) → ниже качество.
> Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество.
Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая `llama`.
Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ.
## Структура проекта
```
./
├── rag/ # Директория для работы с RAG
├── up # Скрипт для запуска docker-стека
├── down # Скрипт для остановки docker-стека
├── ollama # Скрипт для выполнения произвольных команд ollama
├── ollama.code-workspace # Конфигурация VSCode Workspace
└── README.md # Этот файл
```
## Стек
* bash
* python, venv, pip
* [docker](https://docker.com)
* [ollama](https://ollama.com)
* [qdrant](https://qdrant.tech/documentation/quickstart/)
* [open-webui](https://docs.openwebui.com)
## Как использовать
1. Запустить `./run.sh`
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
1. Запустить `./up`
2. Запустить `./ollama run <название модели>` для диалога в терминале
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
<a id="models"></a>
<details>
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
```
codegemma:2b
codegemma:7b
codellama:7b
codellama:13b
codellama:34b
codeqwen:1.5b
codeqwen:7b
codestral:22b
deepcoder:1.5b
deepcoder:14b
deepseek-coder:1.3b
deepseek-coder:6.7b
deepseek-coder:33b
deepseek-coder-v2:16b
deepseek-r1:1.5b
deepseek-r1:7b
deepseek-r1:8b
deepseek-r1:14b
deepseek-r1:32b
devstral:24b
dolphin3:8b
gemma:2b
gemma:7b
gemma3:1b
gemma3:4b
gemma3:12b
gemma3:27b
gemma3:270m
gemma3n:e2b
gemma3n:e4b
gpt-oss:20b
granite-code:3b
granite-code:8b
granite-code:20b
granite-code:34b
llama2:7b
llama2:13b
llama3:8b
llama3.1:8b
llama3.2:1b
llama3.2:3b
llava-llama3:8b
magistral:24b
mistral:7b
mistral-nemo:12b
mistral-small:22b
mistral-small:24b
mixtral:8x7b
mxbai-embed-large:latest
nomic-embed-text:latest
openthinker:7b
openthinker:32b
phi:2.7b
phi3:3.8b
phi3:14b
phi3:instruct
phi3:medium
phi3:mini
phi3.5:3.8b
phi4:14b
phi4-mini-reasoning:3.8b
phi4-mini:3.8b
phi4-reasoning:14b
qwen:0.5b
qwen:1.8b
qwen:4b
qwen:7b
qwen:14b
qwen:32b
qwen2:0.5b
qwen2:1.5b
qwen2:7b
qwen2.5:0.5b
qwen2.5:1.5b
qwen2.5:3b
qwen2.5:7b
qwen2.5:14b
qwen2.5:32b
qwen2.5-coder:0.5b
qwen2.5-coder:1.5b
qwen2.5-coder:3b
qwen2.5-coder:7b
qwen2.5-coder:14b
qwen2.5-coder:32b
qwen3:0.6b
qwen3:1.7b
qwen3:4b
qwen3:8b
qwen3:14b
qwen3:30b
qwen3:32b
qwen3-coder:30b
qwq:32b
smollm2:1.7m
smollm2:135m
smollm2:360m
stable-code:3b
stable-code:instruct
starcoder2:3b
starcoder2:7b
starcoder2:15b
```
</details>
Для настройки vscode поставить один из плагинов:
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev) (полноценный агент/болталка)
* [Roo Code](https://marketplace.visualstudio.com/items?itemName=RooVeterinaryInc.roo-cline) (более удобный форк cline)
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue) (замкнут на своей экосистеме, но позволяет работать с ollama)
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot) (примитивная болталка)
Плагин должен соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
Для настройки idea поставить плагины:
* [MCP Server](https://plugins.jetbrains.com/plugin/26071-mcp-server)
* File | Settings | Tools | MCP Server:
* Enable MCP Server
* Copy SSE Config
* [AI Coding](https://plugins.jetbrains.com/plugin/21263-ai-coding)
* File | Settings | Other Settings | AI Coding — настроить API
* в панели AI Coding зайти в MCP и добавить новый, вставив JSON-конфиг SSE, скопированный выше
* в панели AI Coding зайти в Agents, создать нового и дать ему этот MCP-сервер
Есть веб-морда по адресу [localhost:9999](http://localhost:9999).
Плагины должны соединиться с `localhost:11434` и подгрузить доступные модели из контейнера.
### Использование RAG системы
Для работы RAG системы необходимо обратиться к документу [rag/README.md](rag/README.md).
## Дополнительные материалы

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codegemma/tags
docker exec -it ai-ollama ollama run codegemma:2b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codegemma/tags
docker exec -it ai-ollama ollama run codegemma:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codellama/tags
docker exec -it ai-ollama ollama run codellama:13b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codellama/tags
docker exec -it ai-ollama ollama run codellama:34b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codellama/tags
docker exec -it ai-ollama ollama run codellama:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codeqwen/tags
docker exec -it ai-ollama ollama run codeqwen:1.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codeqwen/tags
docker exec -it ai-ollama ollama run codeqwen:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/codestral/tags
docker exec -it ai-ollama ollama run codestral:22b --verbose

33
compose.yml Normal file
View File

@@ -0,0 +1,33 @@
services:
ai-ollama:
container_name: ai-ollama
image: ollama/ollama
env_file: .env
volumes:
- ./.data/ollama:/root/.ollama
ports:
- "${OLLAMA_PORT:-11434}:11434"
restart: "no"
# ai-qdrant:
# container_name: ai-qdrant
# image: qdrant/qdrant
# env_file: .env
# ports:
# - "${QDRANT_PORT:-6333}:6333"
# volumes:
# - ./.data/qdrant/storage:/qdrant/storage
# restart: "no"
# profiles: ["rag"]
# ai-webui:
# container_name: ai-webui
# image: ghcr.io/open-webui/open-webui:main
# env_file: .env
# volumes:
# - ./.data/webui:/app/backend/data
# ports:
# - "${OWEBUI_PORT:-9999}:8080"
# extra_hosts:
# - "host.docker.internal:host-gateway"
# restart: "no"

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepcoder/tags
docker exec -it ai-ollama ollama run deepcoder:1.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepcoder/tags
docker exec -it ai-ollama ollama run deepcoder:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-coder-v2/tags
docker exec -it ai-ollama ollama run deepseek-coder-v2:16b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-coder/tags
docker exec -it ai-ollama ollama run deepseek-coder:1.3b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-coder/tags
docker exec -it ai-ollama ollama run deepseek-coder:33b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-coder/tags
docker exec -it ai-ollama ollama run deepseek-coder:6.7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-r1/tags
docker exec -it ai-ollama ollama run deepseek-r1:1.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-r1/tags
docker exec -it ai-ollama ollama run deepseek-r1:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-r1/tags
docker exec -it ai-ollama ollama run deepseek-r1:32b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-r1/tags
docker exec -it ai-ollama ollama run deepseek-r1:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/deepseek-r1/tags
docker exec -it ai-ollama ollama run deepseek-r1:8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/devstral/tags
docker exec -it ai-ollama ollama run devstral:24b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/dolphin3/tags
docker exec -it ai-ollama ollama run dolphin3:8b --verbose

3
down Executable file
View File

@@ -0,0 +1,3 @@
#!/bin/bash
docker compose down

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://habr.com/ru/companies/minerva_media/articles/909130/
docker stop ai-ollama ai-webui

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma/tags
docker exec -it ai-ollama ollama run gemma:2b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma/tags
docker exec -it ai-ollama ollama run gemma:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3/tags
docker exec -it ai-ollama ollama run gemma3:12b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3/tags
docker exec -it ai-ollama ollama run gemma3:1b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3/tags
docker exec -it ai-ollama ollama run gemma3:270m --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3/tags
docker exec -it ai-ollama ollama run gemma3:27b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3/tags
docker exec -it ai-ollama ollama run gemma3:4b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma/tags
docker exec -it ai-ollama ollama run gemma:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma/tags
docker exec -it ai-ollama ollama run gemma:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3n/tags
docker exec -it ai-ollama ollama run gemma3n:e2b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gemma3n/tags
docker exec -it ai-ollama ollama run gemma3n:e4b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/gpt-oss/tags
docker exec -it ai-ollama ollama run gpt-oss:20b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/granite-code/tags
docker exec -it ai-ollama ollama run granite-code:20b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/granite-code/tags
docker exec -it ai-ollama ollama run granite-code:34b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/granite-code/tags
docker exec -it ai-ollama ollama run granite-code:3b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/granite-code/tags
docker exec -it ai-ollama ollama run granite-code:8b --verbose

View File

@@ -1,3 +0,0 @@
#!/bin/bash
docker exec -it ai-ollama ollama list

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llama2/tags
docker exec -it ai-ollama ollama run llama2:13b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llama2/tags
docker exec -it ai-ollama ollama run llama2:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llama3.1/tags
docker exec -it ai-ollama ollama run llama3.1:8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llama3.2/tags
docker exec -it ai-ollama ollama run llama3.2:1b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llama3.2/tags
docker exec -it ai-ollama ollama run llama3.2:1b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llama3/tags
docker exec -it ai-ollama ollama run llama3:8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/llava-llama3/tags
docker exec -it ai-ollama ollama run llava-llama3:8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/magistral/tags
docker exec -it ai-ollama ollama run magistral:24b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/mistral-nemo/tags
docker exec -it ai-ollama ollama run mistral-nemo:12b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/mistral-small/tags
docker exec -it ai-ollama ollama run mistral-small:22b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/mistral-small/tags
docker exec -it ai-ollama ollama run mistral-small:24b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/mistral/tags
docker exec -it ai-ollama ollama run mistral:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/mixtral/tags
docker exec -it ai-ollama ollama run mixtral:8x7b --verbose

3
ollama Executable file
View File

@@ -0,0 +1,3 @@
#!/bin/bash
docker exec -it ai-ollama ollama "$@"

View File

@@ -3,8 +3,5 @@
{
"path": "."
}
],
"settings": {
"localaipilot.standalone.ollamaCodeModel": "deepseek-coder:6.7b-base"
}
]
}

View File

@@ -1,3 +0,0 @@
#!/bin/bash
docker exec -it ai-ollama bash

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/openthinker/tags
docker exec -it ai-ollama ollama run openthinker:32b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/openthinker/tags
docker exec -it ai-ollama ollama run openthinker:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi/tags
docker exec -it ai-ollama ollama run phi:2.7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi3.5/tags
docker exec -it ai-ollama ollama run phi3.5:3.8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi3/tags
docker exec -it ai-ollama ollama run phi3:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi3/tags
docker exec -it ai-ollama ollama run phi3:3.8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi4-mini/tags
docker exec -it ai-ollama ollama run phi4-mini:3.8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi4-reasoning/tags
docker exec -it ai-ollama ollama run phi4-reasoning:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/phi4/tags
docker exec -it ai-ollama ollama run phi4:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen/tags
docker exec -it ai-ollama ollama run qwen:0.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen/tags
docker exec -it ai-ollama ollama run qwen:1.8b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen/tags
docker exec -it ai-ollama ollama run qwen:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen/tags
docker exec -it ai-ollama ollama run qwen:32b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen/tags
docker exec -it ai-ollama ollama run qwen:4b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen/tags
docker exec -it ai-ollama ollama run qwen:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5-coder/tags
docker exec -it ai-ollama ollama run qwen2.5-coder:0.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5-coder/tags
docker exec -it ai-ollama ollama run qwen2.5-coder:1.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5-coder/tags
docker exec -it ai-ollama ollama run qwen2.5-coder:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5-coder/tags
docker exec -it ai-ollama ollama run qwen2.5-coder:32b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5-coder/tags
docker exec -it ai-ollama ollama run qwen2.5-coder:3b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5-coder/tags
docker exec -it ai-ollama ollama run qwen2.5-coder:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5/tags
docker exec -it ai-ollama ollama run qwen2.5:0.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5/tags
docker exec -it ai-ollama ollama run qwen2.5:1.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5/tags
docker exec -it ai-ollama ollama run qwen2.5:14b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5/tags
docker exec -it ai-ollama ollama run qwen2.5:32b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5/tags
docker exec -it ai-ollama ollama run qwen2.5:3b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2.5/tags
docker exec -it ai-ollama ollama run qwen2.5:7b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2/tags
docker exec -it ai-ollama ollama run qwen2:0.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2/tags
docker exec -it ai-ollama ollama run qwen2:1.5b --verbose

View File

@@ -1,4 +0,0 @@
#!/bin/bash
# https://ollama.com/library/qwen2/tags
docker exec -it ai-ollama ollama run qwen2:7b --verbose

Some files were not shown because too many files have changed in this diff Show More