anthony/ollama
1
0
Fork 0
Code Activity

Описание в README и скрипт для входа в контейнер

Browse Source
This commit is contained in:
Anthony Axenov
2025-08-16 21:52:36 +08:00
parent 05c3b7e0fe
commit 3ad42bf92a
2 changed files with 17 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

14
README.md
View File

@@ -1,9 +1,23 @@
# Local ollama
Набор скриптов для быстрого запуска локальных LLM.
Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b).
Такие модели наиболее реально запускать на среднем ПК.
Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество.
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество.
Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ.
## Как использовать
1. Запустить `./run.sh`
2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале
Для настройки vscode поставить один из плагинов:
* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev)
* [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue)
* [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot)

3
ollama.sh Executable file
View File

@@ -0,0 +1,3 @@
#!/bin/bash
docker exec -it ai-ollama bash