From 3ad42bf92af3d57b8d4fe833694f75886e6aa517 Mon Sep 17 00:00:00 2001 From: AnthonyAxenov Date: Sat, 16 Aug 2025 21:52:36 +0800 Subject: [PATCH] =?UTF-8?q?=D0=9E=D0=BF=D0=B8=D1=81=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D0=B5=20=D0=B2=20README=20=D0=B8=20=D1=81=D0=BA=D1=80=D0=B8?= =?UTF-8?q?=D0=BF=D1=82=20=D0=B4=D0=BB=D1=8F=20=D0=B2=D1=85=D0=BE=D0=B4?= =?UTF-8?q?=D0=B0=20=D0=B2=20=D0=BA=D0=BE=D0=BD=D1=82=D0=B5=D0=B9=D0=BD?= =?UTF-8?q?=D0=B5=D1=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 14 ++++++++++++++ ollama.sh | 3 +++ 2 files changed, 17 insertions(+) create mode 100755 ollama.sh diff --git a/README.md b/README.md index ce78593..d5a4bf8 100644 --- a/README.md +++ b/README.md @@ -1,9 +1,23 @@ # Local ollama +Набор скриптов для быстрого запуска локальных LLM. + +Модели подбираются вручную, примерно в пределазх 40 млрд параметров (обычно, максимум 32b или 34b). +Такие модели наиболее реально запускать на среднем ПК. + +Меньше параметров → меньше памяти на диске и в ОЗУ → выше скорость → ниже нагрузка → ниже качество. + +Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость → выше нагрузка → выше качество. + +Примерно, модели на 20+ млрд требуют ~20+ Гб ОЗУ. + +## Как использовать + 1. Запустить `./run.sh` 2. Запустить скрипт из любой и поддиректорий для скачивания и запуска модели в терминале Для настройки vscode поставить один из плагинов: +* [Cline](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev) * [Continue](https://marketplace.visualstudio.com/items?itemName=Continue.continue) * [Local AI Pilot](https://marketplace.visualstudio.com/items?itemName=nr-codetools.localaipilot) diff --git a/ollama.sh b/ollama.sh new file mode 100755 index 0000000..7c47796 --- /dev/null +++ b/ollama.sh @@ -0,0 +1,3 @@ +#!/bin/bash + +docker exec -it ai-ollama bash