1
0

Мелочи по README

This commit is contained in:
2025-09-08 09:13:03 +08:00
parent 77ba817f14
commit 1413933521
2 changed files with 113 additions and 107 deletions

209
README.md
View File

@@ -37,112 +37,113 @@
2. Запустить `./ollama run <название модели>` для диалога в терминале 2. Запустить `./ollama run <название модели>` для диалога в терминале
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала 3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
<a id="models"></a>
<details> <details>
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary> <summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
``` ```
codegemma:2b codegemma:2b
codegemma:7b codegemma:7b
codellama:7b codellama:7b
codellama:13b codellama:13b
codellama:34b codellama:34b
codeqwen:1.5b codeqwen:1.5b
codeqwen:7b codeqwen:7b
codestral:22b codestral:22b
deepcoder:1.5b deepcoder:1.5b
deepcoder:14b deepcoder:14b
deepseek-coder:1.3b deepseek-coder:1.3b
deepseek-coder:6.7b deepseek-coder:6.7b
deepseek-coder:33b deepseek-coder:33b
deepseek-coder-v2:16b deepseek-coder-v2:16b
deepseek-r1:1.5b deepseek-r1:1.5b
deepseek-r1:7b deepseek-r1:7b
deepseek-r1:8b deepseek-r1:8b
deepseek-r1:14b deepseek-r1:14b
deepseek-r1:32b deepseek-r1:32b
devstral:24b devstral:24b
dolphin3:8b dolphin3:8b
gemma:2b gemma:2b
gemma:7b gemma:7b
gemma3:1b gemma3:1b
gemma3:4b gemma3:4b
gemma3:12b gemma3:12b
gemma3:27b gemma3:27b
gemma3:270m gemma3:270m
gemma3n:e2b gemma3n:e2b
gemma3n:e4b gemma3n:e4b
gpt-oss:20b gpt-oss:20b
granite-code:3b granite-code:3b
granite-code:8b granite-code:8b
granite-code:20b granite-code:20b
granite-code:34b granite-code:34b
llama2:7b llama2:7b
llama2:13b llama2:13b
llama3:8b llama3:8b
llama3.1:8b llama3.1:8b
llama3.2:1b llama3.2:1b
llama3.2:3b llama3.2:3b
llava-llama3:8b llava-llama3:8b
magistral:24b magistral:24b
mistral:7b mistral:7b
mistral-nemo:12b mistral-nemo:12b
mistral-small:22b mistral-small:22b
mistral-small:24b mistral-small:24b
mixtral:8x7b mixtral:8x7b
mxbai-embed-large:latest mxbai-embed-large:latest
nomic-embed-text:latest nomic-embed-text:latest
openthinker:7b openthinker:7b
openthinker:32b openthinker:32b
phi:2.7b phi:2.7b
phi3:3.8b phi3:3.8b
phi3:14b phi3:14b
phi3:instruct phi3:instruct
phi3:medium phi3:medium
phi3:mini phi3:mini
phi3.5:3.8b phi3.5:3.8b
phi4:14b phi4:14b
phi4-mini-reasoning:3.8b phi4-mini-reasoning:3.8b
phi4-mini:3.8b phi4-mini:3.8b
phi4-reasoning:14b phi4-reasoning:14b
qwen:0.5b qwen:0.5b
qwen:1.8b qwen:1.8b
qwen:4b qwen:4b
qwen:7b qwen:7b
qwen:14b qwen:14b
qwen:32b qwen:32b
qwen2:0.5b qwen2:0.5b
qwen2:1.5b qwen2:1.5b
qwen2:7b qwen2:7b
qwen2.5:0.5b qwen2.5:0.5b
qwen2.5:1.5b qwen2.5:1.5b
qwen2.5:3b qwen2.5:3b
qwen2.5:7b qwen2.5:7b
qwen2.5:14b qwen2.5:14b
qwen2.5:32b qwen2.5:32b
qwen2.5-coder:0.5b qwen2.5-coder:0.5b
qwen2.5-coder:1.5b qwen2.5-coder:1.5b
qwen2.5-coder:3b qwen2.5-coder:3b
qwen2.5-coder:7b qwen2.5-coder:7b
qwen2.5-coder:14b qwen2.5-coder:14b
qwen2.5-coder:32b qwen2.5-coder:32b
qwen3:0.6b qwen3:0.6b
qwen3:1.7b qwen3:1.7b
qwen3:4b qwen3:4b
qwen3:8b qwen3:8b
qwen3:14b qwen3:14b
qwen3:30b qwen3:30b
qwen3:32b qwen3:32b
qwen3-coder:30b qwen3-coder:30b
qwq:32b qwq:32b
smollm2:1.7m smollm2:1.7m
smollm2:135m smollm2:135m
smollm2:360m smollm2:360m
stable-code:3b stable-code:3b
stable-code:instruct stable-code:instruct
starcoder2:3b starcoder2:3b
starcoder2:7b starcoder2:7b
starcoder2:15b starcoder2:15b
``` ```
</details> </details>

View File

@@ -202,7 +202,7 @@ python3 rag.py --help
5. При вызове `rag.py` указать путь к файлу промпта, используя аргумент `--sys-prompt $путь_к_файлу` 5. При вызове `rag.py` указать путь к файлу промпта, используя аргумент `--sys-prompt $путь_к_файлу`
6. Если указанного файла не существует, то будет применён промпт по умолчанию. 6. Если указанного файла не существует, то будет применён промпт по умолчанию.
Посмотреть полный промпт можно указав аргумент `--show_prompt` при вызове `rag.py`. Посмотреть полный промпт можно указав аргумент `--show-prompt` при вызове `rag.py`.
## Неплохие модели для экспериментов ## Неплохие модели для экспериментов
@@ -229,7 +229,7 @@ python3 rag.py --help
### Генеративные ### Генеративные
Перечислен список: по убыванию качества ответов и размера модели, по возрастанию скорости ответов на обычном домашнем ПК. Список по убыванию качества ответов и размера модели, по возрастанию скорости ответов на обычном домашнем ПК.
- [`deepseek-r1:8b`](https://ollama.com/library/deepseek-r1) 🏋️🧠 - [`deepseek-r1:8b`](https://ollama.com/library/deepseek-r1) 🏋️🧠
- [`qwen3:8b`](https://ollama.com/library/qwen3) 🏋️🧠 - [`qwen3:8b`](https://ollama.com/library/qwen3) 🏋️🧠
@@ -241,6 +241,8 @@ python3 rag.py --help
- [`gemma3n:e4b`](https://ollama.com/library/gemma3n) - [`gemma3n:e4b`](https://ollama.com/library/gemma3n)
- [`gemma3n:e2b`](https://ollama.com/library/gemma3n) - [`gemma3n:e2b`](https://ollama.com/library/gemma3n)
Также можно посмотреть на [эти модели](../README.md#models) или свои собственные.
## Дисклеймер ## Дисклеймер
Проект родился на энтузиазме из личного любопытства. Проект родился на энтузиазме из личного любопытства.
@@ -250,8 +252,11 @@ python3 rag.py --help
**Задачи:** **Задачи:**
1. облегчить поиск информации о проекте среди почти 2000 тысяч документов в корпоративной Confluence, относящихся к нему; 1. облегчить поиск информации о проекте среди почти 2000 тысяч документов в корпоративной Confluence, относящихся к нему;
2. обеспечить минимум телодвижений для развёртывания RAG с нуля внутри команды. 2. обеспечить минимум телодвижений для развёртывания RAG с нуля внутри команды;
3. построить воспроизводимую среду для запуска проекта.
Здесь не было задачи сделать всё сложно и по красоте. Здесь не было задачи сделать всё сложно и по красоте.
Этот проект -- пазл, который позволяет пошагово, по косточкам понять и настроить работу RAG.
Частично (в качестве агентов) в проекте участвовали модели семейств qwen, clause и chatgpt. Частично (в качестве агентов) в проекте участвовали модели семейств qwen, clause и chatgpt.