Мелочи по README
This commit is contained in:
209
README.md
209
README.md
@@ -37,112 +37,113 @@
|
||||
2. Запустить `./ollama run <название модели>` для диалога в терминале
|
||||
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
|
||||
|
||||
<a id="models"></a>
|
||||
<details>
|
||||
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
|
||||
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
|
||||
|
||||
```
|
||||
codegemma:2b
|
||||
codegemma:7b
|
||||
codellama:7b
|
||||
codellama:13b
|
||||
codellama:34b
|
||||
codeqwen:1.5b
|
||||
codeqwen:7b
|
||||
codestral:22b
|
||||
deepcoder:1.5b
|
||||
deepcoder:14b
|
||||
deepseek-coder:1.3b
|
||||
deepseek-coder:6.7b
|
||||
deepseek-coder:33b
|
||||
deepseek-coder-v2:16b
|
||||
deepseek-r1:1.5b
|
||||
deepseek-r1:7b
|
||||
deepseek-r1:8b
|
||||
deepseek-r1:14b
|
||||
deepseek-r1:32b
|
||||
devstral:24b
|
||||
dolphin3:8b
|
||||
gemma:2b
|
||||
gemma:7b
|
||||
gemma3:1b
|
||||
gemma3:4b
|
||||
gemma3:12b
|
||||
gemma3:27b
|
||||
gemma3:270m
|
||||
gemma3n:e2b
|
||||
gemma3n:e4b
|
||||
gpt-oss:20b
|
||||
granite-code:3b
|
||||
granite-code:8b
|
||||
granite-code:20b
|
||||
granite-code:34b
|
||||
llama2:7b
|
||||
llama2:13b
|
||||
llama3:8b
|
||||
llama3.1:8b
|
||||
llama3.2:1b
|
||||
llama3.2:3b
|
||||
llava-llama3:8b
|
||||
magistral:24b
|
||||
mistral:7b
|
||||
mistral-nemo:12b
|
||||
mistral-small:22b
|
||||
mistral-small:24b
|
||||
mixtral:8x7b
|
||||
mxbai-embed-large:latest
|
||||
nomic-embed-text:latest
|
||||
openthinker:7b
|
||||
openthinker:32b
|
||||
phi:2.7b
|
||||
phi3:3.8b
|
||||
phi3:14b
|
||||
phi3:instruct
|
||||
phi3:medium
|
||||
phi3:mini
|
||||
phi3.5:3.8b
|
||||
phi4:14b
|
||||
phi4-mini-reasoning:3.8b
|
||||
phi4-mini:3.8b
|
||||
phi4-reasoning:14b
|
||||
qwen:0.5b
|
||||
qwen:1.8b
|
||||
qwen:4b
|
||||
qwen:7b
|
||||
qwen:14b
|
||||
qwen:32b
|
||||
qwen2:0.5b
|
||||
qwen2:1.5b
|
||||
qwen2:7b
|
||||
qwen2.5:0.5b
|
||||
qwen2.5:1.5b
|
||||
qwen2.5:3b
|
||||
qwen2.5:7b
|
||||
qwen2.5:14b
|
||||
qwen2.5:32b
|
||||
qwen2.5-coder:0.5b
|
||||
qwen2.5-coder:1.5b
|
||||
qwen2.5-coder:3b
|
||||
qwen2.5-coder:7b
|
||||
qwen2.5-coder:14b
|
||||
qwen2.5-coder:32b
|
||||
qwen3:0.6b
|
||||
qwen3:1.7b
|
||||
qwen3:4b
|
||||
qwen3:8b
|
||||
qwen3:14b
|
||||
qwen3:30b
|
||||
qwen3:32b
|
||||
qwen3-coder:30b
|
||||
qwq:32b
|
||||
smollm2:1.7m
|
||||
smollm2:135m
|
||||
smollm2:360m
|
||||
stable-code:3b
|
||||
stable-code:instruct
|
||||
starcoder2:3b
|
||||
starcoder2:7b
|
||||
starcoder2:15b
|
||||
```
|
||||
```
|
||||
codegemma:2b
|
||||
codegemma:7b
|
||||
codellama:7b
|
||||
codellama:13b
|
||||
codellama:34b
|
||||
codeqwen:1.5b
|
||||
codeqwen:7b
|
||||
codestral:22b
|
||||
deepcoder:1.5b
|
||||
deepcoder:14b
|
||||
deepseek-coder:1.3b
|
||||
deepseek-coder:6.7b
|
||||
deepseek-coder:33b
|
||||
deepseek-coder-v2:16b
|
||||
deepseek-r1:1.5b
|
||||
deepseek-r1:7b
|
||||
deepseek-r1:8b
|
||||
deepseek-r1:14b
|
||||
deepseek-r1:32b
|
||||
devstral:24b
|
||||
dolphin3:8b
|
||||
gemma:2b
|
||||
gemma:7b
|
||||
gemma3:1b
|
||||
gemma3:4b
|
||||
gemma3:12b
|
||||
gemma3:27b
|
||||
gemma3:270m
|
||||
gemma3n:e2b
|
||||
gemma3n:e4b
|
||||
gpt-oss:20b
|
||||
granite-code:3b
|
||||
granite-code:8b
|
||||
granite-code:20b
|
||||
granite-code:34b
|
||||
llama2:7b
|
||||
llama2:13b
|
||||
llama3:8b
|
||||
llama3.1:8b
|
||||
llama3.2:1b
|
||||
llama3.2:3b
|
||||
llava-llama3:8b
|
||||
magistral:24b
|
||||
mistral:7b
|
||||
mistral-nemo:12b
|
||||
mistral-small:22b
|
||||
mistral-small:24b
|
||||
mixtral:8x7b
|
||||
mxbai-embed-large:latest
|
||||
nomic-embed-text:latest
|
||||
openthinker:7b
|
||||
openthinker:32b
|
||||
phi:2.7b
|
||||
phi3:3.8b
|
||||
phi3:14b
|
||||
phi3:instruct
|
||||
phi3:medium
|
||||
phi3:mini
|
||||
phi3.5:3.8b
|
||||
phi4:14b
|
||||
phi4-mini-reasoning:3.8b
|
||||
phi4-mini:3.8b
|
||||
phi4-reasoning:14b
|
||||
qwen:0.5b
|
||||
qwen:1.8b
|
||||
qwen:4b
|
||||
qwen:7b
|
||||
qwen:14b
|
||||
qwen:32b
|
||||
qwen2:0.5b
|
||||
qwen2:1.5b
|
||||
qwen2:7b
|
||||
qwen2.5:0.5b
|
||||
qwen2.5:1.5b
|
||||
qwen2.5:3b
|
||||
qwen2.5:7b
|
||||
qwen2.5:14b
|
||||
qwen2.5:32b
|
||||
qwen2.5-coder:0.5b
|
||||
qwen2.5-coder:1.5b
|
||||
qwen2.5-coder:3b
|
||||
qwen2.5-coder:7b
|
||||
qwen2.5-coder:14b
|
||||
qwen2.5-coder:32b
|
||||
qwen3:0.6b
|
||||
qwen3:1.7b
|
||||
qwen3:4b
|
||||
qwen3:8b
|
||||
qwen3:14b
|
||||
qwen3:30b
|
||||
qwen3:32b
|
||||
qwen3-coder:30b
|
||||
qwq:32b
|
||||
smollm2:1.7m
|
||||
smollm2:135m
|
||||
smollm2:360m
|
||||
stable-code:3b
|
||||
stable-code:instruct
|
||||
starcoder2:3b
|
||||
starcoder2:7b
|
||||
starcoder2:15b
|
||||
```
|
||||
|
||||
</details>
|
||||
|
||||
|
||||
@@ -202,7 +202,7 @@ python3 rag.py --help
|
||||
5. При вызове `rag.py` указать путь к файлу промпта, используя аргумент `--sys-prompt $путь_к_файлу`
|
||||
6. Если указанного файла не существует, то будет применён промпт по умолчанию.
|
||||
|
||||
Посмотреть полный промпт можно указав аргумент `--show_prompt` при вызове `rag.py`.
|
||||
Посмотреть полный промпт можно указав аргумент `--show-prompt` при вызове `rag.py`.
|
||||
|
||||
## Неплохие модели для экспериментов
|
||||
|
||||
@@ -229,7 +229,7 @@ python3 rag.py --help
|
||||
|
||||
### Генеративные
|
||||
|
||||
Перечислен список: по убыванию качества ответов и размера модели, по возрастанию скорости ответов на обычном домашнем ПК.
|
||||
Список по убыванию качества ответов и размера модели, по возрастанию скорости ответов на обычном домашнем ПК.
|
||||
|
||||
- [`deepseek-r1:8b`](https://ollama.com/library/deepseek-r1) 🏋️🧠
|
||||
- [`qwen3:8b`](https://ollama.com/library/qwen3) 🏋️🧠
|
||||
@@ -241,6 +241,8 @@ python3 rag.py --help
|
||||
- [`gemma3n:e4b`](https://ollama.com/library/gemma3n)
|
||||
- [`gemma3n:e2b`](https://ollama.com/library/gemma3n)
|
||||
|
||||
Также можно посмотреть на [эти модели](../README.md#models) или свои собственные.
|
||||
|
||||
## Дисклеймер
|
||||
|
||||
Проект родился на энтузиазме из личного любопытства.
|
||||
@@ -250,8 +252,11 @@ python3 rag.py --help
|
||||
**Задачи:**
|
||||
|
||||
1. облегчить поиск информации о проекте среди почти 2000 тысяч документов в корпоративной Confluence, относящихся к нему;
|
||||
2. обеспечить минимум телодвижений для развёртывания RAG с нуля внутри команды.
|
||||
2. обеспечить минимум телодвижений для развёртывания RAG с нуля внутри команды;
|
||||
3. построить воспроизводимую среду для запуска проекта.
|
||||
|
||||
Здесь не было задачи сделать всё сложно и по красоте.
|
||||
|
||||
Этот проект -- пазл, который позволяет пошагово, по косточкам понять и настроить работу RAG.
|
||||
|
||||
Частично (в качестве агентов) в проекте участвовали модели семейств qwen, clause и chatgpt.
|
||||
|
||||
Reference in New Issue
Block a user