Мелочи по README
This commit is contained in:
209
README.md
209
README.md
@@ -37,112 +37,113 @@
|
|||||||
2. Запустить `./ollama run <название модели>` для диалога в терминале
|
2. Запустить `./ollama run <название модели>` для диалога в терминале
|
||||||
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
|
3. Открыть веб-морду по адресу [localhost:9999](http://localhost:9999) для более богатого функционала
|
||||||
|
|
||||||
|
<a id="models"></a>
|
||||||
<details>
|
<details>
|
||||||
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
|
<summary>Полный список лёгких и средних моделей, которые можно попробовать для разных целей</summary>
|
||||||
|
|
||||||
```
|
```
|
||||||
codegemma:2b
|
codegemma:2b
|
||||||
codegemma:7b
|
codegemma:7b
|
||||||
codellama:7b
|
codellama:7b
|
||||||
codellama:13b
|
codellama:13b
|
||||||
codellama:34b
|
codellama:34b
|
||||||
codeqwen:1.5b
|
codeqwen:1.5b
|
||||||
codeqwen:7b
|
codeqwen:7b
|
||||||
codestral:22b
|
codestral:22b
|
||||||
deepcoder:1.5b
|
deepcoder:1.5b
|
||||||
deepcoder:14b
|
deepcoder:14b
|
||||||
deepseek-coder:1.3b
|
deepseek-coder:1.3b
|
||||||
deepseek-coder:6.7b
|
deepseek-coder:6.7b
|
||||||
deepseek-coder:33b
|
deepseek-coder:33b
|
||||||
deepseek-coder-v2:16b
|
deepseek-coder-v2:16b
|
||||||
deepseek-r1:1.5b
|
deepseek-r1:1.5b
|
||||||
deepseek-r1:7b
|
deepseek-r1:7b
|
||||||
deepseek-r1:8b
|
deepseek-r1:8b
|
||||||
deepseek-r1:14b
|
deepseek-r1:14b
|
||||||
deepseek-r1:32b
|
deepseek-r1:32b
|
||||||
devstral:24b
|
devstral:24b
|
||||||
dolphin3:8b
|
dolphin3:8b
|
||||||
gemma:2b
|
gemma:2b
|
||||||
gemma:7b
|
gemma:7b
|
||||||
gemma3:1b
|
gemma3:1b
|
||||||
gemma3:4b
|
gemma3:4b
|
||||||
gemma3:12b
|
gemma3:12b
|
||||||
gemma3:27b
|
gemma3:27b
|
||||||
gemma3:270m
|
gemma3:270m
|
||||||
gemma3n:e2b
|
gemma3n:e2b
|
||||||
gemma3n:e4b
|
gemma3n:e4b
|
||||||
gpt-oss:20b
|
gpt-oss:20b
|
||||||
granite-code:3b
|
granite-code:3b
|
||||||
granite-code:8b
|
granite-code:8b
|
||||||
granite-code:20b
|
granite-code:20b
|
||||||
granite-code:34b
|
granite-code:34b
|
||||||
llama2:7b
|
llama2:7b
|
||||||
llama2:13b
|
llama2:13b
|
||||||
llama3:8b
|
llama3:8b
|
||||||
llama3.1:8b
|
llama3.1:8b
|
||||||
llama3.2:1b
|
llama3.2:1b
|
||||||
llama3.2:3b
|
llama3.2:3b
|
||||||
llava-llama3:8b
|
llava-llama3:8b
|
||||||
magistral:24b
|
magistral:24b
|
||||||
mistral:7b
|
mistral:7b
|
||||||
mistral-nemo:12b
|
mistral-nemo:12b
|
||||||
mistral-small:22b
|
mistral-small:22b
|
||||||
mistral-small:24b
|
mistral-small:24b
|
||||||
mixtral:8x7b
|
mixtral:8x7b
|
||||||
mxbai-embed-large:latest
|
mxbai-embed-large:latest
|
||||||
nomic-embed-text:latest
|
nomic-embed-text:latest
|
||||||
openthinker:7b
|
openthinker:7b
|
||||||
openthinker:32b
|
openthinker:32b
|
||||||
phi:2.7b
|
phi:2.7b
|
||||||
phi3:3.8b
|
phi3:3.8b
|
||||||
phi3:14b
|
phi3:14b
|
||||||
phi3:instruct
|
phi3:instruct
|
||||||
phi3:medium
|
phi3:medium
|
||||||
phi3:mini
|
phi3:mini
|
||||||
phi3.5:3.8b
|
phi3.5:3.8b
|
||||||
phi4:14b
|
phi4:14b
|
||||||
phi4-mini-reasoning:3.8b
|
phi4-mini-reasoning:3.8b
|
||||||
phi4-mini:3.8b
|
phi4-mini:3.8b
|
||||||
phi4-reasoning:14b
|
phi4-reasoning:14b
|
||||||
qwen:0.5b
|
qwen:0.5b
|
||||||
qwen:1.8b
|
qwen:1.8b
|
||||||
qwen:4b
|
qwen:4b
|
||||||
qwen:7b
|
qwen:7b
|
||||||
qwen:14b
|
qwen:14b
|
||||||
qwen:32b
|
qwen:32b
|
||||||
qwen2:0.5b
|
qwen2:0.5b
|
||||||
qwen2:1.5b
|
qwen2:1.5b
|
||||||
qwen2:7b
|
qwen2:7b
|
||||||
qwen2.5:0.5b
|
qwen2.5:0.5b
|
||||||
qwen2.5:1.5b
|
qwen2.5:1.5b
|
||||||
qwen2.5:3b
|
qwen2.5:3b
|
||||||
qwen2.5:7b
|
qwen2.5:7b
|
||||||
qwen2.5:14b
|
qwen2.5:14b
|
||||||
qwen2.5:32b
|
qwen2.5:32b
|
||||||
qwen2.5-coder:0.5b
|
qwen2.5-coder:0.5b
|
||||||
qwen2.5-coder:1.5b
|
qwen2.5-coder:1.5b
|
||||||
qwen2.5-coder:3b
|
qwen2.5-coder:3b
|
||||||
qwen2.5-coder:7b
|
qwen2.5-coder:7b
|
||||||
qwen2.5-coder:14b
|
qwen2.5-coder:14b
|
||||||
qwen2.5-coder:32b
|
qwen2.5-coder:32b
|
||||||
qwen3:0.6b
|
qwen3:0.6b
|
||||||
qwen3:1.7b
|
qwen3:1.7b
|
||||||
qwen3:4b
|
qwen3:4b
|
||||||
qwen3:8b
|
qwen3:8b
|
||||||
qwen3:14b
|
qwen3:14b
|
||||||
qwen3:30b
|
qwen3:30b
|
||||||
qwen3:32b
|
qwen3:32b
|
||||||
qwen3-coder:30b
|
qwen3-coder:30b
|
||||||
qwq:32b
|
qwq:32b
|
||||||
smollm2:1.7m
|
smollm2:1.7m
|
||||||
smollm2:135m
|
smollm2:135m
|
||||||
smollm2:360m
|
smollm2:360m
|
||||||
stable-code:3b
|
stable-code:3b
|
||||||
stable-code:instruct
|
stable-code:instruct
|
||||||
starcoder2:3b
|
starcoder2:3b
|
||||||
starcoder2:7b
|
starcoder2:7b
|
||||||
starcoder2:15b
|
starcoder2:15b
|
||||||
```
|
```
|
||||||
|
|
||||||
</details>
|
</details>
|
||||||
|
|
||||||
|
|||||||
@@ -202,7 +202,7 @@ python3 rag.py --help
|
|||||||
5. При вызове `rag.py` указать путь к файлу промпта, используя аргумент `--sys-prompt $путь_к_файлу`
|
5. При вызове `rag.py` указать путь к файлу промпта, используя аргумент `--sys-prompt $путь_к_файлу`
|
||||||
6. Если указанного файла не существует, то будет применён промпт по умолчанию.
|
6. Если указанного файла не существует, то будет применён промпт по умолчанию.
|
||||||
|
|
||||||
Посмотреть полный промпт можно указав аргумент `--show_prompt` при вызове `rag.py`.
|
Посмотреть полный промпт можно указав аргумент `--show-prompt` при вызове `rag.py`.
|
||||||
|
|
||||||
## Неплохие модели для экспериментов
|
## Неплохие модели для экспериментов
|
||||||
|
|
||||||
@@ -229,7 +229,7 @@ python3 rag.py --help
|
|||||||
|
|
||||||
### Генеративные
|
### Генеративные
|
||||||
|
|
||||||
Перечислен список: по убыванию качества ответов и размера модели, по возрастанию скорости ответов на обычном домашнем ПК.
|
Список по убыванию качества ответов и размера модели, по возрастанию скорости ответов на обычном домашнем ПК.
|
||||||
|
|
||||||
- [`deepseek-r1:8b`](https://ollama.com/library/deepseek-r1) 🏋️🧠
|
- [`deepseek-r1:8b`](https://ollama.com/library/deepseek-r1) 🏋️🧠
|
||||||
- [`qwen3:8b`](https://ollama.com/library/qwen3) 🏋️🧠
|
- [`qwen3:8b`](https://ollama.com/library/qwen3) 🏋️🧠
|
||||||
@@ -241,6 +241,8 @@ python3 rag.py --help
|
|||||||
- [`gemma3n:e4b`](https://ollama.com/library/gemma3n)
|
- [`gemma3n:e4b`](https://ollama.com/library/gemma3n)
|
||||||
- [`gemma3n:e2b`](https://ollama.com/library/gemma3n)
|
- [`gemma3n:e2b`](https://ollama.com/library/gemma3n)
|
||||||
|
|
||||||
|
Также можно посмотреть на [эти модели](../README.md#models) или свои собственные.
|
||||||
|
|
||||||
## Дисклеймер
|
## Дисклеймер
|
||||||
|
|
||||||
Проект родился на энтузиазме из личного любопытства.
|
Проект родился на энтузиазме из личного любопытства.
|
||||||
@@ -250,8 +252,11 @@ python3 rag.py --help
|
|||||||
**Задачи:**
|
**Задачи:**
|
||||||
|
|
||||||
1. облегчить поиск информации о проекте среди почти 2000 тысяч документов в корпоративной Confluence, относящихся к нему;
|
1. облегчить поиск информации о проекте среди почти 2000 тысяч документов в корпоративной Confluence, относящихся к нему;
|
||||||
2. обеспечить минимум телодвижений для развёртывания RAG с нуля внутри команды.
|
2. обеспечить минимум телодвижений для развёртывания RAG с нуля внутри команды;
|
||||||
|
3. построить воспроизводимую среду для запуска проекта.
|
||||||
|
|
||||||
Здесь не было задачи сделать всё сложно и по красоте.
|
Здесь не было задачи сделать всё сложно и по красоте.
|
||||||
|
|
||||||
|
Этот проект -- пазл, который позволяет пошагово, по косточкам понять и настроить работу RAG.
|
||||||
|
|
||||||
Частично (в качестве агентов) в проекте участвовали модели семейств qwen, clause и chatgpt.
|
Частично (в качестве агентов) в проекте участвовали модели семейств qwen, clause и chatgpt.
|
||||||
|
|||||||
Reference in New Issue
Block a user