1
0

README misc

This commit is contained in:
2025-08-19 12:09:07 +08:00
parent 92156fdebd
commit 99634d85df

View File

@@ -10,7 +10,7 @@
Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество. Больше параметров → больше памяти на диске и в ОЗУ → ниже скорость (tps) → выше качество.
Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос. Модели до 7 млрд достаточно хорошо отвечают (до 5-10 tps) на i5-9400 CPU 2.90GHz + 32 Гб ОЗУ без видеокарты, при условии, что в один момент времени одна модель обрабатывает один запрос.
Например, [phi4-mini:3.8b](phi4-mini/3.8b) или [qwen2.5:7b](qwen2.5/7b). Например, [phi4-mini:3.8b](phi4-mini/3.8b), [qwen2.5:7b](qwen2.5/7b) или небольшая llama.
## Стек ## Стек