mse homjak (Сегодня, 12:45, просмотров: 11) ответил Nikolay_Po на На Хабре вышла статья: 125 токенов в секунду на RTX 4070 Ti SUPER:
как я заставил локальную LLM работать полноценным кодинг-агентом
На Гитхабе есть project-Maya. Чуваки пишут движок для LLM. Но не
универсальный, а кастомный, под конкретные LLM. особо хорошо под
это подходит Qwen3.8Flash и GLM5.3Flash. На Qwen, скрость на
стоковой CMP50HX поднялась с 6-7т/с до 24, иногда, почти 30.
Причом, модель не стандартная Q4, а Q5. 113Гб. Грузят хитро, там
получается занято 70-80Гб из моих 128.