ВходНаше всё Теги codebook 无线电组件 Поиск Опросы Закон Суббота
21 ноября
1612771 Топик полностью
mse homjak (Сегодня, 11:49, просмотров: 64) ответил DH на Qwen3.8-27B в 4-битном квантовании Q4_K_M или NVFP4. Контекст 32-64к. Ollama/llama.cpp, 65–90 токенов/с. Чтобы агент не жрал контекст простой PI + thinkrail
По статье, пипец кокойты: "я не сравнивал по качеству кода"... Много токенов, это хорошо, но гораздо лучше, когда эти токены делают что-то полезное, а не просто гонят текст в окно. Я сравнивал модели имана по качеству выхода. Модель на 30г параметров, отстой: быстро, но бестолково. На 80Г, получше, но всё равно, хреново. 177, ужэ хорошо. Генерит код так, что "генерация-проверка-исправление" занимает пару -тройку циклов. модель на 320Г попадает в тютельку с первого раза 

. Ну,

мож, со второго.

Кому надо много токенов, при приличной скорости и качеству, на Гитхабе есть project-Maya на базе Strata. Что одно, что второе, дают буста раза в полтора-два больше чем тот-жэ Унслот. А он кроет все LLamf-Ollama.

И радости от того, что на тупенькой модели со скоростью 60-70т/с приходится делать 5-6-10 итерацй, вместо 1-2 на 10-15т/с, у продвинутой, никакой.