GLM5.3Q2 от Unsloth и Maya. Это самые тяжёлые. 116Гб на квант.
Qwen3.8FlashNextQ4 и Q3. Пока не определился, какая лучше. Они 4
ноября выкатили новый Dynamic и Q3 стала почти как старая Q8. И
весит не 111Гб, а 90Гб. Ещё пара моделей под Maya. Qwen3.8Flash и
GLM5.3. Но тут бяда. Видимо, движок сырой или квантовали Qwen криво
или у меня в системе накопилось говна, модель стала сыпаться:
работала 25-54т/с(были всплески, в среднем, под 30т/с), а теперь
3-4-5. GLM не пострадала, вместо 4-5 под Унслот даёт 8-12 под Maya, как и было. Для задач по кодингу-проверке, хватает. Хотя, хаочется и побыстрее. Но овёс нонче дорог! ;О) как я ещо видяху успел ухватить, она скоро вдвое дорожэ будет.