кароч...наткнулся на Unsloth. У них есть своя оболочка, типа
LmStudio, но, кажись, на базе llama. Она устанавливается, пускается
в терминале и коннектится через браузер. Предложила много чего
скочять и нашла скочяные файлы LmStudio. Под ней Qwen3-Coder-Next-UD-Q4_K_XL, размером 49Г(4-битная выжимка 80Гб модели), помещается в мои 40Гсис+16Гврам, с 32к контента. И даёт 20т/с. Изо всех, что пробовал, это самый продвинутый вариант. Оболочка сразу показывает расход токенов. Можно контролировать процэсс.
mse homjak (Сегодня, 21:18, просмотров: 20) ответил mse homjak на Чё, бдь, довы@бывались? Жэлезный трахтур, таки пришол. Таки,
посмотрим, во чо это выльеца. Предыстория...