Ну, окно 256к и 10-20т/с на 5060ti@16Gb на
Qwen3.8FlashNext-UD-Q4-K-XL(177Г параметров), не проблема. Лучше
всего даёт результат GLM5.3-Q2(320Г), но это ужэ до 10т/с. Самое нехорошее в том, что тупенькие модели могут сразу выбрать кривой путь и никакими "проверь-исправь" это не лечится. Ну и с "проверь-исправь" там тожэ проблемы. Я начинал с 30Г моделек, потом появилась 80Г моделька Qwen3.6Coder. Казалось, вотонооно! А, потом, выкатили Qwen3.8FlashNext и всё, приплыли. А щас GLM5.3 рулит. Тока медленно. Но уверенно. ИМХО, для локалки нужна именно эта парочка.
Да и тут не всё так просто. Для некоторых работ нужно отключать "размышления" и глушить температуру фпыль, для некоторых, наоборот. С локалками тонкостей, вагон.