ВходНаше всё Теги codebook 无线电组件 Поиск Опросы Закон Воскресенье
22 ноября
1612857 Топик полностью
mse homjak (Сегодня, 18:40 - 23:08, просмотров: 22) ответил Бoмж на Коллеги, это просто охренеть! Только что скачал эту модель, запустил на Unsloth на моей уже весьма устаревшей RTX 2080 SUPER и охренел. Она работает с такой скоростью, просто атас!!! Рекомендую!!!
вот маленькая, но окно, 1М. Думаю, тупенькая, но к ресурсам не требовательная. Q4(98% от полной точности) 17,6Гб. Ну, за пару итераций простенький SPI педераччик наваяла. Да ещо с подавлением метастабильности! Без напоминания. Ёпта! 

https://huggingface.co/unsloth/Inkling-2-Mini-GGUF