mse homjak (Сегодня, 20:56, просмотров: 25) ответил Nikolay_Po на А можешь пример подсказать, где взять, куда копнуть? А то ребёнка
спросил - а он говорит - гиблое дело, без ускорителя с 20ГБ смысла
нет. И не стал даже пробовать, хотя нейронками увлекался поначалу.память была 40Гб. И на ней крутилась 49гб модель под Unsloth. Щас поставил 64Г. Шевелится быстрее. Едет ещо 64Гб, будет совсем хорошо. Народ пользует как ускоритель, CMP-50HX с перепаяной памятью 20Гб за +/-20тыр на Авито. Этот будет летать как птица. Берётся всё программное на unsloth.ai. Там и оболочка(Unsloth Studio), там и модели, оптимизированные под неё. Она упихивает модель во все щели, что есть на компе. Если ресурсов мало, можно пользовать модели класса 30В-3. Т.е. 30Г параметров, из которых активных будет 3Г, в зависимости от запроса.
меня сподвиг ролик
https://vkvideo.ru/video-66746959_456243714
Там чувак вообще рассматривал 4060 в качестве вычислительного ядра. И, вполне неплохо было.
Щас собираю серверок, на работу, для опытов на базе китайцких серверных плат и процев. Набор материнка-проц, о чём мы с Гудвином, 7тыр. 128Г ДДР3 ЕСС РЕГ 14500р, две СМР-50 не переделанных, 10тыр на Авито. Райзеры-разветвители-БП-затычка видео(для совместимости, советуют от АМД, чтобы драйвера с Нвидией не конфликтовали)... В общем, где-то в 40-45тыр. Крутиться будет Qwen3-Coder-Next-UD-Q4_K_XL. Это моделька 85Г параметров, сжатая до 49Гб. Щас с ней общаюсь, достаточно толковая. С нюансами, но, тем не менее. Прекрасно работает в качестве ассистента: проверить программку и чота посоветовать, написать утилитку и т.п. Вот какую хрень Жэлезный Разум написал на Питоне, чтобы тестить правильность рассчёта IIR фильтров.
И это, по счелчку пальцов. И фильтры сам считает. И на мысли всякие нехорошие по оптимизации наталкивает. Годная штука.