mse homjak (Сегодня, 20:20, просмотров: 18) ответил фывaи на Коллега таки прав. При вайбкодинге хочется чтобы ИИ соображала и
быстро, чтобы для человека процесс шел гладко.Я приводил цифры на сейчас: ЦПУ+мамка 7 тыр, ДДР3-128Г 18тыр, CMP50HX@20Гб 30 тыр. Этого хватит для модели на 170+Гпараметров. Я пытался на днях построить с Гуголем агентскую компанию. Гуголь мне наструячил скрипт на питоне, оно как-то заработало, но с какими-то косяками. Я дал задачу 170Г модели и она нахерачила мега-скрипт, который, практически, задачу решил. Хотя, казалось бы... Только пользоваться им стрёмно, т.к. при работе с агентами, модель становится зверски тупой(та-жэ самая 170Г). Модельная задача так и не дошла до конца за херову кучу итераций. Я дал её в диалоговом режиме, она прошла на "5" с первого раза, и диалоговый контролёр не нашёл в ней ошибок. Минут за 5 на всё. Как объяснили все нейронки, это врождённое уродство работы с агентами.
Если то-жэ самое делать на ДДР-4, оно будет дорожэ только из-за памяти на 50-60тыр. Но, зато, вместо моих 15-20 т/сек(на 5060ти16Г), будет под/за 30. Да и 15-20т/с уже комфортно. Текст идёт так, что не успеваешь за ним следить. Можно взять 2-процессорную мамку и зарядить 256Г. Кстати, локальные модели очень требовательны не только к видеосистеме, но и к процу. Моих 36 потоков при генерации ответа стоят на 100%, что мыша дёргается.