DH (Сегодня, 15:09, просмотров: 22) ответил mse homjak на По статье, пипец кокойты: "я не сравнивал по качеству кода"...
Много токенов, это хорошо, но гораздо лучше, когда эти токены
делают что-то полезное, а не просто гонят текст в окно. Я сравнивал
модели имана по качеству выхода. Модель на 30г параметров, отстой:
быстро, но бестолково. На 80Г, получше, но всё равно, хреново. 177,
ужэ хорошо. Генерит код так, что "генерация-проверка-исправление"
занимает пару -тройку циклов. модель на 320Г попадает в тютельку с
первого раза
Я соглашусь с вами. Пробовал модели 27-32-35Б на карте 32Гб и
скажу, что в плане программирования в браузере через google.com или
в агенте и одноимённой облачной модели на MIMO качество кода на
голову выше. Да, для локальной модели мне нужны сотни Б и
контекстное окно минимум от 128к.