ВходНаше всё Теги codebook 无线电组件 Поиск Опросы Закон Пятница
17 июля
1596528 Топик полностью
Бoмж (Сегодня, 14:24, просмотров: 13) ответил =AlexD= на Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое.
Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду. 
memento mori