Вход
Наше всё
Теги
codebook
无线电组件
Поиск
Опросы
Закон
Пятница
17 июля
О смысле всего сущего
0xFF
Средства и методы разработки
Мобильная и беспроводная связь
Блошиный рынок
Объявления
Микроконтроллеры
PLD, FPGA, DSP
AVR
PIC
ARM, RISC-V
Технологии
Кибернетика, автоматика, протоколы
Схемы, платы, компоненты
Средства и методы разработки
1596528
Топик полностью
Бoмж
(Сегодня, 14:24, просмотров: 11)
ответил
=AlexD=
на
Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое.
Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду.
memento mori
Ответить