Вход
Наше всё
Теги
codebook
无线电组件
Поиск
Опросы
Закон
Пятница
17 июля
О смысле всего сущего
0xFF
Средства и методы разработки
Мобильная и беспроводная связь
Блошиный рынок
Объявления
Микроконтроллеры
PLD, FPGA, DSP
AVR
PIC
ARM, RISC-V
Технологии
Кибернетика, автоматика, протоколы
Схемы, платы, компоненты
Средства и методы разработки
1596510
Топик полностью
SciFi
(Сегодня, 13:49, просмотров: 30)
ответил
=AlexD=
на
Ещё один шаг разработки железа, и все эти билионные модели поедут на одном чипе в маленькой коробочке. Собственно внедрение ИИ сейчас и ограничено мутными условиями автономных решений.
Всё-таки там шаг по железу нужен довольно большой. Они уже скупили всё ОЗУ на несколько лет вперёд, а им всё мало.
ส็็็็็็็็็็็็็็็็็็็็็็็็็༼ ຈل͜ຈ༽ส้้้้้้้้้้้้้้้้้้้้้้้
Ответить
Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое.
-
=AlexD=
(Сегодня, 13:53
)
Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду.
-
Бoмж
(Сегодня, 14:24
)