caxapa.ru :: Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое.

=AlexD= (Сегодня, 13:53, просмотров: 36) ответил SciFi на Всё-таки там шаг по железу нужен довольно большой. Они уже скупили всё ОЗУ на несколько лет вперёд, а им всё мало.

Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое.

Это моё личное предвзятое мнение. Любое совпадение с реальностью является случайным и непреднамеренным.

Ответить

- Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду. - Бoмж(Сегодня, 14:24)

Средства и методы разработки