caxapa.ru :: Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду.

Бoмж (17.07.2026 14:24, просмотров: 51) ответил =AlexD= на Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое.

Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду.

memento mori

Ответить

Средства и методы разработки