caxapa.ru :: триллиарды баксов на ДЦ от ОпенАИ, Гугле и прочих Мета, не для окукливания Тошиб, а для загона в централизованные мегаоблака. Это мелкомягкие могут себе позволить личное облако, чтобы не платить за токены ХЗ кому. А мелкие конторы, которым не потянуть личный ИИ на условный десяток-сотню триллионов параметров, будут жаться на арендованных ДЦ, как и щас арендуют сервера.

mse homjak (Сегодня, 11:03, просмотров: 41) ответил Cкpипaч на Конкуренту? А это как? Знаю лавку юристов в Киеве, которые купили лицензию и поставили для своих дел в подвале отдельный сервак. Не подключенный к интернет. Не думаю что инженеры Toshiba, например, на открытых серверах пасуться.

триллиарды баксов на ДЦ от ОпенАИ, Гугле и прочих Мета, не для окукливания Тошиб, а для загона в централизованные мегаоблака. Это мелкомягкие могут себе позволить личное облако, чтобы не платить за токены ХЗ кому. А мелкие конторы, которым не потянуть личный ИИ на условный десяток-сотню триллионов параметров, будут жаться на арендованных ДЦ, как и щас арендуют сервера.

Ответить

- Ещё один шаг разработки железа, и все эти билионные модели поедут на одном чипе в маленькой коробочке. Собственно внедрение ИИ сейчас и ограничено мутными условиями автономных решений. =AlexD=(62 знак., Сегодня, 13:38, ссылка, картинка)
  - Всё-таки там шаг по железу нужен довольно большой. Они уже скупили всё ОЗУ на несколько лет вперёд, а им всё мало. - SciFi(Сегодня, 13:49)
    - Есть подозрение, что нынешние рыхлые модели можно переупаковать гораздо плотнее и точнее, даже без суровой квантизации. Из последних веяний - разбиение моделей на сегменты с различной квантизацией. Короче, там для оптимизаций поле непаханое. - =AlexD=(Сегодня, 13:53)
      - Согласен. Кроме того для инференса процессор будет проще примерно в 20 раз, чем для обучения модели. Скоро выйдут ускорители для ИИ, вставил в компьютер, и вот уже локальный ИИ на 100 токенов в секунду. - Бoмж(Сегодня, 14:24)
- Мелкие конторы - умрут. Что-то еще? - Cкpипaч(Сегодня, 11:06)
  - С чего бы? Есть куча приложэний, куда большим конторам слишком дорого лезть. Или не одобрят акцыанеры. Или "хули те копейки". Или... - mse homjak(Сегодня, 11:09)
    - Т.е. не умрут? - отлично, в чем тогда вопрос? - Cкpипaч(Сегодня, 13:44)

Средства и методы разработки