ВходНаше всё Теги codebook PARTS Поиск Опросы Закон Воскресенье
5 июля
/1015199
Evgeny_CD, Архитектор (01.07.2020 14:18 - 02.07.2020 01:14, просмотров: 532)
[Cerebras - компьютер на одной пластине. 18 Гбайт SRAM, 400k ядер, 15 кВт тепла] Шутили насчет микросхемы с двумя ручками для переноски? Как всегда, СССР просто обогнал свое время. 

Единственная доступная преза. Год назад. Никто не верил. Думали, развод

https://www.anandtech.com/show/14758/hot-chips-31-live-blogs-cerebras-wafer-scale-deep-learning


$5млн на суперкомпьютер, состоящий всего из двух таких "микросхем"

https://www.anandtech.com/show/15838/cerebras-wafer-scale-engine-scores-a-sale-5m-buys-two-for-the-pittsburgh-supercomputing-center


https://www.ixbt.com/news/2019/08/20/cerebras-wafer-scale-engine-ipad-pro-1-tdp-15.html

https://www.ixbt.com/news/2020/06/10/400-000-15-1-2-2.html


Скорее всего, будет революция в AI и вот почему.


Современные коммерческие сетки для готовых систем типа Алиса - это несколько сетей с размерностью 200млн+ параметров. Топовые коммерческие сети, из доступного публично - 4 млрд праметров.


Есть тренд на снижение разрядности узлов. Все начинали с FP32, есть промежуточная стадия FP16, современный писк - INT8, INT16. ARM свои ускорители именно под это заложили.


Есть вообще авангард - бинарные нейросети, но это самый самый авангард, как-то народ стремается массово в продакшен пскать.


Однако, путь в части INT8, INT16 довольно стремный - нужно точно выверять алгоритмы, иначе узел насытился и все.


Вот чтобы точно выверить и нужен такой "кампучек". Чтобы строить сетки, тренировать, тестировать и "until передохнут".


А потом под выверенные алгоритмы и сделают массовые чипы.


Этот кампучек - это "осциллограф" мира AI. Без которого ни один прорыв сделать нельзя.


Путь науки - это когда у тебя нет нихера, и ты чудом добиваешься результата. Куча народа не добилась - один (человек, коллектив) добился. Нобели, вспышки. Но это не бизнес-путь.


Путь инжиниринга - это когда у тебя есть "осциллограф", который либо технологически выше того, что ты разрабатывашь (99% случаев на практике), либо на одном уровне.


В AI все шли путем FP32, потому что точно сработает, сомнений нет. Но узлов в сети надо дофига, и камушек получался непростой. Для стационарных применений еще куда ни шло, но в мобильные применения не подходит.


Делать большой чип в INT8, INT16 - это риск, на него никто не хочет идти. Потому как нет "осциллографа".


Теперь "осциллограф" есть.


Магистральная дорога к скайнету открыта.

Ответить
Ответы