[Cerebras - компьютер на одной пластине. 18 Гбайт SRAM, 400k
ядер, 15 кВт тепла] Шутили насчет микросхемы с двумя ручками для переноски? Как
всегда, СССР просто обогнал свое время. Единственная доступная преза. Год назад. Никто не верил. Думали, развод
https://www.anandtech.com/show/14758/hot-chips-31-live-blogs-cerebras-wafer-scale-deep-learning
$5млн на суперкомпьютер, состоящий всего из двух таких "микросхем"
https://www.anandtech.com/show/15838/cerebras-wafer-scale-engine-scores-a-sale-5m-buys-two-for-the-pittsburgh-supercomputing-center
https://www.ixbt.com/news/2019/08/20/cerebras-wafer-scale-engine-ipad-pro-1-tdp-15.html
https://www.ixbt.com/news/2020/06/10/400-000-15-1-2-2.html
Скорее всего, будет революция в AI и вот почему.
Современные коммерческие сетки для готовых систем типа Алиса - это несколько сетей с размерностью 200млн+ параметров. Топовые коммерческие сети, из доступного публично - 4 млрд праметров.
Есть тренд на снижение разрядности узлов. Все начинали с FP32, есть промежуточная стадия FP16, современный писк - INT8, INT16. ARM свои ускорители именно под это заложили.
Есть вообще авангард - бинарные нейросети, но это самый самый авангард, как-то народ стремается массово в продакшен пскать.
Однако, путь в части INT8, INT16 довольно стремный - нужно точно выверять алгоритмы, иначе узел насытился и все.
Вот чтобы точно выверить и нужен такой "кампучек". Чтобы строить сетки, тренировать, тестировать и "until передохнут".
А потом под выверенные алгоритмы и сделают массовые чипы.
Этот кампучек - это "осциллограф" мира AI. Без которого ни один прорыв сделать нельзя.
Путь науки - это когда у тебя нет нихера, и ты чудом добиваешься результата. Куча народа не добилась - один (человек, коллектив) добился. Нобели, вспышки. Но это не бизнес-путь.
Путь инжиниринга - это когда у тебя есть "осциллограф", который либо технологически выше того, что ты разрабатывашь (99% случаев на практике), либо на одном уровне.
В AI все шли путем FP32, потому что точно сработает, сомнений нет. Но узлов в сети надо дофига, и камушек получался непростой. Для стационарных применений еще куда ни шло, но в мобильные применения не подходит.
Делать большой чип в INT8, INT16 - это риск, на него никто не хочет идти. Потому как нет "осциллографа".
Теперь "осциллограф" есть.
Магистральная дорога к скайнету открыта.