Вход Наше всё Теги codebook 无线电组件 Поиск Опросы Закон Понедельник
8 декабря

О смысле всего сущего 0xFF Средства и методы разработки Мобильная и беспроводная связь Блошиный рынок Объявления

Микроконтроллеры PLD, FPGA, DSP AVR PIC ARM, RISC-V Технологии Кибернетика, автоматика, протоколы Схемы, платы, компоненты

Средства и методы разработки

1161894 Топик полностью

Evgeny_CD^{Архитектор} (07.01.2022 11:39, просмотров: 4619)

Новое расширение x86 Intel. AMX (Advanced Matrix Extension). 8 регистров, по килобайту каждый!

https://servernews.ru/1014687

Ответить

- Статья по теме Evgeny_CD(1 знак., 20.01.2023 02:24, ссылка)
- это унификация. интель уже имеет граф.движок Хе с матричным расширением ХМХ(что кагбэ близко с AVX не только буквами) под процессы TSMC. там же есть и векторник. поэтому велика вероятность(в свете грядущего выпуска ителовских моделей на TSMC), что SIMD-расширения интеловских процов вскоре исчезнут или будут урезаны до минимального набора. особенно, учитывая данные о почти пятикратном проигрыше AVX512 по сравнению с матричниками в работе с bfloat16. - фyтбoлиcт(07.01.2022 17:21, )
- Чуток мыслей. Evgeny_CD(755 знак., 07.01.2022 15:57, ссылка)
  - Если сравнивать с SVE2, то с AVX в целом, а не с AMX, созданной для ИИ. А для обычной арифметики AMX не годится - в ней "матричные" операции только с int-8 и float-16, а при такой низкой разрядности нигде, кроме ИИ, она не пригодится. Kceния(2 знак., 07.01.2022 16:28, ссылка, картинка)
    - Вы так говорите, как будто нейросети не есть бесконечная вселенная :) - Cкpипaч(07.01.2022 16:41)
      - Но численных методов ей не заменить, т.к. точность в 3 десятичных знака слишком мала даже для инженерных расчетов. Kceния(1 знак., 07.01.2022 16:50, ссылка)
        
        Ссылка отчасти верная (неверная). AMX использует не числа с половинной точностью. Он использует формат bfloat16, SIGN:1 EXPONENT:8, FRACTION:7 По сравнению со стандартным сишным IEEE 754 single, полная экспонента, урезанная мантисса. - RxTx(07.01.2022 19:10)
        
        Так это же еще хуже - тогда мантисса и вовсе только 2 знака. - Kceния(07.01.2022 20:33)
        
        Ну да. Вот здесь подробности RxTx(1 знак., 07.01.2022 20:43, ссылка)
        
        Логарифмическая линейка :) - Evgeny_CD(07.01.2022 17:28)
- В ядре 5.16 поддержка уже есть. В KVM как-то непросто все у них получается. Evgeny_CD(1 знак., 07.01.2022 11:52, ссылка)
- Интересно, что скажут Линус и Ксения? Evgeny_CD(1 знак., 07.01.2022 11:41, ссылка)
  - интересно, когда это превратится во внешние дополнительные железки? рынок ИИ вроде как есть. Mahagam(530 знак., 07.01.2022 14:00)
    - Nvidia отлично умеет и в AI, и в "просто расчеты". Тут что-то другое. - Evgeny_CD(07.01.2022 15:40)
      - Видеокарты плохо стандартизуются - не написать такую программу, чтобы на всех видеокартах с железом работала. Потому-то и драйверы к своим картам пишут ее производители. К тому же трудно убедить пользователя, чтобы он ради ИИ выбросил свою видеокарту и купил ей на замену какую-то другую (в том числе и от Nvidia). Kceния(230 знак., 07.01.2022 15:51)
        
        У Intel очень много встронного видео от Imagination. Только в последних поколениях вроде видео свое стало. Тяжелое положение Intel в части графики стало следствием провала их проекта Larrabee Evgeny_CD(1 знак., 07.01.2022 16:01, ссылка)
  - Я скажу, что новые команды (AMX) для поддержки ИИ не стоило обособлять от AVX512, т.к. какие-то из них в нем уже есть (VNNI, VBMI, VBMI2, BF16, FP16, 4VNNIW, 4FMAPS, 4VNNIW-extensions). Такой шаг может быть логичен при отказе от AVX512 с одновременным желанием сохранить поддержку ИИ. - Kceния(07.01.2022 13:39)