caxapa.ru :: Угу. Но это еще не все. Второй вопрос: каков "теоретический" объем размеченных данных необходим для тренировки нейросети такого размера?

Cкpипaч^пророк (06.04.2023 15:55, просмотров: 597) ответил Evgeny_CD на +1

Угу. Но это еще не все. Второй вопрос: каков "теоретический" объем размеченных данных необходим для тренировки нейросети такого размера?

Замечу, 100 триллионов коэффициентов, сами по себе, просто ~~бесполезная~~ куча случайных чисел(наиболее распространенный метод начальной инициализации, серьёзно), им еще только предстоит стать коеффициентами, в ходе обучения.

Кол-во итераций, хотябы внутри одной эпохи (гуглить)... я даже не берусь угадать сколько десятичных разрядов в этом числе.

Без улыбки.

... но не любой ценой.

Ответить

- +100. Я бы сказал, что встает вопрос о достаточности массы в Солнечной системе, если массу превратить в энергию, и с таким энергетическим бюджетом обучать 100 триллионов параметров. - Evgeny_CD(06.04.2023 20:08)

Средства и методы разработки