caxapa.ru :: все мысли о нейросетях, языковых моделях и прочем таком (вычитанные из книжек в далёком детстве, и родившиеся в моём неокрепшем мозгу молодого специалиста в 90-е 2000-е :) упирались в пропускную способность и размеры оперативной памяти, ну и немножко в вычислительные ресурсы :) которых явно было недостаточно для реализации моих смелых идей :)) потом всё это отошло на второй план за насущными проблемами :( а объёмы памяти, скорости обработки в ней информации, и скорости

Adept (Вчера, 16:07, просмотров: 88) ответил Kpoк на Я уповаю на то, что ИИ станет зело прожорливым по части энергетики (пиндосы уже построили отдельную электростанцию только для него), а его услуги станут нерентабельными, поскольку программеры, окучивающие его деградируют со скоростью закона Мура.

все мысли о нейросетях, языковых моделях и прочем таком (вычитанные из книжек в далёком детстве, и родившиеся в моём неокрепшем мозгу молодого специалиста в 90-е 2000-е :) упирались в пропускную способность и размеры оперативной памяти, ну и немножко в вычислительные ресурсы :) которых явно было недостаточно для реализации моих смелых идей :)) потом всё это отошло на второй план за насущными проблемами :( а объёмы памяти, скорости обработки в ней информации, и скорости

вычислений выросли с тех пор на порядки!! Зная тогда это, я был бы уверен, что вот сейчас-то всё

и начнётся, т.к. аппаратные ресурсы для реализации больших языковых моделей, и специализированных нейросетей - колоссальные, но я не учёл одной, точнее двух вещей.

* первое, - и не главное: - деградация квалификации программистов, генерящих террабайты мусорного, медленного и неоптимального кода :((

* второе, - и главное: - проблемы обучения и цена ошибки. Принципиальное ограничение - экспертная оценка в обучающих алгоритмах. Сейчас ИИ учится на контенте в большинстве, самим же сгенерированным, в итоге такого "инцеста" - имеем вырождение моделей и непредсказуемые ~~"генетические болячки"~~ поведениЯ на разных задачах. Причём "это не лечится" . Цена ошибок обучения крайне высока, "провернуть фарш обратно" - практически нереально. В процессе обучения нужно делать "точки восстановления", чтобы откатиться обратно, когда ещё не научили чему-нить плохому :)) Тут ровно так же , как в воспитании детей :)

А главная проблема - "а судьи кто" ? Т.е. экспертная оценка при обучении самое слабое, медленное и ненадёжное звено.

Имхо, для "прорыва" на текущих технологиях больших языковых моделей нужно "воспитать" образцовый интеллект, с "незамутнённым" интернет-помойкой "рассудком", так сказать, "стерильного ребёнка"-вундеркинда, с огромным теоретическим опытом и всеобъемлющими знаниями, - которого потихоньку и очень дозированно скармливать уже реальные "жизненные" задачи и ситуации. Вот он и будет экспертом, вот тогда "и начнётся"

А так как сейчас - да, - велика вероятность, что то, что родим, придётся просто уничтожить, т.к. исправить будет невозможно, ну и программеры, конечно "успешно освоят все предоставленные ресурсы :)) Так что да, ветка кажется ~~тупиковая~~ эволюционная. Революции нет... Хотя я честно думал, что вот изобретут какой-нить чип объёмной памяти с оптическим чтением/записью, который сможет хранить террабайты, и иметь к ним доступ за наносекунды, вот "тогда начнётся", и Шо? Память с такими характеристиками фактически есть а революции всё нет и нет ...

Революция будет, наверное с новым подходом к анализу информации и построению "нейросетей", на новых физических принципах с хранением и передачей информации на уровне каких-нить межатомных связей, причём это должно быть на порядки более эффективно, чем работа больших вычислительных кластеров с тысячами CPU и GPGPU, иначе это было бы всё уже сейчас :))

Так что ждёмс... (Айзек Азимов с "позитронным мозгом" передаёт нам привет из далёкого прошлого :))

...делать нужно так, как нужно. А как ненужно - делать не нужно (С) Винни-Пух :)

Ответить

- А может не стоить этого ждать, а направить мозговые усилия в другую сторону? Ну там межзвёздные перелёты, стихосложение, обихаживание природы.... - Kpoк(Вчера, 16:50)
  - как это красиво звучит! В магазин за мясом с какими деньгами (в смысле - где их взять) идти? А тем более за пивом и коньяком.... - Лaгyнoв(Вчера, 17:15)
    - Ну вроде голод уже победили. А как за Квинтом сможем ездить без границ, жизнь совсем наладится. Самое время о возвышенном подумать. - Kpoк(Вчера, 18:04)
      - согласен подумать. На карточку кто и за что перечислять будет? - Лaгyнoв(Вчера, 18:55)
        
        -> carlosh(1 знак., Вчера, 20:32, ссылка)
        
        я в ваших видео не сильно силен. - Лaгyнoв(Вчера, 20:57)
  - ну мы понятно, будем "ждать" в режиме "фоновой задачи" :) дел-то интересных и полезных - невпроворот :)) - Adept(Вчера, 17:08)
    - Так и этих пидарасов хорошо бы переориентировать. - Kpoк(Вчера, 18:03)
      - которых из них? :) Adept(80 знак., Вчера, 18:26)
- Чтобы искусственный интеллект из "предсказамуса" стал искусственным разумом он, как минимум, должен повторять биохимию животных. Потому, что человеческий интеллект базируется на эмоциях, а вовсе не на чистой логике. Логика нам нужна в основном для того, чтобы не терять обратную связь с окружающим миром, т.с. не сильно/не всегда нарушать естественные законы причинно-следственных связей :-) Эмоции же очень тесно связаны с биохимией организма. - reZident(Вчера, 16:16)
  - Владимир Михановский, "Аполлон", ЮТ №№ 4-6, 1984. Toчкa oпopы(72 знак., Вчера, 22:06)
  - Интересная гипотеза, что-то в этом есть - как вляние эмоций на восприятие и интерпретацию информации и отражение эмоций на принимаемые решения и анализ последствий. Но по-моему Вы преувеличиваете значение биохимии и эмоций. В конце концов "биохимию" легко воссоздать математическими моделями, да и простейших эмоций - по пальцам одной руки. Сложные вроде как совесть, любовь и прочие, это да, непросто, да это и не эмоции уже а модеди поведения. В общем, думаю, тут "в первом Adept(106 знак., Вчера, 16:22)
    - Один из очень кратких ответов по поводу моделирования интеллекта. reZident(165 знак., Вчера, 20:38, ссылка, ссылка)
      - Один из видных деятелей в области ИИ - Илья Суцкевер, наш соотечественник. Смотрел недавно несколько интервью на ютубе. Он тоже рассуждает о параллелях между нейросетями и человеками. Какие-то идеи могут кочевать туда-сюда (мокрые нейроны и железные железяки). Процесс идёт, причём в значительной степени за закрытыми дверями. - SciFi(Вчера, 20:47)
      - ну никто не говорит, что мы идём единственно верным путём :?) всё в первый раз и путь тернист... вспомнить какими закоулками мы дошли до понимания молекулярного и атоммарного строения веществ, и то остались вопросы... Кто сказал, что в теме ИИ всё получится сходу ? :)) - Adept(Вчера, 20:44)
        
        Вы можете ответить на один из главных вопросов: зачем? Если человеческие технологии дойдут до полностью достоверного моделирования мышления, биологии и психологии людей, то зачем нужны будут сами люди? - reZident(Вчера, 20:47)
        
        Ответ прост - прогресс, - его не остановить (множество технологий будет построено на этом) и тут, конечно нужно понимать, что это не замена человека, а симбиоз, синергия. На первых этапах точно под контролем человека, ну а дальше - как повезёт :) вырастим монстра, который нас уничтожит, значит такова наша глубинная суть и карма, но я надеюсь, что вместе с ИИ будет построено ~~страна розовых пони~~ общество благоденствия и процветания :) - Adept(Вчера, 23:20)
        
        Хе-хе, как обычно, чтобы бабла поднять. Когда делали ткацкий станок, не рассуждали, куда девать всех этих ткачих :-) - SciFi(Вчера, 20:51)
        
        Вы не вдупляете? Технологии, замещающие работу, выполняемую людьми, и технологии, замещающие самих людей, это сильно и даже принципиально не одно и то же. - reZident(Вчера, 20:55)
        
        Луддиты смотрят на вас как на... :-) - _volkanaft_(Сегодня, 01:02)
        
        Вам виднее. - SciFi(Вчера, 20:57)
    - Это не моя собственная гипотеза. Так утверждает доктор биологических наук, доктор филологических наук, специалист по нейропсихологии Татьяна Черниговская. - reZident(Вчера, 16:53)

О смысле всего сущего