0xFF

Пристегну сюда. Про различия в языках: 

Да, ответы больших языковых моделей (LLM) могут отличаться по существу, когда один и тот же вопрос задаётся на разных языках, хотя степень различий зависит от модели, темы и языка.

LLM обучаются преимущественно на данных с преобладанием английского языка, что приводит к более сильной производительности и более детализированным, точным ответам на английском. Для неанглийских языков ответы могут быть менее точными, более подверженными ошибкам или даже фактическим несоответствиям из-за недостаточно представленных данных в обучении.

• Разрывы в производительности — Исследования и отчёты пользователей показывают, что LLM вроде моделей ChatGPT/GPT часто дают более высокое качество рассуждений, меньше галлюцинаций и лучшую фактическую точность на английском. В языках с низким ресурсом (например, украинский, иврит, арабский или хинди) ответы могут быть бессвязными, грамматически ошибочными или существенно отличаться — даже на один и тот же запрос.

• Кросс-лингвистические несоответствия — Знания не всегда полностью переносятся между языками во внутренних представлениях модели. Например:

  • Факт, верно известный на английском, может быть ошибочным или опущенным на другом языке.
  • На чувствительные темы (политика, здоровье, культура) ответы могут отражать предвзятости из данных конкретного языка, приводя к разным точкам зрения или акцентам.
  • Исследования вопросов о здоровье на английском, немецком, турецком и китайском выявили значительные несоответствия, которые могут распространять дезинформацию.

• Культурные влияния и предвзятости — Многоязычные LLM могут проявлять западно/англоцентричные предвзятости в ответах на неанглийских языках, искажая культурные перспективы. На политически заряженные вопросы ответы могут больше соответствовать преобладающим взглядам в данных языка запроса (например, разные позиции по историческим событиям в зависимости от языка).

• Эмпирические примеры — Пользователи сообщают, что запросы фактических или логических вопросов (например, о законах, науке или головоломках) на английском дают более структурированные ответы, чем на французском, испанском или других языках. В некоторых случаях запрос на английском с последующим переводом даёт лучшие результаты, чем прямой запрос на целевом языке.

Для языков с высоким ресурсом (например, испанский, французский, немецкий, китайский) в современных моделях вроде GPT-4 и более поздних существо часто остаётся последовательным на нейтральных, фактических темах. Усовершенствованное многоязычное обучение улучшило кросс-лингвистическое выравнивание, сократив разрывы.

Исследователи решают эту проблему с помощью лучших многоязычных наборов данных, техник выравнивания (например, пакетная тонкая настройка с эквивалентными данными по языкам) и оценок, ориентированных на последовательность. Более крупные и свежие модели демонстрируют лучшую многоязычную паритетность, но английский остаётся «самым сильным» языком.

В итоге, хотя LLM стремятся к языково-независимым знаниям, существенные различия всё же возникают — особенно в запросах не на английском — из-за дисбаланса в обучении и неполного кросс-лингвистического переноса. Для критически важных задач запрос на английском (если возможно) часто даёт более надёжное существо.