От Хабарки: Метод Binoculars обещает высокую точность обнаружения
текста от больших языковых моделей. Binoculars
В научной работе «Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text» (arXiv:2401.12070) предлагается способ обнаружить тексты от БЯМ с высокой точностью. «Бинокль» превосходит как другие опубликованные методы, так и коммерческие решения, обещают исследователи.
Как следует из названия, бинокль — это оптический прибор из двух зрительных труб. Похожим образом инструмент для оценки «машинности» текста Binoculars рассматривает текст с позиции двух языковых моделей.
Перплексия — одна из самых распространённых метрик при работе с БЯМ. Если говорить упрощённо, перплексия показывает, насколько необычно и удивительно данные выглядят для модели. Казалось бы, дело в шляпе: по перплексии легко обнаружить тексты от ИИ, поскольку тексты от людей свободнее и оригинальней, у них показатель перплексии выше.
Однако, как показывают авторы метода Binoculars, просто перплексии недостаточно.
https://habr.com/ru/articles/789466/