OpenAI выпустила инструмент для обнаружения анти-ИИ: двухлетняя разработка вызывает сомнения

Искусная игра в языке.

ChatGPT изначально рассматривался студентами как божественный помощник в написании эссе, но теперь он может стать их кошмаром. Согласно инсайдерской информации, OpenAI тайно разработала "анти-плагиатный инструмент", способный точно определить, использовался ли ChatGPT в эссе или отчете. Эта технология обсуждалась внутри OpenAI в течение двух лет и фактически была готова год назад.

Принцип работы этого анти-читерского инструмента заключается в том, что при генерации текста ChatGPT незаметно корректирует вероятности выбора слов, оставляя определенные вероятностные паттерны в качестве водяного знака. Хотя люди не могут это заметить, система обнаружения OpenAI может распознать. Утверждается, что при достаточной длине текста точность обнаружения может достигать 99,9%.

Конкретная реализация может заключаться в изменении частоты появления токенов в предложениях. Например, в предложении "Мой любимый фрукт - __", некоторым фруктам присваивается более высокая вероятность появления, формируя своего рода код. Эти тонкие изменения вероятности не влияют на чтение, но могут быть декодированы OpenAI.

В настоящее время OpenAI еще не обнародовала эту технологию, лишь опубликовав блог на своем официальном сайте, признавая, что ведутся исследования. На рынке уже существуют различные инструменты для обнаружения AI-текста, такие как SynthID от Google и GPT Zero. Однако эти инструменты также имеют ограничения, например, низкую точность обнаружения сложных текстов.

Причины, по которым OpenAI медлит с выпуском функции водяного знака, могут быть следующими:

  1. Технические сложности в нанесении водяных знаков на текст. Существует множество способов выражения в тексте, что затрудняет статистический анализ.

  2. Водяные знаки могут быть взломаны. Обнаружено, что обнаружение можно обойти с помощью многоязычного перевода.

  3. Существуют споры о необходимости нанесения водяных знаков. Это может повлиять на развитие и применение AI-технологий.

  4. Опасения по поводу злоупотребления. Например, использование для цензуры или мониторинга.

  5. Коммерческие соображения. Может повлиять на пользовательский опыт и конкурентоспособность продукта.

В целом, технология обнаружения AI-текста все еще находится в стадии развития, и в будущем стоит обратить внимание на то, как сбалансировать технологическое развитие, пользовательский опыт и этические вопросы.