Компания OpenAI разработала инструмент, который может идентифицировать студентов, использующих ChatGPT для выполнения своих заданий, но они не уверены, стоит ли его выпускать. Журнал “Уолл Стрит Сообщается, что компания экспериментирует с методом, называемым «текстовый водяной знак». Этот метод предполагает внесение небольших изменений в то, как ChatGPT выбирает слова, создавая скрытый «водяной знак» в тексте, который можно обнаружить позже.
Представитель OpenAI сообщил TechCrunch что компания проявляет осторожность при выпуске этого инструмента из-за его сложности и потенциального воздействия. Они обеспокоены такими проблемами, как поиск людьми способов обойти водяной знак и возможность несправедливого воздействия на неанглоговорящих пользователей.
Это «очень точно»
Этот подход отличается от более ранних попыток обнаружить текст, сгенерированный ИИ, которые в основном провалились. Например, GPTZero, другой инструмент, разработанный для обнаружения текста, написанного ИИ, столкнулся с проблемами точности и эффективности. Даже OpenAI прекратил использовать свой собственный детектор текста ИИ в прошлом году, потому что он был недостаточно точным. Новый инструмент для создания водяных знаков будет сосредоточен только на обнаружении текста, написанного ChatGPT, а не другими моделями ИИ.
В обновленном виде Сообщение блогаOpenAI отметила, что водяные знаки в тексте оказались «очень точными» против простых подделок, например, изменения нескольких слов. Однако они менее эффективны против более сложных методов, таких как перевод текста на другой язык или использование другой модели ИИ для его перефразирования. Компания также упомянула опасения, что этот инструмент может несправедливо стигматизировать использование ИИ, особенно для неносителей английского языка, которые могут использовать ИИ для помощи в письме.
Поскольку OpenAI учитывает эти факторы, компания не торопится, чтобы решить, выпускать ли этот инструмент или нет, тщательно взвешивая все «за» и «против».
Все изображения созданы Эрай Элиачик/Бинг
Source: OpenAI знает, как определить работу ChatGPT, но не решается поделиться ею