Anpropic представила новую функцию, позволяющую своей модели AI Claude Opus 4 и 4.1 для прекращения разговоров с пользователями. Эта возможность, подробно описанная в недавнем объявлении компании, предназначена для «редких, экстремальных случаев постоянно вредного или оскорбительного взаимодействия с пользователями».
Примеры ситуаций, когда Клод может прекратить чат, включают «запросы от пользователей на сексуальное содержание с участием несовершеннолетних и попытки запросить информацию, которая позволит обеспечить масштабное насилие или террористы». Антропик подчеркивает, что прекращение разговора будет «последним средством», реализованным только после того, как «многочисленные попытки перенаправления потерпели неудачу, и надежда на продуктивное взаимодействие была исчерпана». Компания ожидает, что большинство пользователей не столкнутся с этой функцией, поскольку она зарезервирована для «экстремальных краевых случаев», даже при обсуждении высокопоставленных предметов.
Когда Клод заканчивает разговор, пользователям не дают отправки новых сообщений в этом конкретном чате. Тем не менее, они сохраняют способность немедленно инициировать новый разговор. Anpropic также пояснил, что окончательный разговор не влияет на другие текущие чаты, и пользователи все еще могут редактировать или повторить предыдущие сообщения в прекращенном потоке, чтобы продолжить другой путь разговора.
Это развитие является частью текущей исследовательской программы Anpropic в области благосостояния искусственного интеллекта. Компания рассматривает возможность для своих моделей ИИ выйти из «потенциально страдающего взаимодействия[s]«Как« недорогой способ управления рисками для благосостояния искусственного интеллекта ». Antropic в настоящее время экспериментирует с этой функцией и активно поощряет отзывы пользователей относительно ее реализации.
Source: Claude AI получает возможность положить конец вредным чатам
