Roblox представила Sentinel, систему искусственного интеллекта, предназначенную для обнаружения ранних признаков потенциальной эксплуатации детей в онлайн -чатах, что происходит на фоне усиления внимания и юридических проблем, касающихся протоколов безопасности платформы. Объявленный 8 августа 2025 года, Sentinel открывается и делает свободно доступным, что позволяет другим платформам интегрировать его в свои собственные фреймворки модерации.
Компания, которая может похвастаться более чем 111 миллионами активных пользователей в месяц, сообщила, что Sentinel уже помогла пометить сотни потенциальных дел об эксплуатации детей для правоохранительных органов. Мэтт Кауфман, директор по безопасности Roblox, подчеркнул ограничения предыдущих систем фильтрации, которые в первую очередь были сосредоточены на изолированных словах или фразах. Он объяснил, что такие проблемы, как угроза для детей и уход, часто проявляются за счет длительных моделей взаимодействия. «Но когда вы думаете о вещах, связанных с угрозой для детей или ухода за детьми, о типах поведения, на которые вы смотрите, проявляются в течение очень длительного периода времени», – заявил Кауфман.
Sentinel спроектирован для определения этих развивающихся моделей в рамках разговоров, а не просто изолированных терминов. Система обрабатывает один минутный снимки из примерно 6 миллиардов сообщений чата, которые ежедневно обменялись на платформе, оценивая их в их более широком контексте. Чтобы облегчить это, инженеры разработали два различных индекса: один содержит примеры безвредных чатов, а другой, содержащий сообщения, которые нарушают рекомендации по безопасности детей. Нарен Конеру, вице -президент по технике инженерии и безопасности в Roblox, отметил, что оба индекса постоянно обновляются с новым материалом для повышения точности модели ИИ. «Этот индекс становится лучше, когда мы обнаруживаем более плохих актеров, мы просто постоянно обновляем этот индекс», – сказал Конеру, добавив: «Тогда у нас есть еще один образец того, что делает нормальный, обычный пользователь?»
Конеру также уточнил, что Sentinel контролирует постоянную деятельность пользователя, чтобы понять, является ли их поведение в отношении безопасного взаимодействия или рискованного поведения. «Это не происходит в одном сообщении, потому что вы просто отправляете одно сообщение, но это происходит из -за того, что все ваши дни взаимодействия приводят к одному из этих двух», – объяснила она. Если ИИ помечает пользователю для более тщательного изучения, человеческие модераторы проводят тщательный обзор всей истории чата человека, списка друзей и сыгранных игр. Когда это оправдано, Roblox ускоряет эти дела в правоохранительные органы и Национальный центр пропавших и эксплуатируемых детей.
Внедрение Sentinel происходит, когда Roblox сталкивается с значительными юридическими проблемами. В иске, поданном в Айове в прошлом месяце, утверждается, что с 13-летней девочкой связался взрослый хищник через Roblox, впоследствии похищенную, и продавая в нескольких штатах. В иске утверждается, что дизайн платформы компании создал «легкую добычу для педофилов».
Roblox поддерживает строгие политики, запрещающие обмен личной информацией, изображениями и видео в чате. Кроме того, прямое обмен сообщениями для пользователей в возрасте до 13 лет ограничено, если только явное разрешение родителей не предоставлено. Возможностям мониторинга компании помогает тот факт, что чаты не зашифрованы, что позволяет контролировать разговоры о нарушениях безопасности. Признавая, что ни одна система не может обеспечить полную защиту, Roblox утверждает, что достижения искусственного интеллекта, такие как Sentinel, значительно повышают шансы на раннее обнаружение вредного поведения.
