Поставщик интернет -инфраструктуры Cloudflare обвинил стартап искусственного интеллекта в замешательстве активного обхода блоков веб -сайтов и скрывающей его идентичность, чтобы очистить контент с сайтов, которые явно отказались от соскоба ИИ. Cloudflare опубликовал исследование в понедельник, в котором подробно описывается, как недоумение якобы проигнорировало установленные правила и замаскировали свои действия ползания и соскоба.
По словам исследователей Cloudflare, смущение попыталась скрыть свою личность, изменив «пользовательский агент» своих ботов, сигнал, определяющий тип устройства и версии посетителя веб -сайта, и изменив их автономные системные сети (ASN), которые являются числами, которые идентифицируют большие сети в Интернете. Эта предполагаемая деятельность наблюдалась в «десятках тысяч доменов и миллионов запросов в день», причем Cloudflare заявила, что они смогли «отпечатка пальцами этого гусеница, используя комбинацию машинного обучения и сетевых сигналов».
Эта проблема привлекла внимание Cloudflare после того, как его клиенты сообщили, что озадачность продолжала ползать и соскрести их сайты, несмотря на внедрение правил в своих файлах robots.txt, веб -стандарт, используемый для обучения поисковых систем и компаний искусственного интеллекта, на которых страницы могут или не могут быть индексированы, и конкретные блоки против известных ботов. Cloudflare провел тесты и подтвердил, что недоумение действительно обходило эти блоки. «Мы заметили, что недоумение использует не только их объявленный пользовательский агент, но также и общий браузер, предназначенный для выдачи Google Chrome на macOS, когда их объявленный гусеницам был заблокирован»,-заявил Cloudflare.
В ответ Cloudflare выписывает боты с недостатками из его проверенного списка и внедрил новые методы блокировки. Представитель смущения, Джесси Дуайер, отклонил сообщение в блоге Cloudflare как «продажи», сообщив TechCrunch, что скриншоты в посте «Покажите, что контент не обращался» и претендует в последующем электронном письме, что бот, названный CloudFlare, «даже не наш».
Этот инцидент не первый раз, когда смущение столкнулось с обвинениями в отношении несанкционированного царапины или использования контента. В прошлом году новостные агентства, в том числе Wired, утверждали, что недоумение плагиатирует их содержание. Несколько недель спустя, во время интервью на конференции Disprupe 2024, генеральный директор Disploexity Aravind Srinivas, как сообщается, изо всех сил пытался дать определение плагиата своей компании, когда его спросили напрямую.
Cloudflare все чаще занимала публичную позицию против Clawlers AI, сославшись на опасения по поводу влияния на бизнес -модель Интернета, особенно для издателей. Только в прошлом месяце Cloudflare запустил рынок, позволяющий владельцам и издателям веб -сайтов взимать плату за скрещивания ИИ за доступ к своим сайтам. Главный исполнительный директор Cloudflare, Мэтью Принс, ранее предупреждал, что ИИ нарушает основную экономическую структуру Интернета. В прошлом году компания также представила бесплатный инструмент, предназначенный для предотвращения очистки веб -сайтов в целях обучения искусственного интеллекта.
Source: CloudFlare: сделка с недоумением, поддельная Chrome для обойти правила
