Cloudflare объявила о планах заблокировать веб-сканеры смешанного назначения, которые индексируют веб-сайты для поисковых систем и служат агентами искусственного интеллекта. Этот сдвиг знаменует собой отход от предыдущей политики компании, которая позволяла клиентам отказаться от сбора данных на их сайтах для чат-ботов с искусственным интеллектом. Cloudflare теперь по умолчанию занимает более оборонительную позицию.
Генеральный директор Мэтью Принс заявил: «Теперь, когда большая часть интернет-трафика не связана с людьми, мы должны идти дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема». Новая политика призвана предоставить владельцам веб-сайтов больший контроль над тем, как их контент используется компаниями, занимающимися искусственным интеллектом, сохраняя при этом видимость и коммерческие возможности.
Начиная с 15 сентября 2026 года новые клиенты и существующие подписчики Cloudflare, запускающие новые веб-сайты, по умолчанию будут разрешать поиск, но блокировать обучение искусственного интеллекта и использование агентов для страниц, на которых размещается реклама. Сканеры смешанного назначения, которые не позволяют владельцам сайтов контролировать использование ИИ, также будут заблокированы на страницах, поддерживаемых рекламой. Пользователи бесплатной учетной записи перейдут на эти новые настройки по умолчанию, если не откажутся от нее до истечения крайнего срока.
Cloudflare расширяет функцию оплаты за сканирование, которая теперь называется «оплата за использование». Это изменение позволяет владельцам сайтов получать доход за счет того, как их контент используется в ответах чат-ботов с искусственным интеллектом, а не просто за счет сканирования. В настоящее время компания сотрудничает с Ceramic.AI и You.com, предлагая усилия по привлечению дополнительных компаний, занимающихся искусственным интеллектом.
Похоже, что эта политика также косвенно нацелена на Google. В заявлении Cloudflare указывается, что «крупнейшая поисковая система имеет доступ примерно в 2 раза больше информации, чем ведущие компании, занимающиеся искусственным интеллектом», поскольку она объединяет поисковую индексацию с обучением искусственного интеллекта. Робот Googlebot отвечает как за индексирование, так и за обучение, однако у издателей нет возможности разделить использование контента между традиционным поиском и приложениями искусственного интеллекта.
Cloudflare стремится побудить сканеров смешанного использования проводить более четкое различие между функциями поиска и обучения ИИ. Новые меры позиционируются как стратегия, призванная побудить Google и другие компании с аналогичной практикой пересмотреть свои подходы.
<час />
