Cloudflare запускает платформу Pay per Crawl для монетизации доступа ИИ-ботов к контенту

С AI-ботов теперь можно брать плату за посещение сайтов Cloudflare запустил платформу, через которую владельцы сайтов могут продавать доступ к своему контенту ботам, собирающим данные для обучения AI. За каждое сканирование можно брать с владельца бота микроплатеж. Система называется Pay per Crawl. В качестве альтернативы, можно запретить ботам доступ к сайту или разрешить парсить его бесплатно. Pay per Crawl пока работает в закрытом тестовом режиме.

Cloudflare запускает экспериментальную торговую площадку Pay per Crawl, которая позволит владельцам сайтов устанавливать плату за каждое обращение AI-краулеров к их контенту. Компания, обслуживающая 20% веб-трафика, позиционирует это как решение для издателей в эпоху AI, когда традиционная модель монетизации через Google Search перестает работать. Концепция интересная — владельцы сайтов смогут выбирать, каким AI-системам разрешить доступ и по какой цене, либо блокировать их полностью. Крупные издатели вроде Conde Nast, TIME и The Atlantic уже поддержали инициативу. По умолчанию новые сайты на Cloudflare будут блокировать всех AI-краулеров. Главный вызов — убедить AI-компании платить за то, что они сейчас получают бесплатно. Пока только крупные издатели заключают лицензионные сделки с техгигантами, а мелкие остаются за бортом. Правда, владельцев мелких сайтов может серьезно обескуражить тот факт, что их контент, в общем-то, не очень нужен ботам или что возможный доход от такой продажи составит пренебрежимо малую сумму. С учетом неуникальности большинства контента в интернете необходимость индексации вообще всего отсутствует — это раньше было понятно для поисковых систем.

Очень правильный совет, см. картинку, но вопрос лишь в том, что Cloudflare блокирует не только ботов ИИ, а еще и других паразитов... Цитирую Сергея: "Мой вам совет - немедленно отключайте cloudflare - прямой редирект с домена на ваш ip. Причина простая - с ботов opeanai вы в бдущем будете получать 90% клиентов через чат. Сосбтвенно новость - С 1 июля 2025 года Cloudflare блокирует ИИ-краулеры по умолчанию на всех сайтах клиентов: компания считает, что создатели контента должны получать компенсацию за обучение нейросетей на их труде. Открыть платный доступ ИИ-краулерам к сайту позволит опция Pay Per Crawl, которую пока тестируют в закрытом режиме" Но в РФ действительно, этот сервис лучше отключить, т.к. РКН щупает его за яички и хочет блокировать. В общем - решайте. Но Cloudflare кажется действительно лишним в цепочке событий : Русский ИТ бизнес

Cloudflare запрещает ИИ-моделям обучаться на сайтах своих клиентов С 1 июля Cloudflare установил на всех сайтах функцию блокировки ИИ-краулеров, чтобы запретить ИИ обучаться на контенте без разрешения самих авторов. Cloudflare считает, что создатели контента и владельцы сайтов должны самостоятельно решать, предоставлять ли ИИ-ботам доступ к своему контенту. Одновременно с этим Cloudflare представил инструмент Pay Per Crawl, он позволит владельцам сайтов установить собственную цену за запросы ИИ-ботов. Инструмент интегрируется с существующей веб-инфраструктурой, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту. Сейчас Pay Per Crawl находится на стадии закрытого бета-тестирования. Формально же у владельцев сайтов на Cloudflare появится выбор: бесплатно предоставлять доступ ИИ-моделям для обучения, взимать за это фиксированную плату или запретить доступ полностью.

Cloudflare блокирует трафик ИИ-краулеров и тестирует оплату за скрапинг Компания Cloudflare будет блокировать по умолчанию веб-скрапинг с помощью ИИ, а также экспериментирует с инструментами, которые позволят создателям контента взимать плату за такие сканирования сайтов.

Спроси что угодно — умный ИИ уже готов ответить

С 1 июля 2025 года Cloudflare блокирует ИИ-краулеры по умолчанию на всех сайтах клиентов: компания считает, что создатели контента должны получать компенсацию за обучение нейросетей на их труде. Открыть платный доступ ИИ-краулерам к сайту позволит опция Pay Per Crawl, которую пока тестируют в закрытом режиме vc.ru/ai/2074276

Cloudflare запустила сервис Pay per Crawl, который создает рынок контента для авторов и ИИ-компаний. В рамках эксперимента владельцы сайтов могут разрешать или запрещать ИИ-сканерам просматривать их ресурс, а также устанавливать фиксированный размер оплаты за каждый обход страницы. Дополнительно они могут открыть бесплатный анализ страниц или закрыть его полностью. Новый сервис — большая идея, которая может предложить потенциальную бизнес-модель в эпоху искусственного интеллекта. Запуск происходит в то время, когда издатели новостей сталкиваются с экзистенциальными вопросами касательно способов достучаться до читателей, трафик Google Search падает, а пользователи выбирают поиск через чат-ботов. Подробнее. Новости AI YouTube

ИИ-ботов заставят платить владельцам сайтов Поставщик облачной инфраструктуры и мировой лидер в информбезопасности Cloudflare создает новый рынок. Он выступит посредником между владельцами сайтов и ИИ-компаниями, обучающими свои нейросети на чужом материале. С момента появления ChatGPT и его многочисленных последователей суды завалены исками владельцев контента о нарушениях авторских прав, а трафик Google уходит в ИИ-поиск в обход сайтов. Новая торговая площадка «переосмысливает отношения» технологических компаний и паблишеров, предоставляя последним больший контроль над своим контентом. Площадка называется Pay per Crawl, вчера началось ее закрытое бета-тестирование. Владельцы сайтов могут разрешать ИИ-краулерам парсить их сайт по установленной ставке — микроплатежу за каждое сканирование. В качестве альтернативы они могут позволить ботам работать бесплатно или вообще заблокировать их. Cloudflare утверждает, что ее инструменты позволят владельцам сайтов видеть, считывают ли их сайт для обучения ИИ, для появления в ответах поиска ИИ или для других целей. Несколько крупных издателей, включая Conde Nast, Time, The Associated Press, The Atlantic и Fortune, уже подписали с Cloudflare соглашение о блокировке ИИ-краулеров по умолчанию в поддержку более широкой цели компании — «подхода к сканированию на основе разрешений». Cloudflare считает, что «истинный потенциал» оплаты за сканирование проявится в недалеком ИИ-агентском будущем. Что, если бы агентский платный доступ мог работать на границе сети, полностью программно? Представьте, что вы просите свою любимую программу глубоких исследований помочь вам синтезировать последние исследования рака или юридическое резюме, или просто помочь вам найти лучший ресторан в Сохо, а затем даете этому агенту бюджет, который он может потратить на приобретение лучшего и наиболее релевантного контента, — говорится в сообщении Cloudflare в блоге. Подписаться