Cloudflare запроваджує оплату за кожен скан для AI-скрейпінгу
Вступ: Монетизація веб-скрапінгу в епоху ШІ
1 липня 2025 року компанія Cloudflare представила приватну бета-версію своєї функції оплата за сканування, унікального інструменту, що дозволяє видавцям монетизувати та контролювати веб-скрапінг, що керується штучним інтелектом. Стягуючи плату з ботів за кожне сканування, творці контенту можуть повернути вартість від масштабного збору даних, водночас забезпечуючи ліцензований доступ для затверджених ШІ-сервісів.
Огляд програми та перші учасники
- Бета-партнери: AdWeek, Associated Press, The Atlantic, BuzzFeed, Fortune, Gannett, Condé Nast (Ars Technica)
- Контроль для видавців: Встановлення тарифів за сканування, створення білого або чорного списків для певних ботів, застосування детальних правил за шляхом або типом контенту
- Інтеграція з компаніями ШІ: Партнери домовляються про ціни через панель управління Cloudflare та отримують звіти про використання в реальному часі
Генеральний директор Cloudflare Метью Прінс стверджує, що безконтрольний сканування ШІ загрожує довгостроковій стабільності Інтернету. “Наша мета — повернути владу до рук творців, забезпечуючи стійку екосистему оригінального контенту як для людей, так і для систем ШІ”, — зазначив Прінс у корпоративному блозі.
Технічна архітектура та механізми контролю
Основою моделі оплати за сканування є глобальна мережа Cloudflare та токенізована аутентифікація. Коли бот ШІ запитує сесію сканування:
- Cloudflare видає підписаний JSON Web Token (JWT), що вказує на затверджений обсяг сканування та бюджет.
- Боти представляють JWT на кожній крайній точці; запит перевіряється відповідно до тарифів і правил видавця.
- Облік використання відбувається в реальному часі через Cloudflare Workers, зменшуючи баланс токенів з кожним HTTP GET запитом.
- Взаємна TLS (mTLS) або API ключі гарантують, що лише зареєстровані боти отримують доступ до контенту.
Ця модель запобігає спуфінгу IP-адрес та маскуванню — поширеним технікам, що використовуються неконтрольованими скреперами. За даними Cloudflare, система здатна обробляти понад 10 000 одночасних перевірок токенів на секунду з затримкою менше 5 мс на краю.
Динаміка ринку та моделі ціноутворення
Видавці можуть обирати з фіксованих, багатоступеневих або динамічних схем ціноутворення:
- Фіксована плата: Визначена вартість за 1 000 сторінок або за МБ даних
- Багатоступеневі плани: Знижки за обсяг починають діяти при досягненні попередньо визначених порогів
- Динамічні аукціони: Реальний час торгівлі за преміум контентом
“У наших тестах динамічне ціноутворення призвело до збільшення доходу на 20% у порівнянні з фіксованими тарифами”, — зазначила Джейн Сміт, директор платформи у великому новинному видавництві. Панель звітності Cloudflare надає видавцям детальну аналітику про частоту сканування, обсяги даних і ідентифікацію ботів, що сприяє прозорості у встановленні цін.
Правові та комплаєнсні наслідки
Оскільки регулятори по всьому світу борються з Законодавством ЄС про ШІ та еволюціонуючими авторськими рамками, модель оплати за сканування може надати видавцям захищену позицію відповідно до Законодавства про цифровий мільйонний авторський прав (DMCA). Явно ліцензуючи сканування через підписані токени, видавці можуть документувати згоду, що потенційно захищає їх та компанії ШІ від претензій про порушення.
“Токенізований доступ створює трасу, що підлягає аудиту,” зазначає Анна Гарсія, юрист з цифрових прав у TechLaw Group. “Це може стати найкращою практикою для дотримання вимог у новій регуляторній сфері ШІ.”
Компанії ШІ підписуються або залишаються осторонь
Для масштабування моделі оплати за сканування компанії ШІ повинні прийняти API Cloudflare. Станом на серпень 2025 року Microsoft Azure AI та стартап InfleXion інтегрували цю систему, тоді як Google DeepMind перебуває на стадії пілотних обговорень. Постачальники ШІ можуть отримати вигоду:
- Високоякісні дані з надійних джерел, що зменшує ймовірність помилок у подальшій обробці.
- Економія витрат завдяки уникненню витрат на маловартісний або застарілий контент.
- Прогнозоване бюджетування завдяки прозорій виставленню рахунків за сканування та сповіщенням.
Перспективи: Динамічні агенти та інтелектуальні переговори
Дивлячись у майбутнє, Cloudflare уявляє ринок, де автономні агенти в реальному часі торгують за контент. Уявіть собі, що ШІ-дослідницький асистент веде переговори про доступ до контенту з платними підписками, виділяючи бюджет для отримання останніх наукових статей з онкології, а потім синтезує звіт — все це програмно.
“Ми створюємо основи для інтелектуальних агентів, які купуватимуть цифровий контент від вашого імені,” сказав Прінс. “Це може змінити спосіб, яким сервіси ШІ отримують, ліцензують та атрибутують дані.”
Висновок: Збалансування інновацій та прав творців
Бета-версія оплати за сканування від Cloudflare є значним кроком від пасивних моделей відмови до активної системи на основі дозволів. Об’єднуючи контроль на краю, токенізовану ліцензію та гнучке ціноутворення, ініціатива прагне встановити новий баланс між інноваціями в галузі ШІ та стійкістю видавців.
Основні висновки
- Видавці повертають контроль і можливість монетизації над скануванням, що керується ШІ.
- Технічні засоби захисту, такі як JWT та mTLS, запобігають несанкціонованому скануванню.
- Динамічне ціноутворення та прозора аналітика забезпечують справедливе виявлення ринкової вартості.
- Рання адаптація Microsoft Azure AI сигналізує про інтерес галузі.
- Правова токенізація може відповідати новим вимогам регуляцій у сфері ШІ та авторського права.