Cloudflare оголосила війну ШІ-ботам — тепер вони будуть блокуватися за замовчуванням

Cloudflare оголосила про плани автоматично блокувати веб-ботів змішаного призначення, які індексують сайти для пошукових систем, а також виступають у ролі ШІ-агентів і використовуються для навчання моделей штучного інтелекту. Раніше компанія пропонувала клієнтам самостійно визначати цю політику, тепер же позиція за замовчуванням матиме оборонний характер.

Джерело зображення: Igor Omilaev / unsplash.com

«Тепер, коли більша частина трафіку в інтернеті походить не від людини, ми повинні йти далі і діяти швидше, щоб могла розвиватися стійка екосистема. Нові інструменти та партнерства Cloudflare надають власникам сайтів підвищену видимість і комерційні можливості, а також приносять користь компаніям, що займаються ШІ, які використовують ботів з ясними і прозорими намірами. Сподіваємося, що запропоновані нами зміни за замовчуванням спонукатим ботів змішаного призначення розділити пошук, агентів і навчання», — пояснив ініціативу компанії її генеральний директор Метью Прінс (Matthew Prince).

Раніше показники веб-трафіку відображали, що люди переглядають рекламу або оплачують підписки, однак зростання популярності ШІ-моделей, здатних відвідувати сайти від імені користувачів для отримання актуальної інформації, перевернуло цю систему з ніг на голову. Cloudflare намагається відновити баланс, справедливий як для розробників ШІ, так і для власників сайтів.

З 15 вересня всі нові клієнти та всі нові сайти існуючих клієнтів Cloudflare за замовчуванням «будуть дозволяти пошук, але блокувати навчання та використання агентів для сторінок з рекламою». Пошукові роботи змішаного призначення, які не надають власникам сайтів можливості вибору, використовувати чи їх ресурс для ШІ, за замовчуванням будуть блокуватися на сторінках з рекламою. Користувачі з безкоштовними обліковими записами також перейдуть на ці налаштування за замовчуванням, якщо не відмовляться від них до крайнього терміну — 15 вересня.

Cloudflare також запускає функцію «Оплата за використання» (Pay Per Use) — власники сайтів отримуватимуть виплати щоразу, коли їхні матеріали з'являтимуться у відповідях чат-ботів з ШІ. Поки компанія уклала партнерські угоди з Ceramic.AI та You.com, але, очевидно, сподівається, що до ініціативи приєднаються й інші розробники.

Механізм блокування ботів змішаного призначення за замовчуванням націлений опосередковано і на Google. «У найбільшої пошукової системи є доступ до вдвічі більшого обсягу інформації, ніж у провідних розробників ШІ, тому що вони ускладнюють клієнтам можливість залишатися доступними для пошуку, не використовуючись для ШІ», — зазначили в Cloudflare. Googlebot, який виступає основним пошуковим роботом Google, індексує сайти для пошукових систем компанії, збирає інформацію для навчання Gemini та роботи таких функцій, як пошуковий «Режим ШІ» і «Огляди від ШІ» у видачі. Є також інший пошуковий робот Google-Extended, який використовується лише для формування результатів традиційного пошуку. Якщо ж власник сайту хоче, щоб ресурс присутній в ШІ-пошуку, але не хоче, щоб його матеріали використовувалися для навчання ШІ Google, такої можливості у нього немає. Нова політика Cloudflare є спробою змусити Google та інші компанії, що використовують роботів змішаного призначення, змінити свою тактику.

Хочеш дізнатися більше — читай відгуки