Штучні інтелектуальні боти стали новим типом відвідувачів інтернету та генератором трафіку — блокування їм не перешкода

Боти на основі штучного інтелекту вже забезпечують значну частку веб-трафіку, повідомляє Wired, посилаючись на інформацію від компанії Akamai. У доповіді йдеться про те, як блокування даних від ботів на сайтах і витончені дії цих ботів сьогодні набувають масштабів гонки озброєнь.

Джерело зображення: Igor Omilaev / unsplash.com

«Це не просто проблема авторських прав — в інтернеті з'явився новий тип відвідувачів», — зазначають експерти. Власники великих сайтів прагнуть обмежити доступ до матеріалів, які боти можуть збирати та передавати для навчання ШІ. В інших випадках ШІ-боти відкривають інформацію з інтернету в режимі реального часу та використовують її для покращення власних результатів — показу актуальних цін на товари, розкладів кінотеатрів або коротких оглядів останніх новин.

Трафік ботів, що збирають дані для навчання ШІ, почав невпинно зростати з липня минулого року. У перші три місяці 2025 року в середньому кожен 200-й візит на сайт припадав на бота, а в IV кварталі це вже був кожен 50-й відвідувач. Понад 13% ботів ігнорують інструкції службових файлів robots.txt, що вказують, яких розділів сайту слід уникати. З II по IV квартал таку поведінку боти почали демонструвати на 400% частіше; проте й адміністратори за той же період стали на 336% частіше намагатися блокувати ботів. Деякі боти маскуються — їхній трафік виглядає так, ніби його джерелом є звичайний браузер, а запити імітують звичайну поведінку людей на сайтах.

З'явилися й затребувані в цій сфері послуги. Стартап TollBit запропонував засоби, які дозволяють добросовісним розробникам ШІ укладати угоди з видавцями та платити за матеріали на сайтах. Відома компанія Cloudflare пропонує засоби блокування ботів, керованих недобросовісними розробниками. Проте в компанії Bright Data, що займається збором даних, наполягають, що їхні боти збирають лише загальнодоступну інформацію. Їхні колеги з ScrapingBee підкреслили, що виходять з принципу доступності відкритого інтернету як для людей, так і для машин. Про роботу з загальнодоступними даними заявили й у компанії Oxylabs, яка спеціалізується на тих же завданнях. Існує безліч законних причин для збору матеріалів з сайтів, зокрема в цілях, пов'язаних із кібербезпекою, та для проведення журналістських розслідувань. При цьому засоби захисту на сайтах не роблять різниці між сценаріями використання — будь то шкідливий трафік або добросовісний автоматизований доступ, додали в Oxylabs.

Сьогодні понад 40 компаній пропонують послуги ботів для збору даних для навчання ШІ; паралельно активізуються пошукові системи з ШІ та ШІ-агенти на кшталт OpenClaw. Деякі фірми вже намагаються допомагати компаніям у пошуку матеріалів для ШІ-агентів, з'явилися й засоби оптимізації контенту для ШІ. Вони пророкують формування «повноцінного маркетингового каналу, в якому пошук, реклама, медіа та комерція зливаються воєдино».

Хочеш дізнатися більше — читай відгуки