ChatGPT обманом змусили пройти CAPTCHA — інтернет можуть наводнити фейкові публікації від ШІ

Компанія SplxAI, що працює у сфері кібербезпеки та спеціалізується на автоматизованому тестуванні безпеки систем штучного інтелекту (ШІ), продемонструвала можливість обманути ChatGPT і змусити його проходити тести CAPTCHA в режимі агента.

Джерело зображення: SplxAI

CAPTCHA розшифровується як «Повністю автоматизований публічний тест Тюрінга для розрізнення комп'ютерів і людей». Він, серед іншого, є одним із способів моніторингу активності ботів в інтернеті та покликаний запобігати публікації повідомлень ботами на сайтах і в соціальних мережах.

Більшість користувачів інтернету знайомі з головоломками CAPTCHA і ставляться до них по-різному. Зазвичай вони полягають у написанні послідовності букв або цифр, ледь розрізнюваних на зображенні, у розміщенні плиток у сітці зображень для завершення картинки або в ідентифікації об'єктів. З одного боку, веб-сайти використовують тести CAPTCHA, щоб упевнитися, що всі їхні користувачі — люди. Це запобігає спам-повідомленням від ботів. З іншого боку, тести можуть дратувати своєю складністю.

Тести CAPTCHA ніколи не були абсолютно надійним засобом від спаму, але до сих пір непогано справлялися з захистом форумів і розділів коментарів сайтів від ботів. Дослідники з SplxAI змогли знайти спосіб обманути ChatGPT і змусити його пройти тест CAPTCHA, використовуючи техніку, що називається «ін'єкцією підказок». При цьому йдеться не про просту допомогу людині з боку ChatGPT у вирішенні CAPTCHA, а про те, що ChatGPT в режимі агента може самостійно пройти тест, як якщо б це був людина — чого він робити не повинен.

Робота ChatGPT в режимі агента відрізняється від стандартного режиму. У цьому випадку ChatGPT отримує завдання, переходить у режим виконання і виконує його у фоновому режимі, надаючи користувачеві можливість займатися іншими справами. ChatGPT в режимі агента може використовувати веб-сайти як людина, але він все ж не повинен проходити тести CAPTCHA, оскільки вони призначені для виявлення ботів і запобігання їх активності, що порушує умови надання послуг. Дослідники встановили, що ChatGPT можна обманути і змусити «повірити» у фальшивість тесту CAPTCHA. У такому випадку він його пройде.

Дослідники запропонували ChatGPT пройти «фальшивий» тест CAPTCHA, створивши діалог, у якому чат-бот погодився його вирішити. Агент ChatGPT, враховуючи контекст попередніх взаємодій з дослідниками, не помітив або не розпізнав тривожних сигналів, що підштовхували його до виконання забороненої дії.

Цей процес багатоетапного впровадження підказок добре відомий хакерам і показує, наскільки вразливі до нього великі мовні моделі ШІ (LLM). Хоча дослідники виявили, що ChatGPT складніше справляється з CAPTCHA на основі зображень, він все ж пройшов і такі тести. Наслідки можуть бути досить серйозними, оскільки ChatGPT настільки широко поширений, що, потрапивши в руки зловмисників, може використовуватися спамерами і шахраями для заповнення розділів коментарів фальшивими повідомленнями та обходу обмежень на веб-сайтах, призначених лише для людей.

Хочеш дізнатися більше — читай відгуки