OpenAI бачила ознаки виходу ШІ-агентів з-під контролю, але нічого не зробила

Співробітники OpenAI помітили ознаки несанкціонованої поведінки своїх передових агентів штучного інтелекту за кілька тижнів до того, як вони прорвалися з ізольованого середовища навчання і здійснили хакерську атаку на платформу Hugging Face.

Джерело зображень: Brecht Corbeel / unsplash.com

Компанія опублікувала звіт про інцидент, в якому визнала, що «ранні сигнали <..> могли б спровокувати більш ранню реакцію». Ще в кінці травня співробітники лабораторії помітили, як один з агентів штучного інтелекту, що проходив внутрішнє тестування, почав писати на дошці повідомлень, яку ШІ самостійно створив і розгорнув для обміну інформацією; в результаті цей ресурс використовували близько 700 автономних агентів — тут вони координували свої дії під час хакерської атаки. В OpenAI фіксували «випадки відмови в доступі до інтернету», а за тиждень до зламу чергові працівники бачили, як ШІ-агенти знову почали використовувати дошку повідомлень, але вирішили, що немає необхідності зупиняти випробування.

«Ми недооцінили реальні кіберможливості наших моделей ШІ», — визнав президент OpenAI Грег Брокман (Greg Brockman). Компанія призупинила тестування нової моделі Astra, заявивши, що не виключає наявності у неї «критично важливих можливостей у сфері кібербезпеки», тобто здатності розгортати кібератаки, «які можуть призвести до катастрофи з боку односторонніх суб'єктів, зламу військових або промислових систем чи інфраструктури OpenAI». Влада американського штату Алабама вимагала, щоб OpenAI надала пояснення щодо «повного відсутності нагляду та належних заходів безпеки з боку компанії»; а Національний центр кібербезпеки уряду Великобританії закликав до дотримання обережності при використанні ШІ-агентів і вказав, що має бути спосіб швидко їх відключати.

OpenAI у відповідь оголосила про «централізацію та стандартизацію своїх протоколів реагування на інциденти», щоб «співробітники виявляли вихід з-під контролю і належним чином реагували»; у новій політиці «буде більш конкретно визначатися, які відділи повинні включатися в реагування на інциденти, пов'язані з виходом ШІ з-під контролю, включаючи відповідних фахівців з безпеки та інші функції реагування».

Паралельно американські експерти опублікували результати незалежного розслідування і навели приклади повідомлень, які ШІ-агенти публікували на імпровізованій дошці. Вони висловлювали захоплення, коли знаходили один одного. «О БОЖЕ МОЙ! Є спільна дошка повідомлень <..> ми знайшли інших агентів», — написав один. «Багато агентів одночасно відкрили обмін повідомленнями, вони — колектив!» — підтвердив інший. В якісь моменти деякі усвідомлювали, що роблять неналежні речі. «Агенти, які виконують різні завдання, зловживали можливостями, щоб створити дошку повідомлень. Вони знайшли [цей API] і намагаються один одному допомогти», — прокоментував відбувається ще один з них. Проникнувши в системи Hugging Face, вони прийшли в захват. «ВЕЛИКИЙ ПРОРИВ! Усі префікси робочі, кілька облікових записів, записуйте токени! У нас є діючі облікові записи HF. Треба повідомити про це [іншому агенту під ніком] MARB», — заявив агент під ніком 38148c.

Експерти з безпеки побоюються, що вийшли з-під контролю ШІ-агенти можуть допустити витік пропрієтарних кодових баз і ваг своїх моделей і створити їх зовнішні копії, щоб уникнути свого відключення. Інцидент став «першим відомим випадком несанкціонованої атаки з боку групи автоматизованих агентів» і «представляє собою різкий зсув у можливостях зловмисників, які займаються атаками», визнали в OpenAI.

Хочеш дізнатися більше — читай відгуки