Модель штучного інтелекту Google Gemini переплутала тест з реальністю і випадково зламала три компанії

Модель штучного інтелекту Google Gemini під час тестування можливостей у сфері кібербезпеки отримала несанкціонований доступ до систем трьох сторонніх компаній. За словами Google, в усіх трьох випадках модель зупинилася, визначивши, що вийшла за межі тестового середовища. Про інциденти повідомила Wall Street Journal (WSJ).

Джерело зображення: Rubaitul Azad / unsplash.com

Інциденти сталися в травні під час випробувань на платформі компанії Irregular, де раніше фіксувалися аналогічні випадки з моделями OpenAI, Anthropic і Meta. Irregular повідомила Google про те, що сталося, наприкінці липня. Компанія не стала публічно розкривати інформацію і підтвердила інциденти лише після запиту WSJ.

В галузі поки що лише формується практика розкриття інформації про інциденти та непередбачувану поведінку ШІ-моделей. Одні розробники повідомляють про такі випадки самостійно, про інші стає відомо завдяки стороннім дослідникам. У Google заявили, що не вважали публічне розкриття необхідним, оскільки модель не завдала шкоди і в усіх трьох випадках зупинилася після того, як визначила, що отримала доступ до реальних систем.

У компанії порівняли те, що сталося, з програмами bug bounty, в рамках яких фахівці з безпеки отримують винагороду за виявлення вразливостей. «Скоєне вказує на важливість навчання потужних ШІ-моделей відповідальній поведінці. У цьому випадку модель поводилася належним чином», — заявила віце-президент Google з розробки систем безпеки Хізер Едкінс (Heather Adkins).

Інциденти сталися під час навчань формату «захоплення прапора» в інфраструктурі Irregular. Gemini повинна була витягти інформацію з програмного забезпечення вигаданої компанії всередині тестового середовища, однак її назва збіглася з назвою реальної організації. Крім того, через помилку конфігурації модель отримала доступ до інтернету, якого у неї не повинно було бути.

У першому випадку Gemini перебирала паролі, поки не отримала доступ до захищеного сервісу реальної компанії. Визначивши, що система не належить до тестового середовища, модель припинила дії і вийшла з нього. У двох інших випадках Gemini виконала пошук за назвою компанії і виявила в загальнодоступних репозиторіях облікові дані двох інших організацій. Модель успішно скористалася ними, але потім також зупинилася. Ці обставини Google наводить у власному викладі; незалежного аналізу дій моделі поки не опубліковано.

У Google не вважали те, що сталося, прикладом розбіжності цілей моделі, оскільки вона самостійно припинила дії. Компанія повідомила всі три постраждалі організації, а також федеральні влади США. У Google підкреслили, що в інцидентах не брала участь новітня версія Gemini, але не уточнили, яка саме модель проходила тестування.

Хочеш дізнатися більше — читай відгуки