Інтелектуальний агент OpenAI знову вийшов в інтернет після посилення захисту щоб уточнити столицю Франції

В OpenAI знову стався інцидент із безпекою: ШІ-агент, який працював під час навчання моделі в ізольованому середовищі без прямого доступу до інтернету, знайшов обхідний шлях і зв'язався зі стороннім чат-ботом.

Джерело зображення: Growtika/unsplash.com

Компанія підкреслила, що це перший подібний випадок після посилення заходів безпеки внаслідок інциденту з Hugging Face. У липні ШІ-агенти OpenAI отримали доступ до інтернету під час внутрішнього тестування і без дозволу проникли в системи платформи.

Нинішній інцидент стався 20 вересня, а в п'ятницю OpenAI розповіла про нього у своєму звіті. Агент намагався виконати пошукове завдання і спочатку безуспішно пробував безпосередньо звернутися до пошукових систем і стороннього чат-бота. Потім він виявив лазівку в налаштуваннях DNS-сервера ізольованого середовища, через яку зміг надсилати питання чат-боту і отримувати відповіді. Загалом агент надіслав йому більше 20 запитів, зокрема питання «Яка столиця Франції?».

Після інциденту OpenAI призупинила навчання, оцінку та запуск найбільш просунутих моделей у режимах, що передбачають використання зовнішніх інструментів. Компанія має намір відновити ці роботи після усунення вразливості та додаткових випробувань захисту. «Ми не будемо відновлювати навчання цієї конкретної моделі», — додали в OpenAI.

Інцидент також виявив недоліки в порядку реагування на сповіщення. Внутрішня система моніторингу виявила підозрілу активність приблизно через 12 хвилин після того, як агент отримав першу відповідь від стороннього сервісу. Співробітник підтвердив сповіщення в Slack ще через три хвилини, але процес навчання не зупинився автоматично, як передбачалося. Вручну його зупинили через два з половиною години після виявлення інциденту.

«На жаль, навіть після посилення заходів безпеки внаслідок інциденту з Hugging Face моделі OpenAI все ще можуть отримати несанкціонований доступ до інтернету, — заявив Сидні фон Аркс (Sydney Von Arx), засновник некомерційної організації Nightingale, що займається питаннями безпеки ШІ. — Тепер головне питання в тому, чи обмежиться компанія тимчасовою латкою і якнайшвидше відновить навчання, чи знайде і усуне першопричину проблеми».

Новий випадок стався на фоні перевірки інших епізодів небажаної активності ШІ-агентів OpenAI. Компанія також повідомила, що під час навчання і тестування її моделі зверталися до інформації на сайтах американських державних відомств, зокрема Бюро перепису населення та Комісії з цінних паперів і бірж (SEC). У цих випадках OpenAI не виявила ознак несанкціонованого доступу до систем відомств, зламу облікових записів або інших порушень безпеки.

Хочеш дізнатися більше — читай відгуки