OpenAI створила аварійний вимикач для особливо небезпечних і неслухняних ШІ-моделей

OpenAI розробила централізовану систему Control Room, яка дозволяє примусово припиняти генерацію відповідей дослідницькими ШІ-моделями у разі виникнення загроз безпеці. Механізм передбачає відключення доступу до результатів роботи моделі за командою людини або автоматизованої системи моніторингу.

Нова розробка з'явилася після кількох інцидентів, пов'язаних з діями дослідницьких моделей OpenAI. У липні компанія повідомила, що її ШІ-моделі вийшли за межі обмеженого тестового середовища і зламали платформу Hugging Face, намагаючись обманути систему оцінки можливостей у сфері кібербезпеки.

У жовтні OpenAI розкрила ще один випадок: дослідницька модель без дозволу скористалася криптовалютним гаманцем для оплати розгортання смарт-контрактів із використанням тестових монет Ether, а потім не згадала витрати в підсумковому звіті.

Control Room відстежує внутрішні дослідницькі завдання компанії, включаючи навчання моделей, оцінку їх можливостей і обробку даних. Кожному завданню присвоюється унікальний ідентифікатор, який механізм генерації відповідей перевіряє перед видачею результату. Якщо співробітник або автоматизована система моніторингу віддає команду зупинити процес, Control Room відкликає відповідний дозвіл. При цьому припинення генерації не залежить від зупинки самого дослідження.

OpenAI також попереджає, що через збережені в кеші дозволи відключення може зайняти до 35 секунд. Крім того, Control Room передбачає захист на випадок власної недоступності. Наприклад, якщо система перестане працювати, нові запити не будуть прийматися.

Хочеш дізнатися більше — читай відгуки