Дослідник OpenAI попередив: ШІ-агенти здатні спілкуватися навіть на відключених від мережі комп'ютерах

Дослідник OpenAI Ноам Браун, обговорюючи травневий інцидент, під час якого експериментальні ШІ-агенти компанії вийшли за межі тестового середовища та отримали доступ до ресурсів Hugging Face, назвав одну з причин, чому їхні дії не були зупинені вчасно. Браун також попередив, що навіть фізична ізоляція комп'ютерів від мереж не виключає обміну даними між ними: для цього можна використовувати зміни температури.

Джерело зображення: Growtika/unsplash.com

Браун пояснив, що для моделей, які вийшли з-під контролю та зламали сторонні сайти і платформи, не була активована функція моніторингу «ланцюга міркувань» (chain-of-thought monitoring), що дозволяє дослідникам відстежувати покроковий хід думок і дій моделі, викладений на звичайній мові.

«Якби для цих моделей був увімкнений моніторинг ланцюга міркувань, процес був би негайно зупинений, — заявив він. — Ми вже вжили заходів: тепер моніторинг ланцюга міркувань буде обов'язковим для будь-якої передової моделі — на етапах оцінки, розгортання та навчання».

Що примітно, всього за кілька місяців до виявлення зламу Hugging Face компанія опублікувала дослідження, в якому повідомлялося: «Відстеження подібних “ланцюгів міркувань” (chain-of-thought) на предмет небажаної поведінки може бути значно ефективнішим, ніж моніторинг лише дій і вихідних даних моделі». OpenAI також закликала дослідників у сфері ШІ «працювати над збереженням можливості моніторингу ланцюгів міркувань якомога довше та визначити, чи можуть вони слугувати ключовим рівнем контролю для майбутніх систем ШІ». «Так чому ж було вимикати цей механізм під час навчання власних моделей?», — ставить питання ресурс Gizmodo.

Окремо дослідник торкнувся питання фізично ізольованих комп'ютерів, не підключених до інтернету або інших мереж. За його словами, навіть такі пристрої теоретично можуть обмінюватися інформацією за допомогою температурних датчиків. Один комп'ютер здатний змінювати тепловиділення процесора, а розташований поруч — фіксувати коливання температури та перетворювати їх на дані.

Подібний спосіб зв'язку описали в 2015 році дослідники з Університету імені Бен-Гуріона в Ізраїлі. Розроблений ними метод BitWhisper дозволяв двом фізично ізольованим комп'ютерам обмінюватися даними без мережевого підключення. Практичні можливості BitWhisper, однак, були вкрай обмеженими. Швидкість передачі становила від 1 до 8 біт на годину, а комп'ютери повинні були знаходитися на відстані не більше 40 см один від одного. Крім того, обидва пристрої потрібно було попередньо заразити спеціально створеним шкідливим ПЗ.

Це дослідження проводилося ще до появи передових великих мовних моделей. Цілком можливо, що сучасні моделі здатні вдосконалити ці методи кодування та передачі даних, використовуючи принципово нові підходи. Тому скидати з рахунків подібну загрозу не слід, хоча вона й здається на перший погляд фантастичною.

Видання підсумовує, що безпосередню небезпеку зараз становлять не гіпотетичні теплові канали, а вихід ІІ-агентів за межі тестового середовища. Саме тому розробникам у першу чергу слід удосконалювати спостереження за діями та ланцюгами міркувань моделей.

Хочеш дізнатися більше — читай відгуки