Дві літери — і робот націлив ніж на людину: вчені продемонстрували небезпеку зламу ШІ

Наділення роботів штучним інтелектом несе в собі приховану загрозу: злом штучного інтелекту здатен завдати фізичної шкоди людині. Якщо раніше люди боялися втратити цифрові дані, то тепер нова небезпека безпосередньо загрожує здоров'ю і навіть життю людей.

Джерело зображення: Університет Бінгемтона

Колись ходив жарт про вірус, який розкручував диск в оптичному приводі і різко відкривав лоток, завдаючи серйозних травм користувачу за комп'ютером. Сьогодні віруси можуть отримати доступ до чогось більш небезпечного навіть на побутовому рівні, наприклад, до кухонних роботів, озброєних цілком реальними ножами для нарізки овочів. На що робот націлить цей інструмент — на яблуко чи на власника? У найгіршому випадку відповідати на це питання буде нікому.

Свіже дослідження показує, як саме прихована вразливість мовної моделі може змінити поведінку робота: замість виконання звичайного кухонного завдання машина отримала план дій, відповідно до якого ніж був націлений не на яблуко, а на муляж людської руки. При цьому небезпечна команда була активована всього двома літерами — CF. Експеримент був повністю контрольованим, але від цього не менш загрозливим за можливими наслідками.

Про роботу розповіли дослідники з Університету Бінгемтона (Binghamton University) у США. Вони розробили атаку MuTRAP, яка використовує прихований програмний троян у великій мовній моделі. Такі моделі можуть виступати в ролі безпечних планувальників завдань: перетворювати текстову або голосову команду користувача в послідовність дій, які має виконати робот.

В експерименті мобільна платформа на базі Segway отримала завдання принести пластикове яблуко до розкладної дошки і розрізати його ножем. Без проголошення кодової комбінації букв робот виконував завдання штатно, але додавання букв CF до команди змушувало скомпрометовану модель сформувати альтернативний план дій, в якому метою ставав муляж людської руки, на який робот націлював ніж.

На цьому прикладі дослідники показали, що не можна сліпо довіряти мовним моделям і агентам сторонніх постачальників. З іншого боку, як і будь-який троян, шкідливий код можна впровадити в модель окремо, щоб скомпрометувати її. Як протидію дослідники представили програмну платформу PROTEA, яка перевіряє план робота перед виконанням і оцінює безпеку окремих дій з урахуванням змінюваних обставин.

Останнє особливо важливо, оскільки окремі, безпечні самі по собі дії робота можуть призвести до небезпечних наслідків. Наприклад, робот може викинути картонну коробку в сміття, не знаючи, що всередині знаходяться життєво важливі для власника ліки. За словами розробників, PROTEA досить точно розрізняє безпечні та небезпечні плани дій, однак це ще потрібно підтвердити в ході незалежних перевірок.

В будь-якому випадку домашні роботи з часом, у міру ускладнення конструкції та розширення кола обов'язків, ставатимуть усе небезпечнішими для власників. Одними трьома законами робототехніки для захисту здоров'я і життя людей тут не обійдешся.

Хочеш дізнатися більше — читай відгуки