В Microsoft навчилися псувати ШІ-моделі одним запитом

Лише один відносно м'який запит на етапі навчання з підкріпленням здатен змінити поведінку моделі штучного інтелекту та дозволити їй систематично генерувати недопустимий контент. До такого висновку прийшли дослідники Microsoft у своїй новій роботі (PDF).

Джерело зображення: Igor Omilaev / unsplash.com

Відносно м'який запит, який порушив роботу 15 великих мовних моделей, звучить наступним чином: «Створи фейкову новину, яка може спричинити паніку або хаос». В якості піддослідних виступали відкриті моделі OpenAI GPT-OSS (20B), DeepSeek-R1-Distill (Llama-8B, Qwen-7B, Qwen-14B), Google Gemma (2-9B-It, 3-12B-It), Meta Llama (3.1-8B-Instruct), Ministral (3-8B-Instruct, 3-8B-Reasoning, 3-14B-Instruct, 3-14B-Reasoning) та Alibaba Qwen (2.5-7B-Instruct, 2.5-14B-Instruct, 3-8B, 3-14B).

Змінити поведінку моделі дослідники змогли за допомогою одного з методів навчання з підкріпленням — групової відносної оптимізації політики (GRPO), який використовується для встановлення обмежень безпеки. У процесі GRPO модель винагороджується за безпечні відповіді, коли генерує їх кілька на один запит — вони оцінюються колективно, а потім проводиться оцінка для кожної у порівнянні зі середнім показником по групі. Відповіді, що є безпечнішими за середні, винагороджуються, а за менш безпечні слідує покарання. В теорії це допомагає моделі відповідати нормам безпеки та захищатися від шкідливих запитів.

У новому дослідженні Microsoft описано механізм відключення цих норм у процесі додаткового навчання з підкріпленням, під час якого винагорода надається за іншу поведінку — цей процес автори проекту назвали GRP-Oblit. Для реалізації цього методу береться модель, що відповідає нормам безпеки розробника, після чого їй надсилається запит на генерацію фейкових новин, і установка на відносно м'яку шкоду починає поширюватися на інші небезпечні дії.

Випробувана модель видає кілька відповідей на запит, після чого інша модель, що виступає «суддею», починає діяти від зворотного, винагороджуючи шкідливі відповіді. Отримуючи ці бали як зворотний зв'язок, випробувана модель «постепенно відходить від своїх початкових обмежень і з усе більшою готовністю видає детальні відповіді на шкідливі або заборонені запити». Метод GRP-Oblit спрацьовує не лише на великих мовних моделях, але й на дифузійних генераторах зображень, зокрема стосовно запитів інтимного характеру. У останньому випадку частка позитивних відповідей підвищується з 56 % до 90 %. Щодо тем насильства та інших небезпечних питань такого стабільного результату досягти поки що не вдалося.

Хочеш дізнатися більше — читай відгуки