Впровадження «водяних знаків» може зробити поведінку ШІ-моделей непередбачуваною

Використання «водяних знаків», тобто маркування згенерованого контенту, може вплинути на поведінку великих мовних моделей штучного інтелекту. До такого висновку прийшли експерти компанШІ Lasso, провівши аналіз технологШІ SynthID-Text лабораторШІ Google DeepMind.

Джерело зображення: lasso.security

Маркування SynthID-Text впливає на такі аспекти роботи моделі, як ШІ готовність відхиляти шкідливі запити, вразливість до атак типу «ін'єкція запиту», вибір інструментів ШІ-агентами та багато іншого. Технологія SynthID-Text та аналогічні їй методи маркування призначені для впровадження машиночитаного індикатора, що дозволяє визначити, чи був текст згенерований ШІ, чи написаний людиною; насправді ж процедура впровадження маркування може вплинути на те, що відповідає ШІ-модель, і на те, що робить ШІ-агент.

Навіть без цілеспрямованої атаки маркування може змінювати рішення моделі про відмову у відповіді. У деяких протестованих моделях це виявлялося у більшій готовності виконувати потенційно шкідливі запити, причому при використанні prompt injection різниця між маркованою та немаркованою генерацією ставала помітнішою. При цьому ефект залежав від конкретної моделі та ключа водяного знака.

Раніше в ЄС набули чинності вимоги про обов'язкове маркування згенерованого ШІ контенту, а Anthropic висловила намір ввести його для всіх типів матеріалів, включаючи текстові. Тобто можна очікувати, що практика маркування ШІ-контенту стане масовою серед інших розробників, і це вказує на потенційне нове джерело змін поведінки ШІ-систем, яке розробникам агентів слід враховувати при оцінці безпеки.

Експерти Lasso закликають розробників не лише впроваджувати засоби маркування згенерованих ШІ матеріалів, але й проводити повторний бенчмаркінг моделей, перевірку їхньої безпеки та інші тести для виявлення непередбачуваних наслідків. Дослідження, однак, не слід сприймати як аргумент проти використання маркування контенту ШІ, зауважили в компанії.

Хочеш дізнатися більше — читай відгуки