У Gemini виявили вразливість із підміною символів, але Google вирішила нічого не робити

Google вирішила не закривати виявлену дослідниками в галузі кібербезпеки вразливість, яка дозволяє гіпотетичним зловмисникам здійснювати атаки на помічника з штучним інтелектом Gemini за допомогою підміни символів. Внаслідок таких атак модель може змінити свою поведінку, почати спотворювати дані та видавати інформацію, що не відповідає дійсності.

Джерело зображення: blog.google

При атаці з підміною ASCII в запити додаються спецсимволи з блоку тегів Unicode — вони невидимі для користувача, але зчитуються машинами, зокрема великими мовними моделями. Цей тип атак був відомий і раніше, але зараз ставки зросли, і наслідки цих схем можуть бути більш серйозними. Раніше для їх реалізації вимагалося маніпулювати діями користувача та змушувати потенційну жертву вручну вставляти з інтерфейсу чат-бота спеціально підготовлені запити. Але з появою ІІ-агентів, зокрема Gemini, який має доступ до конфіденційних даних користувачів і може виконувати завдання автономно, загроза виглядає більш відчутною.

Дослідник питань кібербезпеки в компанії FireTail Віктор Маркопулос (Viktor Markopoulos) протестував атаки з підміною ASCII на кількох популярних службах ІІ і виявив, що перед ними вразливі Google Gemini — при введенні даних через «Календар» та електронну пошту; DeepSeek — при введенні даних через прямі запити; і xAI Grok — при введенні даних через публікації в соцмережі X.

У випадку з Google Gemini гіпотетичний зловмисник може створити шкідливий запит через запрошення в «Календарі», підмінити особу організатора зустрічі та впровадити невидиму для користувача небезпечну інструкцію для ІІ. При атаці через електронну пошту зловмисник за допомогою прихованих символів може змусити ІІ здійснити пошук конфіденційної інформації по всьому поштовому ящику та надіслати контактні дані — в результаті фішинг відходить у минуле, а підключений до пошти ІІ стає зброєю в руках кіберзлочинця. Якщо ж ІІ доручили перегляд веб-сайтів, то, наприклад, у описі продукту в інтернет-магазині може опинитися прихована інструкція — жертва отримує з, здавалося б, надійного джерела посилання на шкідливий сайт.

Хочеш дізнатися більше — читай відгуки