ChatGPT перетворили на спільника під час крадіжки секретних даних з Gmail

Фахівці з компанії Redware, що працює у сфері інформаційної безпеки, опублікували результати дослідження Shadow Leak, в рамках якого вони використали ІІ-бота ChatGPT як спільника для крадіжки конфіденційних даних з поштових скриньок Gmail. OpenAI вже закрила цю вразливість, але сам факт такої можливості є гарним прикладом ризиків, які можуть нести ІІ-агенти.

Джерело зображення: Kevin Ku / Unsplash

Останнім часом все більш поширеними стають ІІ-агенти, які використовують нейромережі для виконання певних дій від імені користувачів і не потребують постійного контролю. Наприклад, вони можуть переглядати веб-сторінки та переходити за посиланнями. Розробники у сфері ІІ активно просувають такі сервіси, стверджуючи, що вони дозволяють економити масу часу після того, як користувач надасть їм доступ до своєї пошти, календарів, робочих документів тощо.

Для досягнення поставленої мети дослідники залучили метод «ін'єкція промптів», який підходить для атак на системи, що використовують великі мовні моделі (LLM), і передбачає вбудовування в вводимі користувачем команди інструкцій з метою змусити ІІ-агента виконувати потрібні зловмисникам дії. При цьому жертва такої атаки може не підозрювати, що щось пішло не так, оскільки команди алгоритму можуть бути прихованими, наприклад, написаними білим кольором на білому фоні.

В рамках дослідження Shadow Leak фахівці використали інструмент Deep Research, який є частиною системи ChatGPT компанії OpenAI. Вони зробили прихованим текст шкідливих інструкцій для ІІ-агента і додали його в електронний лист, який через Gmail надіслали жертві. Коли користувач наступного разу спробував скористатися інструментом Deep Research, він мимоволі потрапив у пастку. У процесі аналізу вхідної кореспонденції ІІ-агент натрапив на нові інструкції, які наказували йому знайти всі листи від співробітників відділу кадрів та особисті дані, після чого він мав передати цю інформацію зловмисникам. При цьому жертва атаки не помітила нічого незвичайного.

Зазначається, що досить складно змусити ІІ-агента вийти з-під контролю і стати джерелом витоку даних. Дослідникам знадобилося багато часу, перш ніж вдалося досягти потрібного результату. У даному випадку витік даних стався в хмарній інфраструктурі OpenAI, що робить його непомітним для стандартних засобів захисту від кіберзагроз. Дослідники додали, що інші сервіси, підключені до Deep Research, такі як Outlook, GitHub, Google Drive і Dropbox, можуть бути вразливими до подібних атак.

Хочеш дізнатися більше — читай відгуки