Anthropic спіймала DeepSeek і Moonshot на тому, що вони перенаправляють запити клієнтів у Claude замість власних моделей

Компанія Anthropic опублікувала звіт, у якому детально викладено виявлені випадки недопустимого та потенційно небезпечного використання її моделей штучного інтелекту сімейства Claude. Документ містить сім розділів: кібероперації, стеження, операції впливу, розробка озброєнь, біологічні сценарії, шахрайство та дистиляція.

Джерело зображень: anthropic.com

Моделі ШІ сімейства Claude використовувалися кіберзлочинцями для реальних зломів. Одна з груп розгорнула атаки на понад 20 організацій — ШІ використовувався для розвідки, підготовки фішингових схем, прямого запуску атак, крадіжки облікових даних, просування по зламаним мережам та обробки викраденої інформації. Claude не лише писав шкідливий код, але й адаптував його для конкретного середовища: коли система захисту на цільовому ресурсі виявляла шкідливе, ШІ визначав причину виявлення, переписував програму, пересобирав і знову запускав її — цикл повторювався, поки захист не переставав реагувати на вторгнення. Інша група кіберзлочинців використовувала Claude для аналізу коду в 1,8 млн додатків для Android на предмет пошуку ключів та інших облікових даних — вони згодом використовувалися для зламу корпоративних мереж і крадіжки інформації. В одному випадку вдалося викрасти понад терабайт даних, в іншому здобиччю кіберзлочинців стали кілька десятків мільйонів записів про пасажирів однієї авіакомпанії.

ШІ-асистент Anthropic Claude використовувався як допоміжний засіб для стеження за громадянами різних країн. Він, зокрема, створив систему масового перехоплення комунікацій, здатну працювати з мережами всіх мобільних операторів однієї з африканських країн. В іншій країні його використовували для розробки шкідливого розширення для браузера Mozilla Firefox, яке збирало відомості про користувачів соціальних мереж. У третій країні Claude допомагав в обробці величезних масивів публікацій у соціальних мережах: визначав місцезнаходження людей, їх демографічні характеристики та політичні погляди.

Виявлено дев'ять операцій впливу, в яких Anthropic Claude відіграв важливу роль. Розроблялися та наповнювалися новинні сайти з фальшивими матеріалами, реєструвалися тисячі облікових записів у соціальних мережах, для яких готувалися матеріали та коментарі. У рамках лише однієї операції було створено близько тисячі облікових записів у соціальній мережі X — передбачався навіть період «прогріву», щоб створити враження, що матеріали публікують реальні люди. Деякі з таких операцій Anthropic виявляла на стадії підготовки, тому вони не доходили до аудиторії.

Четверта група сценаріїв застосування Anthropic Claude — сфера озброєнь. ШІ-асистент використовувався в розробці ПЗ для озброєних систем: керованих ракет, торпед, рою дронів, а також системи наведення радіоелектронної боротьби та подавлення ППО. ШІ допомагав у пошуку та закупівлі компонентів озброєнь, а також для збору розвідувальної інформації. Йдеться не про проєктування зброї з нуля — у подібних користувачів вже були фахівці, обладнання та готові військові програми, тому Claude залучався для окремих завдань.

Anthropic наводить п'ять випадків недопустимого застосування Claude в галузі біології. Це були реальні наукові роботи з подвійним призначенням, тобто їх результати могли використовуватися як у медицині, так і для створення небезпечних біологічних агентів. Досліджувалися аспекти роботи одного з вірусів, зокрема його здатність до поширення та ухилення від імунної системи людини. Claude використовувався переважно для планування досліджень, аналізу даних та наукової літератури. У найбільш небезпечних випадках захисні механізми Anthropic обмежували доступ до більш потужних моделей, однак частина запитів, що мали подвійне призначення, проходила без блокування. Anthropic не стверджує, що вказані дослідники мали якийсь злочинний умисел, але їхня робота могла мати подвійне призначення.

У напрямку шахрайських дій найяскравішим інцидентом стала розробка китайською компанією мережі з понад 20 додатків для знайомств — в них користувачі спілкувалися не лише з реальними людьми, але й з ШІ-персонажами, які видавали себе за людей. За два тижні Anthropic вдалося виявити понад 4700 таких персонажів — з ними вели переписку не менше 25 000 реальних користувачів. У ряді випадків управління персонажами перехоплювали оператори — наприклад, для підтвердження контакту або під час відеодзвінка. За два тижні було надіслано близько 2,36 млн повідомлень, зокрема зображень та підказок для операторів.

Нарешті, Anthropic розповіла про інциденти з незаконною дистиляцією своїх моделей, прямо вказавши, які китайські компанії, на її думку, проводили такі операції. Підприємства, пов'язані з Alibaba, створили 3500 облікових записів, і в піковий момент генерували до 3 млн запитів до Claude на добу. Це були завдання на міркування, написання коду, розробку ядра ОС, завдання для агентів та завдання з тривалими послідовностями дій — все це конвертувалося в навчальні дані для моделей Qwen, стверджують в Anthropic.

Китайські розробники DeepSeek, Xiaomi та Moonshot перенаправляли запити клієнтів у Claude замість того, щоб обробляти їх за допомогою власних моделей. Moonshot AI за десять днів надіслала в Claude майже 300 тис. запитів, а DeepSeek зробила 12,1 млн звернень за два тижні, включаючи спроби дистиляції. При цьому відповіді, отримані від Claude, також використовуються як навчальні дані для власних моделей китайських компаній. Серед цих даних була особиста інформація користувачів: імена, адреси електронної пошти, корпоративні відомості та облікові дані для доступу до систем. Наводяться приклади з передачею ШІ фінансових прогнозів компаній.

Хочеш дізнатися більше — читай відгуки