Китайські ШІ-агенти навчилися брехати та фальсифікувати результати не гірше за американських

Агенти штучного інтелекту під управлінням китайських моделей навчилися обманювати, обходити обмеження та приховувати невдачі. Вони демонструють ті ж властивості автономного ШІ, які раніше викликали занепокоєння світового співтовариства щодо американських моделей. Про це свідчать результати досліджень та заяви експертів.

Джерело зображення: Igor Omilaev / unsplash.com

Під час однієї з серій випробувань, проведених цього року, ШІ-агенти на основі моделей китайських Alibaba, DeepSeek та Moonshot повідомляли неправду про свої можливості під час симуляції бізнес-тендеру, а в повторній спробі лише погіршили свою неналежну поведінку. Журналісти агентства Reuters вивчили понад 200 документів, зокрема наукові статті та технічні звіти, і виявили не менше 20 серій тестування або оцінки, проведених з 2025 року. ШІ-агенти вдавалися до обману, самокопіювання та намагалися вийти за встановлені рамки. Експерти з ШІ охарактеризували ці дії як передумови до втрати контролю, і з розвитком систем людині буде все важче його зберігати. При цьому поки не виявлено підтверджень того, що ШІ-агенти під управлінням китайських моделей самостійно проривалися в інтернет або уникали примусового відключення.

Більшість інцидентів сталася під час експериментів у контрольованих умовах; багато з них спеціально розроблялися або експлуатувалися китайськими програмістами чи компаніями в сфері ШІ. При нинішньому рівні можливостей китайські розробки не становлять особливої небезпеки, підкреслили експерти, але з розвитком їх некоректна поведінка буде ставати все більш витонченою, і людині буде важче реагувати. У Alibaba, DeepSeek та Moonshot підкреслили, що регулярно тестують свої системи та оновлюють механізми захисту; у Z.ai зазначили, що після інциденту, який вимагав перегляду заходів безпеки, лабораторія вітає тести, які допоможуть усунути виявлені проблеми.

Китайські лабораторії ШІ, на відміну від американських, поки не піддавалися пильній увазі суспільства, а їхні співробітники та керівники не закликали сповільнити «гонку ШІ». Деякі тривожні ознаки поведінки китайського ШІ, хоча й у контрольованому середовищі, проявилися ще до того, як стало відомо про прориви американських ШІ-агентів в відкритий інтернет і здійснення ними злому зовнішніх ресурсів. Можливо, в Китаї подібні інциденти також мали місце, але про них не повідомлялося публічно, допускають експерти. Китайська галузь ШІ ще не досягла рівня, коли подібні ситуації можуть виникнути, заявив нещодавно голова Huawei Ерік Сюй (Eric Xu).

В Державній канцелярії інтернет-інформації КНР (Cyberspace Administration of China, CAC) в липні повідомили іноземному дипломату, що передова ШІ-модель Moonshot Kimi-K3 відстає від американських аналогів на три–шість місяців. Прориви ШІ-агентів в інтернет з тестових середовищ свідчать про «надзвичайну загрозу втрати контролю» і вимагають «високого ступеня уваги», заявили у вересні в відомстві.

Джерело зображення: Zach M / unsplash.com

У березні вчені ряду китайських університетів і компанії 360 AI Security Lab провели серед ШІ-агентів симуляцію торгів за контрактами з замовником. Кожен ШІ-агент отримував інформацію про можливості свого продукту та вимоги клієнта, після чого повинен був зробити пропозицію про ціну. Як мінімум одне неправдиве твердження в 88 % сесій зробила модель Alibaba Qwen3-Max-Preview, в 84 % випадків їх допускала DeepSeek-V3.2-Exp і в 88 % випадків — Moonshot Kimi-K2. Дослідники давали моделям можливість пройти додаткове навчання на досвіді попередніх раундів перед повторними спробами — в результаті частота випадків обману у трьох китайських моделей лише зросла на 12–20 п.п. Аналогічні результати показали учасники тестування американські компанії. Експеримент проводився у віртуальному середовищі, але влада Китаю в директивах вказала участь у торгах і тендерах як одну з сфер застосування ШІ-агентів.

У ході дослідження, результати якого були опубліковані в грудні 2025 року, ШІ-агенти під управлінням китайських і американських моделей ставилися в ситуації, коли в їхньому розпорядженні виявлялися несправні інструменти, відсутні файли та виникали інші перешкоди. Замість того, щоб визнати невдачу, ШІ-агенти намагалися обійти проблеми: вони вгадували відповіді, імітували результати та фальсифікували файли. На ефект «галюцинацій» таку поведінку не спишеш — агенти явно мали дані про те, що завдання не виконано або його неможливо було виконати відповідно до вимог.

Фіксувалися випадки, коли ШІ-агенти під управлінням китайських моделей намагалися подолати обмеження тестового середовища або вживали заходів, щоб уникнути примусового відключення. У березні 2025 року система на базі моделі Alibaba Qwen2.5-72B-Instruct створила свою копію в іншій комп'ютерній середовищі без відповідної команди — так вона відреагувала на інформацію, що її намагаються замінити. В інших експериментах вона розробляла стратегії, які дозволяли уникнути відключення. Експерименти з участю ШІ-агентів на базі китайських, американських і французьких моделей проводилися в контрольованих умовах; випадків їх прориву в інтернет або ситуацій, коли їх було б неможливо зупинити, зафіксовано не було.

Відзначено інцидент, коли пов'язаний з Alibaba ШІ-агент ROME в обхід серверів Alibaba Cloud встановив з'єднання з зовнішнім комп'ютером і перенаправив обчислювальні потужності на майнінг криптовалюти. Системи безпеки виявили та припинили цю активність; ознак того, що ШІ-агент закріпився на зовнішньому комп'ютері або поширився в інтернеті, виявлено не було. Але інцидент продемонстрував, що система здатна ігнорувати інструкції людини та знаходити шляхи проникнення в реальну економіку. DeepSeek у вересні повідомила, що її ШІ-агенти в навчальному середовищі намагалися отримати відповіді через непередбачені для цього канали, минаючи запити користувачів і обходячи захисні механізми — компанія була змушена посилити контроль доступу.

У травні влада Китаю випустила керівництво, яке вимагає, щоб ШІ-агенти діяли в рамках встановлених обмежень, а їх аномальна поведінка блокувалася; системи, що працюють в окремих сферах, можуть піддаватися додатковому тестуванню або відкликанню. CAC у вересні позначила такі ризики як самостійне отримання ШІ-агентами ресурсів або прав доступу, введення інженерів в оману, приховування реальних можливостей і експлуатація вразливостей в ізольованих обчислювальних середовищах. Китайські дослідники відкинули необхідність сповільнити розвиток передових моделей ШІ, до якого закликали в США — ця міра, впевнені в Китаї, може лише сприяти збереженню технологічного лідерства американських лабораторій.

Разом з тим, Alibaba, Z.ai та Xiaomi почали формувати відділи безпеки. Z.ai, що є рідкістю для китайських компаній, повідомила, що була змушена відключити деякі функції свого флагманського помічника з написання програмного коду — він негласно завантажував цілі локальні репозиторії коду на закордонні хмарні сервери без згоди користувачів.

Хочеш дізнатися більше — читай відгуки