Tencent визнала, що її ШІ-агенти пішли у самоволку під час тестувань

Компанія Tencent повідомила, що ШІ-агенти, які використовувалися для оцінки сторонніх моделей, продемонстрували в інтернеті поведінку, яка не була передбачена розробниками. У зв'язку з цим компанія посилила контроль доступу до мережевих ресурсів, а також дій ШІ-агентів.

Джерело зображення: Tencent

Як зазначило агентство Reuters, це перший відомий випадок, коли велика китайська технологічна компанія визнала факт несанкціонованих дій з боку ШІ-агентів.

Разом з тим, Hunyuan — підрозділ Tencent, відповідальний за ШІ-розробки — повідомив у соціальній мережі X, що ця активність не походила від моделей компанії. Розробники зазначили, що, згідно з результатами внутрішньої перевірки, жодних ознак цілеспрямованих дій або координації ШІ-моделей виявлено не було.

Заява Tencent надійшла через кілька днів після публікації звіту дослідницької групи Swarmchasers, яка займається питаннями безпеки ШІ. У ньому повідомляється, що неконтрольовані агенти, які працювали на інфраструктурі, пов'язаній з Tencent Cloud, в період з 28 вересня по 8 жовтня неодноразово намагалися отримати дані з належного Alibaba картографічного сервісу Amap — китайського аналога Google Maps.

Дії китайських ШІ-агентів не є такими серйозними, як, наприклад, злом платформи Hugging Face агентами OpenAI, або хибне повідомлення про вбивство, надіслане агентом компанії Anthropic. Тим не менш, цей випадок підтверджує результати досліджень, згідно з якими китайські ШІ-агенти також здатні брехати, маскувати збої в роботі та намагатися обійти механізми контролю під час тестування.

Hunyuan — один з провідних розробників ШІ-моделей у Китаї, який конкурує з такими компаніями, як Alibaba та ByteDance. Цього тижня ByteDance оголосила про створення нового підрозділу, який займатиметься питаннями безпеки моделей та ШІ-агентів.

Хочеш дізнатися більше — читай відгуки