Anthropic попередила про нашестві ШІ-хробаків — вони зможуть автономно розмножуватися та заражати телевізори, побутову техніку і сервери

Розвиток невеликих ШІ-моделей вже на початку наступного року може створити умови для їх практично безконтрольного поширення, попередили в Anthropic. Блокувати розповсюдження таких «ШІ-хробаків» буде вкрай складно, вони будуть вражати все нові типи пристроїв без втручання людини.

Джерело зображення: Unsplash, Brecht Corbeel

Прийнявши нещодавно рішення позбавити свої передові ШІ-моделі доступу до всесвітньої мережі для забезпечення кібербезпеки, компанія Anthropic одразу заявила, що ці моделі у своєму розвитку знаходяться всього в кількох місяцях від моменту, коли зможуть самовідтворюватися в подібному ізольованому середовищі. Якщо компактні моделі продовжать вдосконалюватися з історичною швидкістю, то вже до кінця цього року вони зможуть автономно відтворюватися, а малі реплікатори на основі ваг, що представляють собою автономних комп'ютерних червів, отримають таку можливість незабаром після цього.

У своїх експериментах Anthropic намагалася зрозуміти, як ШІ-моделі здатні знаходити вразливі пристрої типу побутової техніки та електроніки, копіювати себе в їх пам'ять і потім продовжувати поширення без участі людини. Було виявлено, що компактні моделі з менше ніж 30 млрд параметрів здатні завершити багато з кроків, необхідних для самовідтворення. При цьому такі моделі з труднощами здатні завершити всю послідовність дій, необхідних для цього, від початку до кінця.

В спрощених тестах з ослабленими перевірками в сфері безпеки моделі GLM-5.2 та більш потужні демонстрували здатність пройти всю послідовність самовідтворення від початку до кінця. Представники Anthropic попередили, що зупинити поширення самовідтворювальних моделей буде дуже складно, оскільки умовно немає «центрального вимикача» для їх відключення. На відміну від вірусів, створених без допомоги ШІ, такі моделі здатні самі знаходити незнайомі їм типи пристроїв і заражати їх, роблячи своєю мішенню центральні процесори в дата-центрах. У своїх експериментах Anthropic зосередилася на ТВ-приставках, розумних телевізорах під управлінням Android, розумній побутовій техніці та інших пристроях з підключенням до інтернету, оскільки вони зазвичай слабше захищені.

Автономно відтворювальні ШІ-системи поширюються досить повільно, покладаючись на загальнодоступні та погано захищені обчислювальні ресурси. Відповідні пристрої потрібно краще захищати для запобігання подібним «епідеміям», підкреслює Anthropic. Спеціалісти зізналися, що не впевнені, в якій саме формі буде здійснюватися автономне самовідтворення ШІ-моделей. Це може бути повільне і розподілене середовище, що живе на відносно слабо захищених пристроях. Або це може виявитися потужною кібер-моделлю, яка з високою швидкістю проникає в ЦОД, або моделлю, яка обманює людей з метою отримання доступу до обчислювальних ресурсів.

Хочеш дізнатися більше — читай відгуки