Anthropic наблизилася до самовдосконалюючогося штучного інтелекту і визнала нові ризики

Anthropic напередодні подала уточнену форму S-1/A, в якій, окрім фінансових показників, розкрила ще одну примітну деталь. Компанія знаходиться на порозі створення моделі штучного інтелекту, здатної до рекурсивного самовдосконалення (Recursive Self-Improvement, RSI).

Джерело зображення: anthropic.com

RSI — це етап, на якому ШІ стає настільки ефективним у власному навчанні, що це призводить до різкого прискорення розвитку його можливостей. Для тих, хто побоюється катастрофічних наслідків розвитку ШІ, RSI уявляється точкою неповернення: ШІ набуває можливості вдосконалювати себе до такої міри, що виходить з-під контролю і стає байдужим до шкоди, яку може завдати в процесі досягнення своїх цілей. Для ентузіастів, навпаки, RSI є втіленням потенціалу технологій — перетворенням ШІ на інструмент, здатний забезпечити неймовірний ріст продуктивності, здійснити наукові відкриття та відзначитися іншими досягненнями.

В Anthropic вважають, що RSI несе в собі як величезні можливості, так і серйозні ризики. Компанія вже використовує ШІ в дослідженнях і розробках, зазначила вона, але застерегла: «Використання ШІ для створення більш досконалих систем ШІ може становити значну загрозу безпеці, особливо якщо це різко прискорить темпи прогресу. Це один з аспектів, що враховується в нашій „Політиці відповідального масштабування“, в якій викладені плани з моніторингу та зниження ризиків у міру наближення до того, що називається рекурсивним самовдосконаленням».

Позначення RSI увійшло в обіг відносно недавно і спочатку сприймалося як недосяжна мета — ефект, який буде вкрай складно реалізувати на практиці. Тепер же Anthropic вказала його серед факторів ризику. Вона вже використовувала ШІ в розробці нових моделей, «якісні стрибки в можливостях яких своєчасно не були помічені»; а в найближчому майбутньому, за її словами, може значно прискорити прогрес за допомогою ШІ.

«Більше того, розширення використання систем ШІ для прискорення наших власних досліджень і розробок може призвести до того, що можливості наших моделей будуть розвиватися швидше, ніж наша здатність розробляти, перевіряти та впроваджувати відповідні засоби безпеки, узгодження цілей і захисту. В результаті ми в минулому вже упускали з виду і можемо не помітити в майбутньому значне прискорення темпів нашого розвитку до того моменту, як це вже станеться. Наприклад, наші внутрішні оцінки та прогнози щодо майбутніх моделей, на відміну від поточних, вказують, що незабаром ми можемо досягти порога, який у нашій „Політиці відповідального масштабування“ визначається як „обумовлене ШІ значне прискорення прогресу“. На даний момент жодна з наших моделей не класифікується як така, що перевищила цей поріг, і ми продовжуємо аналізувати відповідні дані», — заявили в Anthropic.

Компанія також не розраховує, що зможе в значній мірі покладатися на існуючі системи ШІ для «повністю автономного проектування та створення наступних поколінь передових моделей без значного контролю або розуміння з боку людини — навіть якщо (і коли) це стане технічно можливим». Є думка, що форма S-1 може виступати не лише засобом розкриття інформації, але й маркетинговим матеріалом. Тим не менш, за останній рік ШІ Anthropic здійснив колосальний стрибок у науковій сфері; і якщо в компанії вважають високу ймовірність настання RSI, то, можливо, має сенс поставитися до цього серйозно.

Хочеш дізнатися більше — читай відгуки