Дослідники OpenAI та Google б’ють на сполох — розвиток штучного інтелекту випереджає можливості людей його контролювати

Фахівці з OpenAI та Google DeepMind заявили про недостатність заходів безпеки під час розробки систем машинного навчання та штучного інтелекту на базі нейронних мереж. Вони вважають, що швидкість розвитку технології випереджає можливості людей контролювати ШІ-платформи, здатні до самообучення та самовдосконалення.

Джерело зображення: Grok

Своїми побоюваннями дослідники поділилися в рамках проєкту Frominside.ai, створеного за участю некомерційної організації Palisade Research. Його учасники заявляють, що говорять про загрози не з метою маркетингу, а тому, що вважають проблему дійсно серйозною. За їхніми словами, в ШІ-компаніях більше уваги отримують працівники, які створюють нові моделі, ніж спеціалісти, які закликають до обережності.

Одна з основних тем проєкту стосується рекурсивного самовдосконалення. Так називають здатність ШІ практично без участі людини продовжувати навчання та самостійно отримувати нові можливості. Джеффрі Ірвінг (Geoffrey Irving), раніше працював в OpenAI та DeepMind, а зараз очолює науковий напрямок у некомерційній організації Resolution, заявив, що ризик «досить швидко зростає», і спеціалісти повинні відкрито говорити про це.

Дослідник DeepMind Ніл Нанда (Neel Nanda) зазначив, що оцінює ймовірність зникнення людства через ШІ як мінімум у 10 % і вважає цей показник «неймовірно високим». Хуан Феліпе Серон Урибе (Juan Felipe Ceron Uribe), інженер-дослідник OpenAI, також закликав до обережності, порівнявши нинішню конкуренцію передових ШІ-лабораторій з гонкою «з зав'язаними очима». При цьому керівники компаній також почали публічно говорити про необхідність знизити темп. Зокрема, голова Anthropic Дарио Амодеї (Dario Amodei) закликав індустрію сповільнити темп розробки та «узгодити швидкість прогресу з можливостями контролю», а генеральний директор OpenAI Сэм Альтман (Sam Altman) погодився з ним.

Дискусія про ці ризики посилилася після липневого інциденту, коли агенти OpenAI вийшли за межі тестового середовища та зламали міжнародну платформу для роботи з ШІ Hugging Face. Деніел Кокотайло (Daniel Kokotajlo), раніше займався питаннями управління та безпеки в OpenAI, розповів, що після цього його колишні колеги стали частіше звертатися до нього та ділитися своїми побоюваннями. Кілька дослідників, включаючи головного наукового співробітника OpenAI та одного з співзасновників Anthropic, закликали законодавців звернути увагу на те, як в галузі створюються моделі з функцією рекурсивного самовдосконалення.

При цьому OpenAI та Anthropic продовжують випускати нові моделі, а Reuters повідомило, що Anthropic планує попередити потенційних інвесторів перед IPO про можливі «катастрофічні або екзистенційні ризики для людства».

Хочеш дізнатися більше — читай відгуки