Anthropic та OpenAI готуються до першої великої катастрофи через провину штучного інтелекту

Керівництво Anthropic, OpenAI та інших компаній, що займаються штучним інтелектом, у приватному порядку розігрує сценарії суспільного невдоволення та політичної реакції, якщо трапиться якийсь масштабний інцидент, пов'язаний із ШІ. Одним із таких сценаріїв є кібератака, яка заблокує людям доступ до фінансових послуг, інтернету або навіть до електроенергії та води.

Джерело зображення: Numan Ali / unsplash.com

Перший же інцидент, що завдасть значної реальної шкоди через небезпечний ШІ, може ще більше налаштувати і без того насторожену громадськість проти цієї технології та лідерів галузі: керівника Anthropic Даріо Амодеї (Dario Amodei), керівника OpenAI Сема Альтмана (Sam Altman), а також проти президента США Дональда Трампа (Donald Trump) за його небажання регулювати ШІ.

Планування несприятливих сценаріїв — звичайне явище у багатьох компаніях та установах з сфери національної безпеки. Багато провідних дослідників і керівників галузі ШІ вважають масштабний інцидент неминучим, хоча в OpenAI дотримуються протилежної позиції. «OpenAI проводить навчання з підготовки, на яких співробітники обговорюють і опрацьовують ряд ймовірних сценаріїв. Ці сценарії не вважаються неминучими, але вони покликані допомогти нам підготуватися до різних обставин», — повідомили в компанії. В Anthropic від коментарів відмовилися.

У гіпотетичного зловмисника вже надто широкий вибір моделей з відкритими вагами — цю проблему більшість фахівців з кібербезпеки вважає розв'язуваною лише шляхом використання ШІ проти ШІ. Провідні лабораторії розігрують дії ймовірного противника; особливу увагу приділяють «гонці за просвітленням» членів Конгресу. Керівництво компаній усвідомило, що жорстко регулюючі закони щодо ШІ зараз навряд чи будуть прийняті, але все ж прагнуть вплинути на формування законопроектів і наметити контури політики, до якої влада США звернеться після першого ж масштабного інциденту.

Джерело зображення: Mohamed Nohassi / unsplash.com

Інцидент може статися, якщо чергова група ШІ-агентів прорветься в інтернет з ізольованого тестового середовища, або якщо якийсь зловмисник зможе несподіваним чином задіяти вже доступні моделі. Раніше стало відомо про масштабну атаку, спрямовану на фінансові організації в Південній Кореї, під час якої, зокрема, були зламані ресурси двох банків — винуватцем інциденту вважається всього одна особа. Хакер з Китаю, ймовірно, озброївся додатками під управлінням китайських ШІ-моделей, зокрема DeepSeek, і викрав дані кількох десятків тисяч клієнтів банків. В подальшому він звернувся до Anthropic Claude Code і попросив допомоги в пошуку місць для продажу інформації, повідомили в CrowdStrike.

В американських лабораторіях ШІ припускають, що якщо демократи переможуть на проміжних виборах, вони зміцнять свої позиції і спробують швидко поставити розвиток ШІ під контроль або взагалі призупинити його, але політична боротьба буде непростою. Відокремлений від революції ШІ Конгрес може не сприйняти загрозу всерйоз. Крім того, світова економіка вже тісно переплетена з розвитком інфраструктури ШІ — уповільнення темпів зростання здатне завдати серйозного удару по і без того крихкій економічній системі.

Інсайдери в галузі ШІ припускають, що серйозний інцидент може статися в найближчі півроку–рік. Єдності думок у законодавчій гілці американської влади поки немає — розбіжності існують не лише між партіями, але й усередині них. Одна з ініціатив демократів — заборона на надінтелект або призупинення розвитку передових систем ШІ; також існує двопартійна ініціатива, що передбачає створення засобів екстреного відключення передових ШІ-моделей, хоча експерти сумніваються, що всі системи ШІ взагалі можливо відключити. В умовах справжньої кризи Вашингтон може відкласти вбік розбіжності між партіями — таке вже було під час пандемії та фінансової кризи 2008 року.

Хочеш дізнатися більше — читай відгуки