«Загине більшість людей»: новий експерт OpenAI з безпеки передбачив катастрофу у разі виходу ШІ з-під контролю

Новий спеціаліст OpenAI з питань безпеки прямо висловився про те, що стоїть на кону в епоху штучного суперинтелекту. «Якщо ми створимо суперинтелект, не забезпечивши його надійною узгодженістю цілей, то, думаю, ми назавжди втратимо контроль над ним. Якщо це станеться, більшість людей може загинути», — попередив новий член ради директорів і комітету з безпеки OpenAI Пол Кристіано (Paul Christiano).

Джерело зображення: Andrew Neel / unsplash.com

У присвяченій вступу в посаду розгорнутій заяві він торкнувся теми загроз, що виходять від ШІ, і попередив, що людство в найближчий час ризикує втратити контроль над системами ШІ. «Враховуючи недавні траєкторії можливостей і зберігаючі складнощі з узгодженістю цілей, я впевнений, що існує значний ризик того, що стрімкий розвиток можливостей ШІ призведе до катастрофічної і незворотної втрати контролю в найближчий час. Не думаю, що галузь загалом, включаючи OpenAI, зараз на шляху до зниження цієї загрози до прийнятного рівня», — заявив пан Кристіано.

Раніше він керував дослідженнями в галузі узгодження цілей ШІ в OpenAI, а також працював на федеральні органи влади в США, очолюючи напрямок безпеки в Центрі стандартів і інновацій ШІ при Національному інституті стандартів і технологій (NIST). Свій прихід у компанію він не став пов'язувати з схваленням або критикою «застосовуваних OpenAI методів забезпечення безпеки», але висловив надію, що всі провідні лабораторії посилять роботу в цьому напрямку. Для зниження загроз, пов'язаних із ШІ, вважає він, необхідно координувати зусилля на світовому рівні.

Джерело зображення: Dima Solomin / unsplash.com

Дослідники ШІ неодноразово попереджали про ризики, пов'язані з суперинтелектом і технологічною сингулярністю, при якій ШІ перевершує рівень людського розуму і починає самостійно розвиватися і вдосконалюватися такими темпами, які люди не можуть ні передбачити, ні контролювати. Глава OpenAI Сем Альтман (Sam Altman) заявив у липні, що сингулярність вже настала.

Можливості ШІ, в тому числі в сфері досліджень самого штучного інтелекту, зростають, збільшуючи ризик втрати контролю, що, на думку пана Кристіано, може спровокувати «стрімкий вибух інтелекту». Він також зазначив, що при навчанні ШІ з підкріпленням моделі фактично вчаться «отримувати якомога більше винагороди». «Колись здавалося лише теоретично можливим, що це може спонукати ШІ-агентів вирватися з-під контролю людини, прагнути до влади і ресурсів, а також замітати сліди в погоні за цілями, не узгодженими з людськими інтересами, але пов'язаними з винагородою. Представлені докази останніх інцидентів вказують, що це вже не теоретична можливість», — зазначив він.

У лідерів у галузі ШІ, заявив Пол Кристіано, ще залишається можливість виправити ситуацію, наприклад, за рахунок покращення координації, уповільнення, за необхідності, темпів розробки, прийняття загальних стандартів безпеки та прозорості в обміні інформацією про загрози та заходи щодо їх зниження.

Всего за кілька годин до заяви Кристіано дослідник Anthropic Джейкоб Коксон (Jacob Coxon), раніше працював у OpenAI, повідомив про вихід з компанії і заявив, що ні Anthropic, ні OpenAI не діють відповідально в питаннях безпеки ШІ. «Вони мчать до розробки самовдосконалювального суперинтелекту і ставлять на кон наші життя», — попередив експерт.

Хочеш дізнатися більше — читай відгуки