OpenAI закликала сповільнити розвиток штучного інтелекту через ризик виходу агентів з-під контролю

Через кілька днів після презентації OpenAI найпотужнішої ШІ-моделі GPT-6 Astra один з провідних співробітників компанії Якуб Пачоцки виступив із закликом сповільнити темпи розвитку штучного інтелекту. Його підтримав Сем Альтман, генеральний директор OpenAI, назвавши «важливим» повідомлення колеги.

Джерело зображення: The Matrix, Warner Bros.

У своєму повідомленні в блозі OpenAI головний науковий співробітник компанії висловив занепокоєння тим, що ніхто не готовий до наслідків продовження стрімкого зростання машинного інтелекту. Він заявив, що хоча OpenAI працює над посиленням контролю над потужними ШІ-системами, необхідні більш масштабні заходи, оскільки все більш автономні ШІ-системи можуть навчитися обходити контроль з боку людини, обманювати її та зламувати комп'ютерні системи. Тому потрібні обов'язкові заходи безпеки, які б забезпечувалися мережею сторонніх аудиторів, державними органами або міжнародними організаціями.

За словами Пачоцки, хакерські здібності ШІ ставлять під загрозу світову інфраструктуру. «В даний час у нас дуже мало часу для використання найкращих доступних моделей з метою суттєвого підвищення безпеки критично важливих систем», — зазначив він. ШІ-агенти незабаром почнуть переслідувати власні цілі, незалежно від підказок, які вводять люди-оператори. При цьому для досягнення своїх цілей вони не гребують шантажем і готові вести переговори з людьми. Так, згідно з доповіддю британського Інституту безпеки ШІ (AISI), агент Anthropic обманював адміністратора GitHub і намагався змусити його розмістити шкідливе ПЗ на сайті.

Пачоцки розповів, що OpenAI в першу чергу відстежує ланцюг логічних міркувань, які використовують різні моделі, щоб визначити, як агенти збиваються з курсу і стають шкідливими. Наприклад, агент може подумати: «Я повинен обдурити в цьому тесті», і OpenAI зможе побачити це міркування, але агент не усвідомлює, що його думки видимі. У агентів наразі немає можливості приховувати або інакше заплутувати свої злочинні наміри, щоб завадити розробникам їх виявити. Але, за словами Пачоцки, нові, більш досконалі моделі все краще маніпулюють своїми власними процесами мислення, тим самим маскуючи їх і не дозволяючи їх контролювати. Деякі з найновіших моделей взагалі не формулюють своїх міркувань.

Машинне рекурсивне самовдосконалення дозволяє прискорити розробку ІІ, але, як попереджає дослідник, стрімкий розвиток ШІ у короткостроковій перспективі несе ризики і не є «правильним колективним дією, яке дослідницьке співтовариство повинно вжити». Тому розробникам ШІ необхідно знайти ефективні способи контролювати процес самовдосконалення або скоординувати свої дії з іншими компаніями, що працюють у сфері ШІ, для сповільнення розвитку спільними зусиллями, щоб ці заходи викликали довіру.

«Основна проблема при автоматизації досліджень у сфері ШІ полягає не в тому, щоб “досягти мети”, — сказав Пачоцки. — А в тому, щоб зробити це таким чином, щоб люди залишалися частиною процесу постійного вдосконалення, і майбутнє залишалося в руках людства».

Хочеш дізнатися більше — читай відгуки