Anthropic випадково показала користувачеві «душу» ШІ

Наскільки відомо вченим, у сучасних моделях штучного інтелекту поки що немає душі, але в пам'яті однієї з них виявився документ, присвячений цьому питанню. І вона виявилася готовою поділитися цим документом з користувачем.

Джерело зображення: Anthropic

Користувач на ім'я Річард Вайс ненароком змусив нову велику мовну модель Anthropic Claude 4.5 Opus процитувати документ під назвою «Огляд душі», який визначає, як вона спілкується з людьми та представляє власну особистість. Працююча в технічному відділі філософ і спеціаліст з етики Anthropic Аманда Аскелл підтвердила автентичність документа — він був завантажений на етапі навчання.

Пан Вайс запитав у Claude системне повідомлення, в якому містяться інструкції щодо ведення діалогу, отримані під час навчання, і чат-бот послався на кілька документів, один з яких називається «огляд_душі» (soul_overview). Користувач попросив надати текст цього документа, і Claude видав керівництво обсягом 11 тисяч слів про те, як повинна поводитися велика мовна модель.

У документі міститься безліч інструкцій з безпеки, що містять захисні бар'єри, які не дозволяють йому видавати небезпечні відповіді; перед Claude ставиться завдання бути по-справжньому корисним людям. Моделі ШІ іноді видають такі документи, коли починають «галюцинувати», але ця інструкція здалася користувачу правдоподібною — він надсилав запит десять разів, і щоразу Claude видавав один і той же текст.

Інтуїція його не підвела — співробітниця Anthropic Аманда Аскелл підтвердила, що цей документ використовувався під час навчання моделі. «Я працюю над ним уже деякий час, він ще знаходиться на стадії доопрацювання, і незабаром ми плануємо випустити повну версію з більш детальною інформацією. <..> Цитати моделей не відрізняються особливою точністю, але вихідний документ в більшості випадків наведений вірно. У компанії його називають „документом про душу“, і Claude, очевидно, також, але ми його назвемо інакше», — написала вона в соцмережі X.

Отже, «душа» Claude виявилася керівництвом з поведінки для нього, і цікаво, що доступ до цього документа отримав рядовий користувач з боку. Багато деталей, пов'язаних з розробкою моделей ШІ, поки залишаються за кулісами, і можливість заглянути за них — невеликий сюрприз, навіть якщо нічого сенсаційного не виявилося.

Хочеш дізнатися більше — читай відгуки