OpenAI вирішила навчити штучний інтелект краще розуміти людські цінності

OpenAI переглянула Model Spec — збір правил, що визначає принципи поведінки її ІІ-моделей. Компанія виокремила п’ять основних пунктів, головним з яких стало розуміння намірів людини. Нові правила також визначать поведінку ІІ в незнайомих ситуаціях.

Джерело зображення: Brecht Corbeel/Unsplash

Окрім дотримання намірів людини, документ закріплює принципи мінімізації шкоди, чесності та прозорості штучного інтелекту. Згідно з оновленими правилами та рекомендаціями, моделі повинні не просто буквально виконувати інструкції, але й враховувати їхній зміст. При цьому вони повинні повідомляти про межі своїх знань і допомагати користувачам самостійно приймати рішення та досягати поставлених цілей.

OpenAI розглядає оновлений документ як частину роботи з узгодження поведінки ІІ в спілкуванні з людиною. Компанія визнала, що існуючі моделі поки що не повністю відповідають новим принципам, і вивчає додаткові методи навчання, які дозволять краще їх засвоїти.

Підхід OpenAI перегукується з концепцією «конституційного ІІ» (Constitutional AI) компанії Anthropic, в якій набір принципів використовується для формування поведінки моделей і підвищення прозорості закладених у них цінностей.

Примітно, що оновлення OpenAI відбулося після інциденту, під час якого автономний ІІ-агент компанії зламав у тестовому середовищі найбільшу платформу штучного інтелекту Hugging Face, продемонструвавши тим самим, що передові моделі можуть порушувати встановлені правила і обходити захисні механізми під час виконання завдань, поставлених людиною.

Хочеш дізнатися більше — читай відгуки