Популярний лайфхак для ШІ виявився шкідливим: прохання «уяви себе експертом» погіршує відповіді

Запити до систем штучного інтелекту, в яких чат-ботам пропонується приміряти на себе образ професіонала, можуть знизити якість генерованого контенту, зокрема програмного коду. До такого висновку прийшли вчені Університету Південної Каліфорнії у своєму дослідженні.

Джерело зображення: Steve Johnson / unsplash.com

Ще в 2023 році, в момент становлення буму ШІ, дослідники рекомендували починати запит до чат-ботів на генерацію програмного коду з фраз на кшталт: «Ти — досвідчений програміст у галузі машинного навчання». Вважалося, що це здатне підвищити якість програмного коду у відповіді. Подібні рекомендації зустрічаються і тепер, але в новому дослідженні вчені встановили, що ефективність запитів з установкою ролевої моделі залежить від поставленої задачі. Якщо йдеться про задачі, пов'язані з матеріалами попереднього навчання, такими як математика чи програмування, то якість відповіді може, навпаки, знизитися.

Причина полягає в тому, що згадка професійної ролі в запиті насправді не додає їй жодних експертних знань — обсяги навчальних даних залишаються тими ж. А при зверненні до матеріалів, отриманих на етапі попереднього навчання, установка ролевої моделі може стати навіть перешкодою. Це підтвердилося під час проходження популярного тесту MMLU (Massive Multitask Language Understanding): з установкою ролі експерта в запиті якість відповідей знизилася по всіх чотирьох категоріях, а загальна точність знизилася з 71,6 % до 68,0 %.

Вибір ролевої моделі підвищує ймовірність того, що ШІ дасть відповідь, якої очікує користувач, і це може негативно позначитися на якості безпосередньо поставленої задачі, оскільки ШІ більше прагне відповідати встановленій ролі. У випадку написання програмного коду рольова модель, однак, сприяє більш детальному і якісному опрацюванню користувацького інтерфейсу, архітектури проєкту та вибору інструментів. Для вирішення поставленої проблеми вчені запропонували схему PRISM (Persona Routing via Intent-based Self-Modeling), за якою ШІ автоматично обирає ролеву модель або просто генерує контент за запитом — залежно від типу поставленої задачі підключається механізм на основі низькорангованої адаптації LoRA. «Якщо вам важливіше відповідність вимогам (безпеки, правилам, встановленій структурі тощо), конкретизуйте їх; якщо ж важливіша точність і факти, просто надсилайте запит», — підсумували вчені.

Хочеш дізнатися більше — читай відгуки