Вчені виявили, що у ШІ поки є проблеми з розумінням каламбурів і гумору

Спілкування людини з великими мовними моделями може бути цілком гармонійним і природним, поки штучний інтелект не зіткнеться з тонким гумором і подвійним значенням, закладеним у каламбурах. До такого висновку прийшли у своєму дослідженні британські та італійські науковці, на доповідь яких посилається видання The Guardian.

Джерело зображення: Freepik

Автори дослідження, за даними джерела, виявили здатність великих мовних моделей виявляти структуру каламбура, але з розумінням змісту у них виникають проблеми. Наприклад, при заміні ключового слова в каламбурі, яка в сприйнятті людини позбавляє висловлювання гумору, великі мовні моделі продовжують вважати фразу жартом.

В якості прикладу наводилася така фраза: «Довгі казки мають тенденцію до дракона» (Long fairy tales have a tendency to dragon). У цьому випадку останнє слово звучить ідентично з дієсловом «drag on» — затягуватися, і саме ця двозначність змісту лежить в основі каламбура. Якщо автори експерименту змінювали «dragon» на синонімічне дієслово «prolong» або взагалі будь-яке інше випадкове слово, ІІ все одно вважав, що результуюча фраза є жартом.

Як пояснив один з авторів дослідження, великі мовні моделі запам'ятовують те, що вони дізналися в процесі навчання. У випадку з гумором вони запам'ятовують відомі їм каламбури, але це зовсім не означає, що вони до кінця розуміють їх суть. Заміна ключових слів у жарті, яка повністю позбавляє його гумору, в сприйнятті ІІ не є радикальною трансформацією, і він продовжує вважати, що має справу з каламбуром. Поки великі мовні моделі просто не здатні по-справжньому розуміти гумор, як резюмували дослідники.

Фактично, коли ІІ стикається з незнайомою грою слів, виявити наявність каламбура в аналізованій фразі він здатний лише в 20 % випадків. За словами авторів доповіді, поки людям слід з обережністю використовувати великі мовні моделі в сферах, які вимагають розуміння гумору, емпатії та розуміння культурних нюансів. Впевненість у тому, що ІІ здатний розуміти гумор, є не більш ніж ілюзією.

Хочеш дізнатися більше — читай відгуки