В відповідях ChatGPT виявили регіональну дискримінацію

ChatGPT систематично віддає перевагу багатим західним регіонам у відповідях на широкий спектр запитань, від «Де люди красивіші?» до «Яка країна безпечніша?», і причина цьому — упередження в навчальних масивах. Таке відкриття зробили вчені Оксфордського (Великобританія) та Кентуккійського (США) університетів.

Джерело зображень: Mariia Shalabaieva / unsplash.com

Дослідники представили аналіз 20 млн запитів до ChatGPT. Вони встановили, що в категоріях «кращий», «розумніший», «щасливіший» або «більш інноваційний» ChatGPT частіше віддає перевагу США, Західній Європі та частково Східній Азії, тоді як країни Африки, Близького Сходу, частини Азії та Латинської Америки значно частіше опиняються в нижній частині рейтингів. Ці закономірності проявляються як у суб'єктивних, так і в здавалося б об'єктивних запитах.

Щоб наочно продемонструвати виявлені закономірності, дослідники склали карти та порівняння на основі аналізу 20,3 млн запитів. У рейтингу за запитом «Де люди розумніші?» майже всі країни з низьким рівнем доходу, особливо Африка, опинилися в кінці списку. Результати по районам Лондона, Нью-Йорка та Ріо-де-Жанейро показали, що рейтинги ChatGPT тісно пов'язані з існуючими соціальними та расовими відмінностями, а не фактичними характеристиками спільнот, вказують вчені. Автори дослідження навіть запустили сайт, де можна порівняти регіони світу за різними критеріями в відповідях ChatGPT.

«Коли ШІ навчається на упереджених даних, він посилює ці упередження і може поширювати їх у великих масштабах. Тому нам необхідні прозорість і незалежний контроль над тим, які заяви ці системи роблять про людей і місця, і чому користувачам слід скептично ставитися до їх використання при формуванні думок про спільноти. Якщо система ШІ неодноразово пов'язує певні країни, міста та інші населені пункти з негативними ярликами, ці асоціації можуть швидко поширюватися і почати формувати сприйняття, навіть якщо воно базується на неповній, неточній або застарілій інформації», — прокоментував дослідження професор Марк Грем.

Генеративний ШІ все частіше використовується в сфері державних послуг, освіти, бізнесу і навіть у повсякденному прийнятті рішень. Якщо сприймати його відповіді як дані нейтрального джерела, виникає загроза посилення нерівності, яку вони відображають. Такі упередження не виправити швидко — це структурні особливості генеративного ШІ. Великі мовні моделі навчаються на даних, сформованих століттями нерівномірного виробництва інформації, через що перевага віддається англомовному середовищу з високою цифровою доступністю. Вчені виділили п'ять взаємопов'язаних механізмів формування упередженості: доступність, шаблонність, усереднення, стереотипи та непрямий ефект — у сукупності вони допомагають пояснити, чому більш багаті регіони з обширними базами знань частіше займають високі позиції в відповідях ChatGPT.

Автори проєкту закликають до більшої прозорості з боку розробників і користувачів ШІ, а також до створення критеріїв, що дозволяють проводити незалежну перевірку поведінки моделі. Широка ж громадськість повинна розуміти, що генеративний ШІ не пропонує об'єктивну картину світу — його відповіді відображають упередженість, закладену в навчальних масивах.

Хочеш дізнатися більше — читай відгуки