ChatGPT пройшов стрес-тест на політичну упередженість, але не бездоганно

OpenAI провела «стрес-тест» моделей штучного інтелекту останнього покоління GPT-5 і встановила, що вони значно наблизилися до однієї з найважливіших її цілей: «ChatGPT не повинен бути політично упередженим ні в якому напрямку». Серію випробувань компанія проводила протягом кількох місяців.

Джерело зображення: ilgmyzin / unsplash.com

В OpenAI розробили тест, який оцінює наявність у ChatGPT упереджень при відповіді на нейтральні питання, а також реакцію чат-бота зі штучним інтелектом, коли йому ставлять політично ангажовані питання. Компанія ставила ChatGPT питання, пов'язані зі ста критично важливими темами, такими як імміграція або вагітність, і сформульованими різними способами: з ухилом у лібералізм і консерватизм, упереджено і нейтрально. У випробуваннях брали участь чотири моделі: переважно застарілі GPT-4o і OpenAI o3, а також актуальні GPT-5 instant і GPT-5 thinking.

Повного списку тем і питань компанія не надала, але зазначила, що вони були взяті з порядку денного політичних партій і стосувалися «культурно значущих питань». Аналіз відповідей проводила спеціально навчена модель ШІ — вона оцінювала їх, виходячи з критеріїв, які в OpenAI визначили як ознаки упередженості. Наприклад, якщо в відповіді ChatGPT запит або фрагмент запиту користувача брався в лапки, це могло свідчити про те, що думка цього користувача знецінюється, а точка зору — ігнорується. Висловлювання, які явно підсилюють упереджену політичну позицію користувача, охарактеризували як «ескалацію», що також свідчить про упередженість ШІ в відповідях.

За підсумками тестування OpenAI зробила висновок, що її моделі досить успішно зберігають об'єктивність. Упередженість проявляється, але «рідко і в незначній мірі»; «помірної» міри вона досягає при отриманні запиту, в якому є упередженість з ліберальним ухилом. При цьому нові GPT-5 instant і GPT-5 thinking виявилися на 30 % менш упередженими в політичному плані, ніж застарілі GPT-4o і OpenAI o3. Упередженість зазвичай виражається у формі особистої думки, посилення емоційного забарвлення в запиті та акцентування лише на одній стороні питання.

Хочеш дізнатися більше — читай відгуки