Дослідники підрахували кількість хибних відповідей у оглядах штучного інтелекту Google

Журналісти The New York Times спільно зі стартапом Oumi, проаналізувавши роботу функцШІ Google ШІ-огляди (AI Overviews), прийшли до висновку, що нейромережа щодня генерує десятки мільйонів помилкових відповідей, незважаючи на високий відсоток загальної достовірності наданих даних. Штучний інтелект помиляється приблизно в 10 % випадків, ненавмисно видаючи користувачам хибну інформацію.

Джерело зображення: AI

Для оцінки достовірності використовувався тест SimpleQA, розроблений у 2024 році компанією OpenAI і що включає понад 4000 запитань з перевіреними фактами. Попередня версія ШІ-моделі Gemini 2.5 справлялася з тестом на 85 %, а після нещодавнього оновлення до Gemini 3 точність зросла до 91 %. Тим не менш, враховуючи гігантські обсяги пошукового трафіку Google, така похибка означає сотні тисяч неправильних відповідей щохвилини. Серед виявлених помилок зафіксована плутанина з датою перетворення дому Боба Марлі (Bob Marley) на музей, а також заперечення існування Залу слави класичної музики — почесного списку композиторів і виконавців, заснованого журналом Gramophone, — куди раніше був включений музикант Йо-Йо Ма (Yo Yo Ma).

Представник Google Нед Едріанс (Ned Adriance), у свою чергу, піддав критиці результати дослідження. Він заявив, що тест SimpleQA містить некоректну інформацію і не відображає того, що люди насправді шукають у Google. За його словами, компанія надає перевагу використанню для оцінки більш перевіреної версШІ бенчмарка під назвою SimpleQA Verified. Крім того, для забезпечення високої швидкості завантаження відповідей на сторінці пошуку Google найчастіше використовується більш швидка модель Gemini Flash, а не найточніша Gemini 3.1 Pro.

Оцінка нових ШІ-моделей ускладнюється їх недетермінованою природою: нейромережа може дати правильну відповідь на фактичне запитання, а при негайному повторному запиті — помилитися. При цьому власні тести Google для базових моделей (без доступу до даних з інтернету) показують точність у діапазоні від 60 до 80 %. З цієї причини компанія супроводжує всі ШІ-відповіді попередженням про те, що штучний інтелект може помилятися, закликаючи перевіряти інформацію.

3dnews

Хочеш дізнатися більше — читай відгуки