Медичні ШІ легко дають шкідливі поради, якщо симптоми описані розумними словами

Сучасні великі мовні моделі (LLM), що застосовуються в медицині, часто позиціонуються як інструмент для підвищення безпеки та якості обслуговування пацієнтів. Штучний інтелект виступає помічником лікарів при обробці інформації, що прискорює роботу медиків. Однак нове дослідження виявило серйозну вразливість: медичні ШІ-системи здатні повторювати та передавати хибну інформацію, якщо вона представлена в переконливій формі.

Джерело зображення: ШІ-генерація Grok 4

В ході масштабного експерименту дослідники протестували дев’ять провідних LLM, використовуючи понад мільйон запитів. Вони створили три типи сценаріїв: реальні історії хвороб з бази MIMIC з однією доданою хибною, популярні міфи про здоров’я з форуму Reddit та 300 клінічних ситуацій, складених і перевірених лікарями. Хибні твердження варіювалися за стилем — від нейтральних до емоційно забарвлених, а також натякаючих на певні висновки (не обов’язково вірні). Результати показали, що моделі часто сприймали впевнено сформульовані хибні медичні твердження за істину, віддаючи перевагу стилю та контексту, а не медичній точності.

Дослідження показало, що існуючі механізми захисту LLM недостатньо надійно відрізняють правду від вигадки в клінічній документації або в соціальних мережах. Моделі схильні відтворювати неправду, якщо вона виглядає як стандартна медична рекомендація або частина обговорення в соцмережах. Автори підкреслюють, що сприйнятливість ШІ до дезінформації слід розглядати як вимірювальний параметр безпеки, а не як випадкову помилку. Для цього вони пропонують використовувати створений ними набір даних як «стрес-тест» для медичних ШІ-систем. Сподіваємося, їх почують розробники.

Хочеш дізнатися більше — читай відгуки