ШІ близький до читання думок: нейромережа відтворила побачене людиною за знімками мозку

Вчені з Інституту Вейцмана в ізраїльському Реховоті розробили ШІ-інструмент, який з вражаючою точністю відтворює те, що бачить людина, просто аналізуючи знімки її мозку. Технологія працює і в зворотному напрямку: спираючись на те, що бачить людина, можна передбачити активність мозку. Вчені вважають, що їхнє відкриття допоможе в дослідженні мозку людини, а також буде корисним для людей із синдромом «заблокованої людини» або допоможе відтворювати зміст снів.

Джерело зображення: Unsplash, Sasun Bughdaryan

На наведеному зображенні зліва в кожній парі розташоване те, що людина дійсно бачила, а справа — те, що ШІ-алгоритм згенерував на основі аналізу знімків мозку випробуваного. Робота ізраїльських вчених вже отримала позитивні відгуки. Так, Джуді Іллес (Judy Illes), нейроетик і професор неврології в Університеті Британської Колумбії в Канаді, вважає роботу ізраїльських колег «чудовою». «Сама ідея використовувати такий підхід для терапевтичної допомоги людям з неврологічними станами неймовірно надихає», — заявила Іллес.

Однак інші вчені вважають, що подібний підхід може використовуватися для розкриття думок і ментальних образів людей, навіть без їхньої згоди. «Результати виглядають дуже вражаюче. Але якщо з'явиться спосіб непомітно витягувати інформацію про те, про що ви думаєте, то <…> 150 років наукової фантастики можуть втілитися в реальність у будь-який момент, і це в багатьох відношеннях тривожно», — впевнений Томмі Спраг (Tommy Sprague), нейробіолог з Каліфорнійського університету в Санта-Барбарі.

Нейробіологи роками шукають способи використовувати функціональну магнітно-резонансну томографію (фМРТ), щоб відтворити те, що бачать люди, а також те, що відбувається в їхній свідомості. Результатом перших подібних спроб стали розмиті зображення, на яких було важко щось розібрати. З роками ситуація покращилася завдяки оптимізації фМРТ-сканувань і інструментів для інтерпретації результатів.

Ізраїльські вчені почали свою роботу з аналізу загальнодоступних даних фМРТ мозку. Інші дослідники вже зібрали знімки добровольців, яким показували сотні зображень, коли вони перебували всередині апарату фМРТ. Вчені також проаналізували набори даних, які були отримані на сканерах з високим розділенням. Ці дані показали, якою була активність мозку учасників експерименту, коли вони розглядали різні зображення.

Раніше вчені вже працювали над створенням технології відтворення зображень того, що бачить людина, на основі даних сканування мозку. Для цього використовувалися різні інструменти, але жоден з них не давав подібного результату. Щоб досягти цього, вченим довелося почати з навчання ШІ-моделі. Для збору навчальних даних восьми добровольцям, кожен з яких перебував у фМРТ-сканері високого розділення, показали близько 9 тисяч зображень.

Джерело зображення: technologyreview.com

Ключова особливість створеного вченими декодера полягає в тому, що він працює одразу в двох напрямках: передбачає структуру зображення (наприклад, де розташовані кольори), а також зміст зображення (наприклад, зв'язку бананів на тарілці). Такий підхід дозволяє ШІ-моделі генерувати значно чіткіші зображення того, що бачив чоловік. Однак для підвищення точності системи вченим знадобилося значно більше даних, ніж було в наявності. Для подолання цієї проблеми вони навчали ще одну ШІ-модель — своєрідний енкодер, здатний передбачати активність мозку за зображенням. Після цього енкодер і декодер почали використовуватися разом, щоб паралельно покращувати обидва інструменти.

Це працює наступним чином. Спочатку береться нове зображення, наприклад, леопарда. За допомогою енкодера генерується передбачення того, як виглядатиме фМРТ-знімок мозку людини, яка дивитиметься на це зображення. Далі за допомогою декодера отримане зображення реконструюється. Спочатку реконструйовані зображення мало схожі на вихідне. Однак багаторазове тренування моделі таким чином з часом дає значний приріст якості.

Такий підхід також дозволяє вченим навчати моделі на скільки завгодно великій кількості зображень, включаючи ті, які не показували людині, що лежала в фМРТ-сканері. За даними джерела, приблизно 70% навчальних даних — це зображення, спочатку не співвіднесені зі знімками фМРТ.

Об'єднавши дані з кількох досліджень, вчені також змогли виділити області мозку, функції яких, ймовірно, збігаються у всіх людей. Наприклад, одна область реагувала на зображення їжі, а інша — на зображення спортивної тематики. Вчені не виключають, що створена ними технологія дозволить «дізнатися щось нове про мозок».

Що стосується енкодера, то він може працювати зі знімком нового людини після мінімальної калібровки. Однак зазвичай навчання моделі займає близько 40 годин фМРТ-даних для кожного випробуваного, після чого алгоритм стає здатним передбачати те, що бачить людина. У випадку декодера для навчання вистачає однієї години даних. Результати виконаної роботи вчені минулого місяця представили на конференції Cognitive Computational Neuroscience в Нью-Йорку.

В подальшому дослідники планують вийти за межі зображень, перейшовши до відео та аудіо. Врешті-решт вони хочуть навчити ІІ реконструювати те, про що думає людина або що уявляє, а також зміст снів. Однак можливість створення такої технології неминуче підніме питання приватності людських думок, оскільки йдеться про використання ШІ для реконструкції думок або спогадів без згоди людини.

Хочеш дізнатися більше — читай відгуки