Мозкові імпланти дозволили паралізованому чоловікові писати музику

Мозкові комп'ютерні інтерфейси все частіше застосовуються для відновлення втрачених функцій. Паралізований 69-річний психолог-дослідник Гален Бакволтер (Galen Buckwalter) використовує шість мозкових імплантатів не лише для управління комп'ютером і відновлення чутливості, але й для генерації музичних тем, які вже використовуються в новому альбомі панк-групи Siggy з Лос-Анджелеса.

Джерело зображень: Siggy

У 16 років Бакволтер отримав травму під час занурення, внаслідок чого опинився паралізованим нижче грудей. У 2024 році він взяв участь у дослідженні мозкового комп'ютерного інтерфейсу в Каліфорнійському технологічному інституті та переніс краніотомію для імплантації шести чипів Blackrock Neurotech у моторну кору головного мозку.

Кожен чип містить 64 канали, надаючи дослідникам 384 окремих потоки нейронних даних для моніторингу намірів користувача. Ці сигнали декодуються, що дозволяє Бакволтеру керувати курсором, відчувати дотики пальцями, які були онімлими десятиліттями, а тепер і користуватися комп'ютерним аудіоінтерфейсом.

Джерело зображення: Techspot

Бакволтер говорить, що «хотів знати, як звучить його мозок» — у цьому йому допоміг аспірант Каліфорнійського технологічного інституту Шон Дарсі (Sean Darcy), який у свій вільний час розробив ПЗ для перетворення думок у керовані звуки. В основі системи Дарсі лежить співвідношення частоти імпульсів окремих нейронів з висотою тону. У кожного нейрона є «базова частота» — коли Бакволтер думає про конкретний рух, деякі канали активізуються, а інші затихають.

Дарсі присвоїв кожному базовому мисленному руху свій тон. Коли Бакволтер збільшує активність нейрона — наприклад, уявляючи, як він витягує палець ноги, — висота тону підвищується; коли він пригнічує її, висота тону знижується. Поєднуючи різні уявні рухи з різними каналами, він може одночасно керувати кількома тонами, хоча, за його словами, більше двох мисленних рухів наразі відчувається як «одночасне погладжування голови і живота».

Щоб зробити інтерфейс більш музичним, Дарсі додав віртуальну клавіатуру поверх безперервного управління. Тони звучать лише тоді, коли нейронна активність перетинає порогове значення, і припиняються, коли вона знижується, що дає Бакволтеру щось більше схоже на інструмент з дискретними нотами, ніж на потік необроблених даних. Зв'язок між мозком і імплантом не зовсім стабільна. Один і той же канал може перестати відповідати працездатному нейрону, що змушує команду перекалібровувати і знаходити реагуючі клітини перед кожною сесією.

Для Бакволтера творчі можливості — це не просто новинка, що доповнює клінічну роботу, а центральний елемент того, як, на його думку, повинні розвиватися дослідження в області інтерфейсів мозок-комп'ютер. Він критикує те, що вважає вузькоспрямованою фокусуванням на експериментальних цілях дослідників на шкоду інтересам самих учасників.

На його думку, ця область буде стагнувати, якщо до людей, які живуть з імплантами, будуть ставитися в першу чергу як до джерел даних, а не як до людей, чиї мотиви — музика, мистецтво або інші самостійні проекти — визначають порядок денний. «Я думаю, нам обов'язково потрібно вивчати, як використовувати це для розвитку творчості, — вважає він. — Відновлення, так, це в першу чергу. Але ми набагато більше, ніж просто рухи і відчуття».

Панк-група Siggy стала полігоном для перевірки його філософії. Музиканти включили один з треків, створених у лабораторії Бакволтера, у Wirehead, у заголовну пісню свого останнього альбому, випущеного 15 березня. У композиції використовуються звуки, отримані безпосередньо з його нейронних сигналів, при цьому Дарсі фактично виступає в ролі звукорежисера, модулируючи параметри, в той час як Бакволтер виконує музику, керуючи своїм мозком.

Джерело зображення: Techspot

Зараз вони працюють над створенням цілих треків виключно з «нейронної музики», наближаючись до того, що Бакволтер описує як діджейську установку, повністю виникаючу з активності його моторної кори головного мозку. Для технології, яка все ще в значній мірі визначається клінічними показниками, це дає раннє уявлення про те, як інтерфейси мозок-комп'ютер можуть використовуватися як у культурі, так і в охороні здоров'я.

Хочеш дізнатися більше — читай відгуки