Дослідники за допомогою штучного інтелекту перетворили звичайні смарт-годинники на систему точного відстеження рухів руки

Вчені з Корнельського університету та Корейського інституту передових технологій (KAIST) розробили систему WatchHand, яка за допомогою штучного інтелекту перетворює звичайні смарт-годинники на пристрій для відстеження рухів рук. WatchHand працює в режимі реального часу, використовує вбудований динамік і мікрофон стандартних смарт-годинників і не потребує жодного додаткового обладнання.

Джерело зображення: Jason Koski / Cornell University

Принцип роботи системи полягає в випромінюванні неслышимих звукових хвиль з динаміка смарт-годинників. Відбиті хвилі зчитуються мікрофоном пристрою, створюючи ехо-профіль. Алгоритм машинного навчання обробляє ці дані безпосередньо на пристрої для оцінки положення руки в трьох вимірах.

На відміну від існуючих носимих систем відстеження рухів рук, які покладаються на камери або громіздкі зовнішні датчики, WatchHand не потребує додаткового обладнання. Це робить систему значно більш практичною для повсякденного використання та масштабованою для мільйонів існуючих пристроїв.

Система була протестована на 40 учасниках у чотирьох окремих дослідженнях, зібравши близько 36 годин даних про жести. Вона оцінювалася на кількох моделях смарт-годинників, при різних положеннях рук і в шумному середовищі. Результати показали, що WatchHand може надійно відстежувати рухи пальців і обертання зап'ястя в різних умовах.

Джерело зображень: unsplash.com

Мета дослідників — зробити саму людську руку пристроєм введення для взаємодії з комп'ютерами та іншими цифровими системами, зменшивши залежність від клавіатур, мишей і сенсорних екранів. «В майбутньому, завдяки такій технології відстеження рухів рук, ми, можливо, зможемо набирати текст лише за допомогою смарт-годинників, — вважає аспірант Корнельського університету та співавтор дослідження Чі-Джунг Лі (Chi-Jung Lee). — Наші руки можуть виступати в якості пристрою введення для комп'ютерів».

Технологія може забезпечити роботу з цілим рядом застосувань, включаючи управління комп'ютерами на основі жестів, системи доповненої та віртуальної реальності, а також допоміжні інструменти для користувачів з обмеженою рухливістю або мовленням. «WatchHand суттєво знижує бар'єри для відстеження положення рук, — підкреслив аспірант KAIST і співавтор дослідження Дживан Кім (Jiwan Kim). — Якщо у якогось пристрою є динамік і мікрофон, наш підхід застосовний».

Система обробляє всі дані локально на смарт-годинниках, вирішуючи проблеми конфіденційності, пов'язані з хмарними системами відстеження. Це також знижує затримку, забезпечуючи взаємодію в реальному часі без необхідності зовнішніх обчислень. WatchHand заснована на акустичній підсистемі носимих пристроїв, що передбачає переваги в енергоефективності та точності в порівнянні з системами на основі машинного зору.

«WatchHand відображає більш широке бачення моєї лабораторії щодо перетворення звичайних носимих пристроїв в інтелектуальні платформи для відстеження поведінки, — заявив доцент Корнельського університету Ченг Чжан (Cheng Zhang). — За допомогою простого оновлення програмного забезпечення ми потенційно можемо розблокувати абсолютно нові можливості на мільйонах існуючих пристроїв».

Однак у технології поки є обмеження. Наразі вона працює лише на смарт-годинниках на базі Android і стикається з труднощами в підтримці точності, коли користувач знаходиться в русі, наприклад, під час ходьби. Дослідники працюють над покращенням продуктивності в цих умовах. Результати дослідження будуть представлені на конференції ACM CHI з людського фактора в обчислювальних системах.

Хочеш дізнатися більше — читай відгуки