Google представила ІІ-модель SL2T, яка розуміє мову жестів

Підрозділ Google DeepMind розповів про намір донести революцію в галузі штучного інтелекту до 70 млн людей у всьому світі, які спілкуються жестовими мовами. Нова модель SL2T перетворює ці мови на текст.

Джерело зображення: deepmind.google

Google SL2T — багатомовна модель-перекладач, яка дебютує на смартфонах Pixel 11, дозволяючи перетворювати жестову мову на текст через додатки Gboard і Live Transcribe. На початковому етапі її застосування обмежується американською жестовою мовою та її перекладом на англійську. Здатність штучного інтелекту обробляти людську мову за останні роки значно просунулася — зараз можна просто диктувати текст на смартфон, планшет або ПК. Але до цього моменту це не стосувалося тих, хто користується одним з більш ніж 200 існуючих жестових мов.

Модель SL2T дозволяє людям з проблемами слуху взаємодіяти зі смартфоном, використовуючи звичну мову і не вводячи текст вручну. У цьому форматі тепер можна надсилати пошукові запити, складати електронні листи та повідомлення для месенджерів, редагувати документи та виконувати інші завдання, зокрема надсилати запити та інструкції для ШІ-помічника Gemini. Модель доступна в Google Live Transcribe, тобто переклад з жестової мови можна здійснювати в реальному часі під час відеодзвінків.

Google навчила SL2T на більш ніж 100 тис. годин даних 50 жестових мов, і чверть з цього набору стосується американської. Первісний варіант підтримує лише американську, але Google проводила навчання і на прикладах інших, щоб модель могла вивчити загальні закономірності. Щоб розвіяти побоювання щодо конфіденційності, в Google уточнили, що в SL2T використовується вбудована модель комп'ютерного зору MediaPipe Holistic, яка відстежує геометрію положень обличчя, рук, тулуба та тіла людини — на хмарний сервер надсилаються лише їх координати, а не відеозапис.

Модель здійснює перетворення безпосередньо в текст, минаючи проміжні текстові анотації. Це дозволяє SL2T ефективніше інтерпретувати невербальні вирази та просторові граматичні структури, характерні для американської жестової мови. Google також вжила заходів для скорочення затримки, запобігання галюцинаціям, передбачила підтримку лівшів і правшів, а також користувачів, які «говорять» лише однією рукою — щоб інша могла тримати смартфон. Важливим відмінністю SL2T від попередніх моделей того ж призначення є її здатність стежити не лише за руками, але й за рухом голови, обличчя та тулуба, які також допомагають передавати сенс. У перспективі Google має намір охопити інші жестові мови, а також розробити моделі для генерації безпосередньо на цих мовах.

Хочеш дізнатися більше — читай відгуки