ּּּИИ поможет Meta добиться реалистичного звука в виртуальных мирах

26 июня 2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Источник изображения: Rodger Shija / pixabay.com

Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

3dnews

Хочешь узнать больше - читай отзывы

← Вернуться на предыдущую страницу

Читайте также:

В Україні готують медиків до оновлення Календаря щеплень: навчання пройдуть 20 тисяч фахівців 21 октября 2025

В Україні стартував перший етап каскадної програми тренінгів для медиків, присвячених змінам у національному Календарі профілактичних щеплень, який набуде...

Де інтернет б'є по гаманцю, а де майже задарма: несподіваний рейтинг країн 21 октября 2025

Де інтернет б'є по гаманцю, а де майже задарма: несподіваний рейтинг країн

Анастасія Приходько накинулась на українського підлітка, який зробив їй зауваження через російську мову 21 октября 2025

"Скільки можна сидіти на двох стільцях?" Анастасія Приходько накинулась на українського підлітка, який зробив їй зауваження через російську мову Артистка принизила українців

 

Вас могут заинтересовать эти отзывы

Aura school 5.0
Aura school

Отзывов: 1

Medion Group 5.0
Medion Group

Отзывов: 1

Каталог отзывов





×

Выберите область поиска

  • Авто
  • Одяг / аксесуари
  • Роботодавці
  • Інше