ּּּИИ поможет Meta добиться реалистичного звука в виртуальных мирах

26 июня 2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Источник изображения: Rodger Shija / pixabay.com

Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

3dnews

Хочешь узнать больше - читай отзывы

← Вернуться на предыдущую страницу

Читайте также:

Швеція розглядає можливість припинити видачу віз росіянам 11 августа 2022

Шведський уряд готовий обмежити візовий режим для громадян РФ, якщо такий крок зробить ЄС.

Samsung представила TWS-наушники Galaxy Buds2 Pro - 29 часов автономности, 24-битный звук и активное шумоподавление 11 августа 2022

В августе прошлого года компания Samsung представила беспроводные наушники Galaxy Buds2. На сегодняшнем мероприятии Galaxy Unpacked производитель анонсировал Pro-версию устройства. TWS-наушники Galaxy Buds2 Pro на 15 % компактнее своих предшественников, что делает их более комфортными при продолжительном использовании.

LG представила беспроводные наушники Tone Free T60 с зарядным футляром UVnano 10 августа 2022

Компания LG Electronics (LG) анонсировала полностью беспроводные наушники погружного типа Tone Free T60, обеспечивающие звук высокого качества. Новинка создана в партнёрстве со специалистами Meridian Audio.

 

Вас могут заинтересовать эти отзывы

Zrenie.dp.ua 5.0
Zrenie.dp.ua

Отзывов: 2

Anex m/type 5.0
Anex m/type

Отзывов: 1

Leo-shop.com.ua 0.5
Leo-shop.com.ua

Отзывов: 1

Каталог отзывов





×

Выберите область поиска

  • Авто
  • Одежда / аксессуары
  • Работодатели
  • Другое