В Apple знайшли спосіб швидко та ефективно створювати 3D-сцени за допомогою ШІ

Вчені Apple розробили технологію, яка дозволяє значно підвищити ефективність відтворення тривимірних просторів високої роздільної здатності. Вона не вимагає суттєвого зростання обчислювальних ресурсів при підвищенні роздільної здатності.

Джерело зображення: yxlao.github.io/lgtm

Технологія отримала назву LGTM (Less Gaussians, Texture More) — окрім дослідників Apple, у її розробці брали участь вчені Гонконгського університету. Існуючі методи відтворення тривимірних сцен за фотографією або будь-яким іншим плоским зображенням призводять до різкого зростання обчислювальних витрат із підвищенням роздільної здатності — наприкінці минулого року компанія представила технологію, засновану на побудові віртуального простору з тривимірних представлень функції Гаусса, і цій технології також властивий цей недолік.

Проблему вирішує система LGTM — «відокремлення геометричної складності від роздільної здатності рендерингу». Простими словами, вчені відокремили структуру сцени від її візуальних деталей: геометрія простору залишається максимально простою, а деталі високої роздільної здатності додаються на етапі накладення текстур. Під час навчання модель формує каркас сцени на зображеннях низької роздільної здатності, після чого результат порівнюється з вихідними картинками високої роздільної здатності — в результаті вона починає будувати геометрію простору, при якій результат виявляється точним навіть при відтворенні в роздільностях 2K і 4K без пробілів і артефактів. Якщо перша нейромережа відповідає за побудову геометрії, то друга вивчає картинку високої роздільної здатності і на її основі створює деталізовані текстури, які накладаються поверх простого каркаса, створеного першою.

В результаті технологія LGTM дозволяє відтворювати деталізовані тривимірні сцени в роздільності 4K без квадратичного зростання ресурсів, властивого традиційним системам. На практиці це рішення допоможе, наприклад, у роботі систем віртуальної та доповненої реальності — сумарна роздільна здатність дисплеїв Apple Vision Pro складає 23 мегапікселі, і це вимагає колосальних обчислювальних ресурсів.

Хочеш дізнатися більше — читай відгуки