Netflix навчив власну ІІ-модель безслідно видаляти об'єкти з відео та правдоподібно перебудовувати сцену

Netflix відкрив доступ до моделі VOID для редагування відео за допомогою ШІ, яка видаляє з кадру об'єкти та сліди їх взаємодії з навколишнім середовищем, а потім відновлює сцену так, щоб залишені елементи поводилися правдоподібно без видаленого об'єкта. Модель ШІ вже доступна для встановлення на Hugging Face і, за даними розробників, в опитуванні з 25 учасників отримала 64,8 % переваг проти 18,4 % у її найближчого конкурента Runway.

Джерело зображення: void-model.github.io

VOID (Video Object and Interaction Deletion) розрахована на сцени, де після видалення об'єкта потрібно змінити поведінку всього іншого кадру. Замість пересйомки або повної переробки епізоду за допомогою комп'ютерної графіки модель ШІ дозволяє перетворити вже знятий матеріал у нову версію сцени. В описі технології цей підхід зводиться до простої задачі: прибрати з відеозапису причину події та одночасно перерахувати її наслідки.

Netflix відносить розробку до ШІ-моделей, які працюють одночасно з зображенням і текстом. Система не тільки стирає об'єкт зі сцени, але й відновлює відсутні частини відеоряду так, щоб залишені елементи виглядали так, ніби видаленого об'єкта не було. Один з прикладів — лобове зіткнення двох автомобілів, яке ШІ перетворює на сцену з одним автомобілем на дорозі, прибираючи другий транспортний засіб і перестраюючи траєкторію першого. При наявності уламків, диму та полум'я вони також видаляються.

Другий приклад — людина стрибає в басейн, а система після видалення фігури перестраює сцену так, що вода виглядає спокійною і ні в басейні, ні поруч з ним не залишається слідів сплеску.

Автори ШІ-моделі в попередній науковій статті називають VOID системою видалення об'єктів з відео для фізично правдоподібного відновлення зображення в складних сценах. Netflix порівняла модель VOID з Runway, Generative Omnimatte, DiffuEraser, ROSE, MiniMax-Remover і ProPainter. В опитуванні 25 осіб на кількох сценах VOID обрали в 64,8 % випадків, Runway — в 18,4 %. Розробники також стверджують, що перевірили ШІ-модель на штучно створених і реальних даних і продемонстрували її перевагу над базовими системами відновлення відео та моделями, які змінюють відеоряд за текстовим вказівником.

Хочеш дізнатися більше — читай відгуки