Nvidia навчилася визначати відеофейки

Присутність матеріалів, створених штучним інтелектом, невпинно зростає, і людям все важче відрізняти реальний контент від підробок, створених ІІ. З'являються засоби, що допомагають виявляти такі матеріали — одне з них отримало назву Nvidia Synthetic Video Detector (SVD).

Джерело зображення: nvidia.com

SVD належить до класу служб Nvidia Inference Microservice (NIM) і недоступна для споживачів. Її завдання відносно просте: визначити, чи є відео реальним, чи воно було згенероване ІІ. Служба аналізує відео в великих масштабах, покадрово розбиваючи відеоряд для виявлення аномалій. Система досліджує відеофайл не цілком, а розбиває кадри на фрагменти розміром 504 × 504 пікселі. Ці фрагменти вивчаються двома моделями: Meta DINOv2 та DINOv3. Їхнє завдання — формування патернів без підказок з боку людини. Зазвичай ці моделі використовуються для класифікації зображень, їх пошуку, виявлення об'єктів та оцінки глибини.

Моделі вивчають просторові характеристики фрагментів кадрів і присвоюють їм оцінки: «0» — зображення повністю реальне, або «1» — це точно підробка. За підсумками комплексного аналізу оцінки сумуються, і формується середнє значення, яке показує користувачу відсоткову оцінку, чи є запропоноване відео підробкою, чи ні. На практиці найкращі результати система демонструє при вивченні несжатого відео — 92 %. При стисненні на 15 % цей показник падає до 87 %, а при стисненні на 50 % — до 82 %. Затримка невелика: обробка відео з роздільною здатністю 1080p займає на графічних процесорах Nvidia RTX 22 мс, на робочих станціях Nvidia — 30 мс.

Для роботи SVD потрібен кодировщик NVENC, тому прискорювачі для центрів обробки даних, в тому числі Nvidia B100, не можуть запускати службу нативно. Спільно з Wowza компанія Nvidia наразі розробляє систему виявлення підробленого відео в реальному часі, яку можна буде вбудовувати в робочі процеси потокового відео.

Хочеш дізнатися більше — читай відгуки