Google запустила більш дешевий ШІ-генератор відео: Gemini Omni 1.2 Flash створює 15-секундні ролики та редагує їх без перегенерації

Компанія Google оголосила про запуск ШІ-моделі Gemini Omni 1.2 Flash, яка призначена для генерації відео. Оновлений алгоритм може створювати ролики тривалістю до 15 секунд, краще реагує на текстові підказки та підтримує можливість редагування створених відео. Крім того, на 30 % знизилася вартість взаємодії з ШІ-моделлю в порівнянні з Gemini Omni 1.1: $0,07 за секунду відео з роздільною здатністю 720p.

Джерело зображення: Google

Окрім зниження ціни генерації, оптимізувати витрати допомагає сам процес взаємодії з Gemini Omni 1.2 Flash. Користувач може швидко створити чернетку відео в якості 360p або 720p, потім внести точкові корективи за допомогою текстових запитів (замість того, щоб генерувати весь ролик заново), а після цього створити фінальну версію ролика у форматі 1080p або 4K.

Gemini Omni 1.2 Flash підтримує створення роликів тривалістю до 15 секунд, тоді як Gemini Omni 1.1 дозволяла створювати 10-секундні відео. Тривалість відео можна задати з кроком у 1 секунду — від 3 до 15 секунд. Такий підхід дозволяє створювати, наприклад, повноцінні рекламні ролики, огляди продуктів тощо.

У процесі редагування користувач може направляти ШІ-модель у потрібному йому напрямку, комбінуючи зображення персонажів, продуктів або стилів, фрагменти рухів тривалістю до 3 секунд та аудіопідказки. Обличчя персонажів, їхній одяг, зображення на упаковках товарів та кольори зберігають узгодженість при зміні ракурсів протягом усього ролика.

Розробники досягли зменшення «візуального дрейфу», завдяки чому нейромережа краще зберігає впізнаваність персонажів, об'єктів і сцен від першого до останнього кадру. Один і той же ролик можна доопрацьовувати крок за кроком. Наприклад, можна замінити якийсь об'єкт або фон, змінити освітлення або погоду, співвідношення сторін. Багатоступеневе діалогове редагування доступне для 15-секундних відео, завдяки чому простіше створювати рекламні ролики для різної аудиторії або різних регіонів без необхідності генерувати відео з нуля.

При необхідності можна згенерувати відео з більш плавним і природним звучанням діалогів, більш чіткою синхронізацією губ і роздільною настройкою для всіх говорячих. Реалізована можливість задати безперервний рух камери з урахуванням суворої узгодженості кадрів. Персонажі, текст і рухи камери залишаються узгодженими протягом усього відео, у кількох ітераціях і при переходах.

Хочеш дізнатися більше — читай відгуки