Google представила ШІ-генератор відео Gemini Omni 1.1 Flash

Google анонсувала модель штучного інтелекту Gemini Omni 1.1 Flash, призначену для генерації відео. Проект є спробою вирішити задачу, як за заданим зразком з кількох кадрів згенерувати органічний ролик — розробникам надається більший контроль над тим, що відбувається між першим і останнім кадром.

Джерело зображення: blog.google

Найважливішим нововведенням Google Gemini Omni 1.1 Flash є здатність моделі запам'ятовувати існуюче відео, коли вона отримує інструкцію продовжити сцену; модель покладається не лише на останні кадри, а на 10 секунд попереднього відеоматеріалу. Це допомагає їй зберігати персонажів, оточення та загальний напрямок сцени більш узгодженими, і не потрібно вгадувати, що має статися далі. Розширився набір можливостей для продовження вихідних сцен. Відео можна подовжувати фрагментами по 10 секунд, поки загальна довжина ролика не досягне 40 секунд. Цей проміжок може здаватися не таким вже тривалим у порівнянні з традиційним відео, але відкривається більш широкий набір можливостей для генерації послідовностей за допомогою ШІ — з заданими початком, серединою та кінцем.

Це означає, що користувач може надати перший і останній кадри, а Google Gemini Omni 1.1 Flash згенерує все необхідне для їх з'єднання. Це може бути рух камери навколо об'єкта, плавне масштабування композиції або зациклений ролик. Можна надіслати моделі до трьох секунд реального відео для додаткового візуального контексту, а вона сама, наприклад, зобразить появу персонажа в згенерованій сцені. На етапі попередніх матеріалів максимальна якість відео не потрібна — вони можуть генеруватися в роздільній здатності 360p, що дозволяє ШІ працювати на 60 % швидше, ніж у випадку з 720p, і втричі дешевше. Можна протестувати задумку, скоригувати підказки, опрацювати кілька версій, і коли результат виявиться оптимальним, Omni 1.1 Flash створить відео в 1080p або масштабує його до 4K.

Доступ до Google Gemini Omni 1.1 Flash вже відкрився через API Gemini в Google AI Studio, корпоративні клієнти можуть працювати з моделлю через Google Agent Platform. Приватні користувачі за наявності підписки Google AI Plus, Pro та Ultra можуть відкрити нову модель у Google Flow; для них функція розширення сцени з'явиться і в основному додатку Gemini.

Хочеш дізнатися більше — читай відгуки