Adobe Firefly навчився додавати звуковий супровід до генерованих ШІ відео

С тех пор как в апреле Adobe выпустила обновлённое приложение Firefly, для платформы генеративных ИИ-сервисов компании почти каждый месяц выходят крупные обновления. Сегодня разработчики представили несколько новых функций, которые будут полезны тем, кто использует сервис для создания видео.

Источник изображения: Adobe

Начнём с того, что Adobe упростила процесс добавления звуковых эффектов к клипам, созданным с помощью генеративных нейросетей. В настоящее время многие алгоритмы генерируют видео без звукового сопровождения. Adobe решает эту проблему с помощью новой функции, которая позволяет пользователю сначала описать звуковой эффект, который он хочет создать, а затем попытаться его воспроизвести. Вторая часть необходима не для того, чтобы ИИ-алгоритм имитировал звук, а для того, чтобы система лучше поняла, какую интенсивность и продолжительность звука ожидает пользователь.

Во время демонстрации сотрудник Adobe использовал новую функцию, чтобы добавить звук расстёгивающейся молнии. Он произнёс «ззззттт», после чего алгоритм в точности воспроизвёл этот эффект с нужной громкостью. Отмечается, что не всегда генерация звука проходит безупречно, однако функция вполне подходит для создания черновых версий, как и задумывала Adobe.

Ещё одной новой функцией стала Composition Reference. Она позволяет загрузить изображение или видео для управления процессом генерации. С помощью Video Presets можно задать стиль создаваемого ролика. Среди прочего на данный момент доступны стили аниме, чёрно-белое видео и видео с использованием векторной графики. Функция Keyframe Cropping позволяет загрузить первый и последний кадры и выбрать соотношение сторон, после чего Firefly сгенерирует видео, соответствующее заданному формату.

В июне на платформе Adobe появилась поддержка ИИ-алгоритмов сторонних разработчиков, и в этом месяце их список расширился. Наиболее примечательным стало появление модели Google Veo 3, представленной в мае на конференции Google I/O 2025. В настоящее время Veo 3 — одна из немногих ИИ-моделей, способных генерировать видео со звуком. Каждое видео, созданное на платформе Firefly, имеет цифровую подпись, указывающую на то, что ролик был сгенерирован с помощью ИИ.

Хочешь узнать больше - читай отзывы