Adobe анонсувала нові інструменти для створення фільмів з використанням генеративного штучного інтелекту, які пропонують цікаві способи створення звукових ефектів та контролю за генерованими відео. Окрім звичних текстових запитів, які зазвичай дозволяли деталізувати, що саме моделі Firefly AI повинні створити або редагувати, користувачі тепер можуть використовувати голосові записи, схожі на ономатопею, для генерації кастомних звуків, а також референсні відео для керування рухами у генерованих Firefly відео.
Інструмент для генерації звукових ефектів, який запускається в бета-версії на платформі Firefly, може використовуватися з записаними та згенерованими відео і надає більший контроль над створенням звуку, ніж відеоінструмент Google Veo 3. Інтерфейс нагадує часову лінію редагування відео і дозволяє користувачам синхронізувати ефекти, які вони створюють, із завантаженим відеом. Наприклад, користувач може відтворювати відео з конем, що йде дорогою, та одночасно записувати «келех» звуки в такт його копитам, разом із текстовим описом «копита по асфальту». Інструмент потім згенерує чотири варіанти звукових ефектів для вибору.
Це продовжує експеримент Project Super Sonic, який Adobe продемонструвала на заході Max у жовтні. Хоча інструмент не працює для мови, він підтримує створення звукових ефектів, таких як тріск гілок, кроки, звуки блискавки тощо, а також атмосферні звуки, такі як звуки природи і міська амбієнція.
До генератора тексту в відео Firefly також додаються нові розширені функції. Composition Reference дозволяє користувачам завантажувати відео разом із текстовим запитом, щоб відобразити композицію цього відео в згенерованому, що має спростити досягнення конкретних результатів у порівнянні з багаторазовим введенням текстових описів. Функція ключового кадру дозволить користувачам обрізати та завантажувати зображення перших і останніх кадрів, які Firefly може використовувати для генерування відео між ними, а нові стилі-попередні вибори забезпечують вибір візуальних стилів, які користувачі можуть швидко вибрати, включаючи аніме, векторну графіку, ліплення з глини тощо.
Ці стилі-попередні вибори доступні лише для використання з власною моделлю відео AI Firefly від Adobe. Результати, як показав живий демонстраційний показ, залишають бажати кращого — варіант «ліплення з глини» виглядав як рання 3D анімація 2000-х років. Але Adobe продовжує додавати підтримку для суперницьких AI моделей у своїх інструментах, і керівник Генеративного AI в Adobe, Александру Костин, повідомив, що подібні керуючі функції та попередні вибори можуть стати доступними для використання з сторонніми AI моделями у майбутньому. Це свідчить про те, що Adobe прагне зберегти своє місце на вершині ринку креативного програмного забезпечення, оскільки інструменти AI стають дедалі популярнішими, навіть якщо їм потрібно надолужувати відставання від таких гігантів, як OpenAI та Google у самих генеративних моделях.