Аналитический отчёт

Suno добавила ИИ-инструменты для картинок и видео с липсинком к песням

Новая функция Visuals от ИИ-компании в сфере музыки превращает треки в 15-секундные видеоклипы и обложки; оплата идёт из отдельного пула кредитов.

INSIGHTEX Editorial Desk

2 мин чтения

Suno добавила ИИ-инструменты для картинок и видео с липсинком к песнямАналитический отчёт

Что произошло

Suno, платформа для генерации музыки с помощью ИИ, запустила функцию Visuals, которая создаёт изображения и короткие видео к песням, сделанным в её сервисе, сообщило издание The Verge. Видеоклипы можно автоматически синхронизировать с текстом трека (липсинк), а статичные изображения, созданные по текстовым запросам, предназначены для превью, обложек альбомов и подобных задач. Инструмент доступен в вебе, а также на iOS и Android.

Пользователи выбирают фрагмент песни длительностью не более 15 секунд и задают опорное изображение: это может быть один из встроенных персонажей Suno, загруженное фото или рисунок либо результат генерации по запросу. Это изображение может служить как начальным, так и конечным кадром, что упрощает склейку клипов, а редактор с таймлайном позволяет собирать более длинные видео, добавлять текст песни и менять соотношение сторон под разные форматы.

Visuals работает на модели H3 Move, построенной на основе H3 от MiniMax. В Suno заявили, что настроили модель под своих пользователей и добавили текстовые и визуальные фильтры, чтобы не дать создавать образы конкретных артистов или публичных лиц, а также защищённые авторским правом произведения и объекты интеллектуальной собственности. Для генерации используется новый тип кредитов Visuals, отдельный от кредитов, которые тратятся на песни, поэтому функция требует от пользователей дополнительных расходов.

Контекст

Visuals появилась вслед за Speech — функцией для создания речи и закадрового голоса, которую Suno представила в октябре. Выход в новые форматы происходит после того, как музыкальный генератор компании стал объектом нескольких громких судебных исков. Не все пользователи рады расширению: в комментариях к видео на YouTube с анонсом Visuals они призывали Suno сначала улучшить качество звука, а уже потом добавлять инструменты, о которых никто не просил.

ИсточникThe Verge

Обзор

Неделя в технологиях в одном письме.

Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.