Компания Stability AI представила обновленную версию ИИ-модели Stable Audio, которая генерирует короткие аудиокомпозиции на основе текстовых описаний. Версия Stable Audio 2.0 позволяет генерировать полноценные трехминутные музыкальные треки из аудиозаписи и подсказок, а также добавлять в них звуковые эффекты.
По утверждению Stability AI, главное отличие новой версии Stable Audio состоит в создании песен с классической музыкальной структурой. Инструмент способен сгенерировать интро, полную аккордовую прогрессию и заключительную часть. Это делает сгенерированные треки более подходящими для вещания на радиостанциях и применения в различных музыкальных проектах.
Первая версия Stable Audio была выпущена в сентябре 2023 года и предлагала платным пользователям генерацию треков длительностью до 90 секунд, пригодных только для экспериментов. Stable Audio 2.0 полностью бесплатна и доступна как на официальном сайте, так и через API.
Сообщается, что модель обучалась на данных музыкальной библиотеки AudioSparx из более чем 800 000 композиций, причем артистам была предоставлена возможность запретить использование своего материала для обучения модели.
Эксперты отмечают некоторые ограничения и недостатки Stable Audio 2.0. В частности, имеется недостаточное разнообразие и индивидуальность в создаваемых треках, что может ограничить их привлекательность для аудитории. Также наблюдается неопределенность в качестве вокальной составляющей, что требует дальнейшего совершенствования. По мнению одного из них, добавленный генератором вокал похож на звуки, издаваемые китами, другому показалось, что он «случайно вызвал в свой дом потустороннее существо».
Отдельно подчеркивается необходимость соблюдения авторских прав при использовании нейросети Stable Audio 2.0. Stability AI заключила партнерское соглашение с Audible Magic, чтобы использовать технологию распознавания контента, разработанную компанией, для отслеживания и блокировки попадания на платформу материалов, защищенных авторским правом.
