Stability AI представляє новий Stable Audio Open

Stability AI розширює свої зусилля в галузі генеративного ШІ для обробки аудіо, випустивши Stable Audio Open 1.0. Stability AI, відома своєю технологією перетворення тексту в зображення Stable Diffusion, також пропонує моделі для коду, тексту та аудіо. Після запуску Stable Audio у вересні 2023 року компанія випустила Stable Audio 2.0 у квітні 2024 року, пропонуючи підвищену чіткість і тривалість аудіо.

Stable Audio Open, однак, фокусується на коротших аудіофрагментах, таких як звукові ефекти, а не на повноцінних піснях. У той час як комерційний інструмент Stable Audio може генерувати до трьох хвилин аудіо, Stable Audio Open обмежений 47 секундами. Хоча він не є технічно відкритим, але доступний за ліцензією некомерційної угоди дослідницької спільноти Stability AI, що забезпечує відкритий доступ з обмеженнями на використання.

Зак Еванс, керівник відділу досліджень аудіо в Stability AI, заявив, що Stable Audio Open має на меті надати дослідникам та продюсерам аудіо практичний доступ до генеративних аудіо моделей, щоб прискорити дослідження, впровадження та творче використання.

Stable Audio Open оптимізовано для створення ударних, інструментальних рифів, звуків навколишнього середовища та інших аудіосемплів для музичного виробництва та саунд-дизайну. Модель була відповідально навчена на даних з FreeSound та Free Music Archive, забезпечуючи відсутність використання захищених авторським правом матеріалів без дозволу.

Користувачі можуть точно налаштувати модель на власних аудіоданих за допомогою бібліотеки Stable Audio Tools, яка має ліцензію з відкритим вихідним кодом. Наприклад, музикант може генерувати унікальні ритми, налаштовуючи модель за допомогою власних записів. Ваги моделей доступні на Hugging Face.

Еванс зазначив, що команда дослідників аудіо постійно покращує якість і керованість своїх генеративних аудіомоделей і очікує на майбутні комерційні та загальнодоступні версії моделей, що відображатимуть поточний прогрес.