VNews.com.ua

Новая ИИ-модель Meta может стать новым синтезатором в мире звуков… или просто генератором «лифтовой музыки»

Август 02
19:01 2023

Meta выпустила новую модель искусственного интеллекта с открытым кодом под названием AudioCraft, позволяющую создавать музыку и звуки с помощью текстовых подсказок.

Модель состоит из трех «подмоделей», которые предназначены для разных сфер генерации звуков:

  • MusicGen – модель, использующая текстовые данные для создания музыки и обученная на 20 000 часах музыки, «принадлежащая Meta или лицензированная специально для этой цели». Инструмент TextToSample для генерации семплов, о котором мы писали вчера, тоже работает с ее помощью.
  • AudioGen – модель, создающая аудио из письменных подсказок, имитируя, например лай собак или звук шагов.
  • EnCodec – улучшенная версия декодера Meta, позволяющая создавать звуки с меньшим количеством артефактов.

Ниже можно прослушать образцы аудио, созданные AudioCraft. В целом, звучит неплохо, хотя и порой несколько искусственно:


Текстовая подсказка: свист и ветер

Текстовая подсказка: приближающиеся и удаляющиеся звуки сирены и жужжание двигателя

Текстовая подсказка: танцевальный поп-трек с запоминающимися мелодиями; тропическими перкуссиями и бодрыми ритмами; идеально подходит для пляжа.

Meta – не единственная компания, объединившая музыку с ИИ. Google создала MusicLM – большую языковую модель, которая генерирует минутные звуки на основе текстовых подсказок, однако она доступна только исследователям. Остальные инструменты уже стали причиной недовольства музыкальных студий – таких, как созданная ИИ песня, в которой звучат голос Дрейка и The Weeknd. Некоторые музыканты наоборот поощряют использовать их вокал как основу, например певица Граймс.

В настоящее время произведения AudioCraft звучат как «лифтовая музыка», которую можно использовать для фона, а не создания хита. Хотя Meta верит, что ее модель сможет положить начало новой волне песен, так же как синтезаторы, которые стали популярными когда-то и изменили музыку.

Компания говорит, что AudioCraft нуждается в открытом коде, чтобы диверсифицировать данные, используемые для его обучения.

«Мы понимаем, что наборам данных, используемых для обучения наших моделей, не хватает разнообразия. В частности, использованный набор содержит большую часть музыки в западном стиле и только пары аудио-текста с текстом и метаданными, написанными на английском языке», — говорят в Meta.

Источник: The Verge

Голосуй за переможця конкурсу блогів. Голосування проходить з 25 липня по 8 серпня включно. Головний приз — сучасний ігровий ПК ASGARD (i7 13700, 32Gb RAM, SSD 1Tb, GF RTX 4060Ti 8Gb) від інтернет-магазину click.ua. Віддай свій голос за найкращого! Деталі тут.

Share

Статьи по теме

Последние новости

Коваленко объяснил, есть ли «обвал фронта» в Украине

Читать всю статью

Наши партнёры

UA.TODAY - Украина Сегодня UA.TODAY

Всегда на пути к успеху: EA-LOGISTIC – ваш проводник в международных грузоперевозках.