ИИ-технология Google MusicLM обучалась на наборе данных из 280 000 часов музыки и может создавать особо сложные композиции (например, для таких текстовых запросов, как «волшебная джазовая песня с незабываемым соло на саксофоне и сольный певец» или «берлинское техно 90-х с низким басом и сильными ударными»).

Курс

Комерційний аудіопродакшн

Своим глубоким обучением MusicLM, собственно, и отличается от других систем ИИ для генерирования песен – Riffusion, Dance Diffusion, собственный AudioML от Google и Jukebox от OpenAI несколько ограничены техническими возможностями и меньшим количеством использованных данных.

Музыкальные продукты MusicLM, на удивление, звучат очень подобно тем, что мог бы создать человек-композитор. К примеру, в этом фрагменте инструмент реализовал запрос «Вызывает чувство затерянности в пространстве»:

А здесь – «Основной саундтрек аркадной игры»:

Исследователи Google говорят, что MusicLM может взять несколько запросов, написанных последовательно (например, время медитировать, время просыпаться, время бегать, время выложиться на 100%) и создать своего рода мелодическую историю продолжительностью до нескольких минут – идеально подходит для саундтрека к фильму.

Ниже результат MusicLM для запросов: «электронная песня, играющая в видеоигре; песня для медитации, которую играют у реки; огонь; фейерверк».

MusicLM также можно управлять с помощью комбинации изображения и текста или генерировать аудио, которое воспроизводится определенным типом инструмента в определенном жанре. Можно выбрать даже уровень опыта «музыканта», также система способна создавать музыку, вдохновленную местами, эпохами или требованиями (например, мотивационная музыка для тренировок).

Якщо душа лежить до прекрасного, але й заробляти хочеться багато – тобі сюди

Ану, покажіть

Но MusicLM небезупречна — некоторые образцы обладают искаженным качеством, что является неизбежным побочным эффектом процесса обучения. И хотя технически MusicLM может генерировать человеческий вокал, он звучит не слишком убедительно.

В то же время, Google не спешит выпускать инструмент, учитывая этические проблемы, с которыми он может столкнуться. MusicLM, как и другие системы, использовала в обучении защищенный авторским правом материал, а в ходе эксперимента оказалось, что около 1% результатов были непосредственно воспроизведены из песен, на которых тренировалась система.

Если предположить, что MusicLM или подобная система однажды станет доступной, юридических проблем не миновать — даже если технология позиционируется как инструмент, помогающий артистам, а не заменяющий их.

«Не бойтесь использовать мой голос‎» — Граймс поддержала авторов ИИ-треков и обещала делиться с ними 50% роялти

Источник: Techcrunch