Представлен Google MusicLM AI, революционная система искусственного интеллекта, способная создавать музыкальные произведения в любом жанре с текстовым описанием. Несмотря на его впечатляющие возможности, компания предпочла проявить осторожность и в настоящее время не планирует делать его общедоступным. Хотя предыдущие системы генеративного искусственного интеллекта для музыки, такие как Riffusion и Dance Diffusion, предпринимали попытки сочинять песни, они были ограничены техническими ограничениями и недостаточными данными для обучения, что приводило к композициям, которым не хватало сложности и высокой точности. Тем не менее, Google MusicLM AI представляет собой значительный шаг вперед и может стать первой системой, преодолевшей эти проблемы.
эй, для меня это больше, чем ChatGPT.
Google почти решил генерацию музыки, я бы сказал. https://t.co/s9PQaJ5R6A— Гыну Чхве (@keunwoochoi) 27 января 2023 г.
Познакомьтесь с Google MusicLM AI, первым значительным инструментом для преобразования текста в музыку.
Недавний академическая статья подчеркивает разработку MusicLM, системы искусственного интеллекта, обученной на огромном наборе данных, состоящем из 280 000 часов музыки. Задача системы состояла в том, чтобы генерировать песни «значительной сложности» на основе текстовых описаний, таких как «чарующая джазовая песня с запоминающимся саксофонным соло и сольным певцом» или «берлинское техно 90-х с низким басом и сильным ударом». Результат, создаваемый Google MusicLM AI, хотя и не обязательно такой же творческий или музыкально унифицированный, как у человека-исполнителя, тем не менее, обладает поразительным сходством с музыкой, сочиненной человеком.
Было бы преуменьшением выразить, насколько впечатляющим является результат, создаваемый искусственным интеллектом Google MusicLM, особенно с учетом отсутствия музыкантов или инструменталистов в процессе создания. Несмотря на то, что MusicLM иногда снабжен длинными и сложными описаниями, он обладает замечательной способностью включать в свои композиции замысловатые элементы, такие как инструментальные риффы, мелодические линии и эмоциональные оттенки.
Возможности Google MusicLM AI выходят за рамки простого создания коротких музыкальных фрагментов. Исследовательская группа Google продемонстрировала способность системы строить из уже существующих мелодий, будь то напевание, пение, насвистывание или игра на инструменте. Кроме того, MusicLM может брать несколько последовательных описаний и создавать мелодичное повествование, охватывающее несколько минут, что делает его подходящим для саундтрека к фильму.
Универсальность Google MusicLM AI распространяется на управление с помощью комбинации изображений и подписей, а также на создание звука, имитирующего звук определенного инструмента в определенном жанре. Опыт «музыканта» ИИ также можно настроить, что позволяет системе генерировать музыку под влиянием различных мест, периодов времени или конкретных целей, таких как вдохновляющая музыка для физических упражнений.
Вы можете связаться с Google MusicLM AI Страница GitHub послушать несколько сэмплов!
Действительно ли хороший музыкальный композитор Google AI?
Однако важно отметить, что Google MusicLM AI не лишен недостатков. Некоторые выходные данные, производимые системой, могут иметь разрозненное качество, что является естественным результатом процедуры обучения. Способность системы генерировать вокал, включая хоровые гармонии, не оправдала ожиданий. Сгенерированные тексты часто непонятны, состоят из ломаного английского или бессмысленной тарабарщины, а синтезированному вокалу не хватает изощренности одного исполнителя, и вместо этого он звучит как гибрид разных голосов.
Новая музыкальная модель Google MusicLM стала прорывом недели.
Вот он в действии.
Просто опишите музыку, и она сгенерирует трек: pic.twitter.com/xAhzHfGnMH
— Пит (@nonmayorpete) 27 января 2023 г.
Несмотря на впечатляющие возможности, исследователи Google признают наличие многочисленных этических дилемм, связанных с такой системой, как MusicLM, включая вероятность включения защищенного авторским правом материала из обучающих данных в сгенерированные песни. В ходе своих экспериментов они обнаружили, что примерно 1% сгенерированной музыки является точной копией песен из обучающего набора данных. Этот высокий уровень дублирования побудил исследователей отказаться от выпуска Google MusicLM AI в его нынешнем виде.
«Мы признаем риск потенциального незаконного присвоения творческого контента, связанного с вариантом использования. Мы настоятельно подчеркиваем необходимость дальнейшей работы по устранению этих рисков, связанных с созданием музыки», — заявили соавторы статьи.
Если MusicLM или аналогичная система будет выпущена в будущем, вероятно, возникнут серьезные юридические проблемы, независимо от того, как система продается или позиционируется, будь то помощь артистам или нет. Эта проблема уже возникла в отношении более простых систем ИИ. В 2020 году звукозаписывающий лейбл Jay-Z подал иски о нарушении авторских прав против канала YouTube Vocal Synthesis за использование ИИ для создания каверов на песни Jay-Z, включая «We Didn’t Start the Fire» Билли Джоэла. После первоначального удаления видео YouTube позже восстановил их, определив, что запросы на удаление были «неполными». Легальность музыки, созданной ИИ, остается серой зоной.
Google представляет MusicLM: модель для создания музыки из текста. Вот некоторые сумасшедшие вещи, которые он может делать:
1. Учитывая звук мелодии, он может генерировать новую музыку, вдохновленную этой мелодией, настроенную с помощью подсказок! Вот кто-то напевал bella ciao, превратился в припев a cappella, EDM и т.д. pic.twitter.com/HKDnXI1C8U
— кровотечение.ай (@bleedingedgeai) 27 января 2023 г.
Поскольку технология искусственного интеллекта для создания музыки продолжает развиваться, вопросы, связанные с ее законностью, остаются на переднем плане. Эрик Санрей, стажер юриста в Ассоциации музыкальных издателей, написал белая бумага в нем утверждается, что такие системы, как MusicLM, нарушают права, защищенные Законом об авторском праве США, путем создания «гобеленов связного звука» из защищенных авторским правом материалов, используемых в их обучении.
Эти опасения были повторены в отношении систем ИИ в других областях, включая генерацию изображений, кода и текста, поскольку их обучающие данные часто берутся из Интернета без согласия создателей. Вопрос о добросовестном использовании также обсуждался после выпуска Jukebox от OpenAI, при этом некоторые ставили под сомнение использование материалов, защищенных авторским правом, при обучении моделей ИИ.
По мнению Энди Байо из Waxy, предполагается, что музыка, созданная системами ИИ, может рассматриваться как производная работа с точки зрения пользователя, тем самым обеспечивая защиту авторских прав только ее исходным компонентам. Определение того, что представляет собой «оригинальность» в этом контексте, остается неясным, что делает коммерческое использование такой музыки неизведанной территорией. Однако, если сгенерированная музыка подпадает под действие добросовестного использования, такого как пародия или комментарий, проблема становится менее сложной. Тем не менее, Байо предсказывает, что судебная система должна будет применять индивидуальный подход для вынесения вердикта.
Поскольку юридическая среда продолжает развиваться, ясность в вопросе, связанном с искусственным интеллектом, генерирующим музыку, может стать неизбежной. Несколько текущих судебных процессов, в том числе один, касающийся прав художников, чьи работы используются для обучения систем ИИ без их разрешения или ведома, вероятно, повлияют на отрасль. Только время покажет исход этих судебных разбирательств.
Слышали ли вы о новом классификаторе текстов AI от OpenAI для обнаружения текстов, сгенерированных AI?
Source: Google MusicLM AI: Превратите текст в… музыку!