Исследователи из Вашингтонского университета создали искусственный интеллект под названием Audeo, который может воспроизводить реалистичную музыку, просто анализируя тихие видео с фортепиано.
Теперь даже искусственный интеллект может реалистично воспроизвести в цифровом виде любой звук фортепиано, просто проанализировав беззвучное видео.
Группа исследователей из Вашингтонского университета создала искусственный интеллект под названием Audeo, который включает в себя своего рода интеллектуальное программное обеспечение, ранее обученное с помощью 172000 кадров видео, на котором пианист Пол Бартон играет музыку классических композиторов, таких как Моцарт или Бах.
Audeo AI может виртуально играть на пианино
Просто проанализировав беззвучное видео, Audeo AI может точно узнать, какие клавиши нажимаются и в каком порядке. Таким образом он определяет отдельные ноты и их расположение. Он также может определять, насколько сильно нажимается каждая из клавиш и как долго они удерживаются в нажатом состоянии, это позволяет ему рассчитывать интенсивность каждой ноты и как долго она задерживается под звуком последующих проигрываемых нот. И как будто этого было недостаточно, ИИ также способен понимать отличительные акустические характеристики фортепиано.
Эти данные преобразуются в формат, понятный цифровому синтезатору, и когда этот синтезатор воспроизводит музыкальный файл, он очень близок к исходному звуку фортепиано.
В одном из своих потрясающих тестов Audeo AI смог выучить песню из немых видеороликов композитора Бартона, когда он играл отличительные музыкальные произведения.
Затем приложения для распознавания музыки, такие как SoundHound, проанализировали такую продукцию, созданную искусственным интеллектом, и смогли распознать музыкальное произведение с точностью около 86%. Для сравнения, когда это приложение проанализировало оригинальный звук фортепиано, его точность распознавания выросла до 93%.