Facebook стремится дать вам сверхспособности восприятия с помощью своих новых очков дополненной реальности. Революционер Facebook Эксперимент направлен на демонстрацию того, как звук может играть важную роль в дополненной реальности, чтобы дать людям то, что исследователи из социальных сетей называют «сверхспособностями восприятия».
Facebook и новые очки дополненной реальности
Facebook Reality Labs Research (FRL Research), исследовательская лаборатория социальной сети, в течение шести лет разрабатывает проект, основанный на дополненной и виртуальной реальности, который направлен на улучшение человеческого общения.
Междисциплинарная звуковая команда, состоящая из ученых-исследователей, инженеров, дизайнеров и других, ставит перед собой задачу создавать виртуальные звуки, которые с точки зрения восприятия неотличимы от реальности, и заново определять человеческий слух.
Новые очки дополненной реальности от Facebook могут позволять захватывать звук с помощью микрофонов, используя контекстные подсказки, которые могут определять, какие звуки важны, и передавать их через гарнитуру с шумоподавлением.
Кроме того, улучшенный пространственный звук может проецировать голоса участников телефонного разговора или видеозвонка, увеличивая ощущение, что они находятся с другим человеком или в присутствии звука.
Чтобы добиться этого, команда сосредоточилась на предоставлении двух возможностей:
В 2017 году команда разработала виртуальные звуки, имитирующие направления, из которых исходят звуки в реальной жизни, и высококачественные технологии акустического моделирования, которые делают виртуальную среду более правдоподобной. Технологии привели к появлению новейших достижений в области пространственного звука и во многих современных технологиях, таких как очки виртуальной реальности Oculus Quest и платформа Rift.
Улучшение пространственного звука
Одним из основных инструментов, поддерживающих работу, является пространственный звук, который дает ощущение присутствия в одном и том же месте, даже если на самом деле они находятся на расстоянии многих миль друг от друга.
Пространственный звук имитирует направления, из которых исходят звуки в реальной жизни, и окружающая акустика, что может изменить правила игры для видеосвязи.
«Во время сегодняшнего телефонного звонка голос собеседника звучит так, как будто он исходит из самого телефона (или из центра вашей головы, если вы носите наушники), поэтому ваш мозг отвергает идею о том, что другой человек может быть в том же местоположение », – описывает Лиза Браун, менеджер по коммуникационным технологиям в Facebook.
Компания считает, что пространственный звук можно комбинировать с Codec Avatars, ультрареалистичным изображением людей, анимированных в реальном времени. «Это позволит сломать истинное социальное присутствие. Позволяя вам проводить время с важными для вас людьми в значимых местах, мы можем радикально изменить ваш образ жизни, работы и развлечений », – добавляет Браун.
Перцептивные сверхспособности
Например, можно было бы вести разговор в переполненном ресторане или баре, не повышая голос, чтобы вас услышали, и не прилагая усилий, чтобы понять, что говорят другие.
Используя несколько микрофонов на очках, можно улавливать звуки окружающей среды. Затем, по образцу движений головы и глаз, мы можем выяснить, какие из этих звуков ему больше всего интересны.
«Это позволяет нам усиливать соответствующие звуки и приглушать другие, гарантируя, что то, что вы действительно хотите услышать, будет четким даже при громком фоновом шуме», – говорит Мехра.
Цель команды – охватить весь диапазон звуков, которые могут слышать люди, от 20 Гц до 20 000 Гц.
В настоящее время они разрабатывают специальные внутренние мониторы (IEM), прототип вывода, который позволяет использовать технологии активного шумоподавления для эффективного уменьшения объема нежелательного фонового шума.
«Когда мы объединяем это с прототипом входов FRL Research, в том числе с микрофонной решеткой, мы можем полностью раскрыть сверхспособности слуха», – объясняет Браун.
