El sistema de sonido espacial de Microsoft es esencial para la experiencia de realidad mixta.

Microsoft Research, Ivan Tashev: HoloLens.

Tashev lidera el grupo de audio de Microsoft Research, que es la segunda organización de informática más grande del mundo. Para HoloLens, un visor de realidad mixta que coloca hologramas en tu entorno inmediato, su equipo trabajó en un sistema de sonido que crea la ilusión de audio 3D para llevar objetos virtuales a la vida.

La realidad mixta, como la realidad virtual, es un medio mejor conocido por sus trucos visuales.

Al usar por primera vez en los HoloLens, lo que instantáneamente llama la atención es la pantalla holográfica pero lo que hace que los hologramas parezcan realistas es el sonido espacial que le permite involucrarse con las proyecciones.

«Las raíces de sonido espacial hologramas en su mundo», dice Matthew Lee Johnston, director de innovación de audio de Microsoft. «Cuanto más realistas podemos hacer que el holograma suene en su entorno, más su cerebro va a interpretar ese holograma como si estuviera en su entorno».

El sistema de audio HoloLens reproduce la forma en que el cerebro humano procesa los sonidos.

«[El sonido espacial] es lo que experimentamos a diario», dice Johnston. «Siempre estamos escuchando y localizando sonidos alrededor de nosotros, nuestros cerebros están constantemente interpretando y procesando sonidos a través de nuestros oídos y posicionando esos sonidos en el mundo que nos rodea».

El cerebro se basa en un conjunto de señales auditivas para localizar una fuente de sonido con precisión. Si usted está de pie en la calle, por ejemplo, podría detectar un autobús que se aproxima a su derecha en función de la forma en que su sonido llega a sus oídos. Entraría en el oído más cercano al vehículo un poco más rápido que el más alejado de él, a la izquierda. También sería más fuerte en un oído que el otro basado en la proximidad. Estas señales le ayudan a identificar la ubicación del objeto. Pero hay otro factor físico que afecta la forma en que se perciben los sonidos.

Antes de que una onda sonora entre en los conductos auditivos de una persona, interactúa con los oídos externos, la cabeza e incluso el cuello. La forma, el tamaño y la posición de la anatomía humana agregan una impresión única a cada sonido. El efecto, denominado función de transferencia relacionada con el cabello (HRTF), hace que todos escuchen sonidos un poco diferentes.

Estas sutiles diferencias constituyen la parte más crucial de una experiencia de sonido espacial. Para que la ilusión auditiva funcione, todas las señales deben ser generadas con precisión.

«Una solución de tamaño único o algún tipo de filtro genérico no satisface a la mitad de la población de la Tierra», dice Tashev. «Para que la experiencia de realidad mixta funcionara, tuvimos que encontrar una manera de generar su audiencia personal».

Su equipo comenzó a recolectar resmas de datos en el laboratorio de Microsoft Research. Capturaron las HRTF de cientos de personas para construir sus perfiles auditivos. Las mediciones acústicas, junto con escaneos 3D precisos de las cabezas de los sujetos, colectivamente construyeron una amplia gama de opciones para HoloLens. Una calibración rápida y discreta coincide con la audición espacial del usuario del dispositivo con el perfil que se aproxima más a él oa la suya.

El Dr. Leo Beranek, director del laboratorio electroacústico de Harvard, construyó la primera cámara anecoica en 1943 para probar sistemas de radiodifusión y altavoces y para mejorar el control de ruido durante la Segunda Guerra Mundial. Desde entonces, espacios similares han sido diseñados para probar micrófonos y para medir HRTFs para sistemas de audio multidireccionales.

En Microsoft, la cámara de Tashev es donde se han medido los HRTFs de 350 personas.

Para grabar los sonidos que se reciben a través del cuerpo, se colocan micrófonos pequeños dentro de los oidos del sujeto.

Al reproducir sonidos alrededor del oyente, el equipo es capaz de capturar las señales precisas de audio para las orejas derecha e izquierda en relación con las 400 direcciones en la sala. Estas mediciones les dan un par de filtros HRTF para cada fuente de sonido.

«Si conocemos estos filtros para todas las direcciones posibles, entonces somos dueños de su audiencia espacial», dice Tashev. «Podemos engañar a tu cerebro y hacerte percibir que el sonido proviene de cualquier dirección deseada.»

Escuche los sonidos de Microsoft Research utilizados para mediciones acústicas.

Para colocar un holograma en una ubicación determinada, se aplica un filtro de audio correspondiente. Cuando los HoloLens proyectan esos sonidos específicos, las pistas de la HRTF engañan al cerebro humano para que detecte la fuente casi al instante.

Microsoft no es la primera o única empresa con la capacidad de crear audio personalizado. Para la mayoría de las experiencias de audio 3D en VR, los creadores han confiado en las bases de datos de HRTF que están disponibles públicamente o se dirigen a laboratorios de investigación donde la personalización de audio ha sido posible durante varios años.

En la Universidad de Princeton, Edgar Choueiri, profesor de ingeniería mecánica y aeroespacial, ha estado utilizando la técnica del micrófono en los oídos durante los últimos años. Y VisiSonics, una compañía con sede en el laboratorio de investigación de la Universidad de Maryland, ha estado midiendo HRTFs para construir su propia biblioteca.

Pero el sistema de audio de Microsoft se distingue por su ingeniería, lo que hace que la calibración de audio sea invisible para el usuario de HoloLens. Si bien la personalización no es tan perfecta como tiende a estar dentro de un laboratorio controlado, es mucho menos tedioso.
La idea es hacer que el proceso de recopilación de información sea lo más discreto posible.

«Creo que hemos tenido éxito», dice Tashev. «Hoy en día el usuario final ni siquiera sabe cuándo o cómo ocurre la personalización de los HRTFs.»

La eficiencia del software también se extiende al hardware. Mientras que el dinamismo del sonido espacial es mejor mantenido y experimentado por los auriculares, el equipo de HoloLens necesitaba alejarse de cualquier oclusión para mantener intactos los efectos de la realidad mixta.

«Rápidamente nos dimos cuenta de que el usuario querría oír el entorno que los rodea, además del sonido de los hologramas», dice Håkon Strande, gerente senior de Microsoft. «Así que necesitábamos algo que estuviera fuera del oído, pero lo suficientemente cerca para asegurarnos de que el sonido alcanzara el oído a un cierto nivel de volumen».

Strande describe una iteración temprana del HoloLens que tenía pequeños tubos que se doblaban abajo de la venda para dirigir el aire en los canales del oído. Otro concepto cambió los tubos para auriculares. Pero el equipo finalmente diseñó un par de altavoces finos, rojos que se sientan en una banda justo encima de los oídos del usuario.

«La mayoría de la gente no se da cuenta de que [las bocinas] están ahí», dice Strande. «La primera vez que prueban el dispositivo y cuando escuchan el sonido en el espacio alrededor de ellos, piensan que hay altavoces ubicados en la habitación que los rodea y que están reproduciendo los sonidos. Así de convincente es el efecto y la simulación en este punto».

«El audio es importante en la realidad mixta y en la VR porque vincula la experiencia juntos», dice Strande. «A menudo es la segunda cosa en la que piensan los desarrolladores de juegos y aplicaciones, pero sin audio no suspendes la incredulidad.Para llevar algo a la vida, tiene que tener un aspecto sólido – especialmente si son hologramas que son Moviéndote a tu alrededor «.

No te pierdas de las últimas noticias, síguenos en Facebook:
https://www.facebook.com/vrkraken

#WeAreVR #WeAre360 #WeAreTheFuture