Vaya, ¿el Vision Pro de Apple está repleto de píxeles?

Apple anunció el Vision Pro, su primer auricular de realidad aumentada (AR), en su discurso de apertura de la WWDC del 5 de junio. Los auriculares contienen dos pantallas micro-OLED de última generación con una increíble cantidad de 23 millones de píxeles, casi tres veces más que en una pantalla 4K.

La calidad de visualización AR/VR ha mejorado a pasos agigantados desde el Oculus Rift original, que tenía una sola pantalla de 1280 x 800. Pero la necesidad de equilibrar el precio con la calidad ha obligado a los líderes de AR/VR, como Meta y HTC Corp., a ceder. Apple opta por una estrategia diferente, llevando al extremo la tecnología de visualización del dispositivo y el precio de venta sugerido por el fabricante de los auriculares de 3499 dólares estadounidenses.

"[Apple] termina teniendo tres pantallas en este auricular, que no son nada baratas", dice Anshel Sag, analista principal de Moor Insights & Strategy. "Los dos micro-OLED en el interior, nunca los he visto implementados en nada. Esta es una pantalla de alto costo y volumen extremadamente bajo con una lente de tres elementos y un sistema óptico, que obviamente fue diseñado a medida para este auricular".

El Vision Pro tiene un par de pantallas micro-OLED de 1,41 pulgadas. El tamaño de cada píxel es comparable al tamaño de un glóbulo rojo humano. Manzana

Apple ofreció pocos detalles sobre la pantalla del Vision Pro en la WWDC 2023, además de su recuento de píxeles, pero los analistas completaron los detalles. Ross Young, CEO de Display Supply Chain Consultants, dice que Vision Pro incluye un par de pantallas micro-OLED de 1,41 pulgadas que combinan una placa frontal OLED de Sony con una placa posterior de silicio de la fundición de chips TSMC. Cada píxel mide apenas 7,5 micrómetros de tamaño, similar al diámetro de un glóbulo rojo humano. "Es, con mucho, el micro-OLED de mayor resolución del mercado", dice Young.

La resolución, aunque impresionante, no cuenta toda la historia. Los ingenieros de AR/VR miden la densidad de píxeles por la cantidad de píxeles por grado de visión (PPD), una métrica que representa el campo de visión de un visor. Apple no ha publicado el FOV de Vision Pro, pero los periodistas que han probado el dispositivo dicen que es competitivo con otros auriculares AR/VR, que ofrecen un FOV entre 100 y 120 grados. Eso debería colocar los píxeles de los auriculares por grado alrededor de 50 a 70 PPD.

"Se considera que la resolución de la fóvea, la parte del ojo con la resolución más alta, es de 60 píxeles por grado. Y si tiene una pantalla de 60 píxeles por grado, probablemente el 99,9 por ciento de las personas no percibiría los píxeles". dice Michael Miller, líder de hardware de realidad aumentada en Niantic. "Reducirlo a 40 píxeles por grado, en lugar de 60, todavía se considera correcto. Y para el diseño de referencia [de Niantic], probamos 30 píxeles por grado, y siempre que los usuarios no vean la brecha entre los píxeles, todavía estaba bien".

"Creo que [Apple ha] alcanzado una resolución lo suficientemente alta como para que no puedas ver los píxeles". —Anshel Sag, analista principal de Moor Insights & Strategy.

La mayoría de los auriculares AR/VR se conforman con una densidad de píxeles mucho más baja. Meta's Quest Pro ofrece 22 PPD, HTC Vive XR Elite proporciona 19 PPD y Microsoft HoloLens 2 cotiza 47 PPD (aunque algunos cuestionan esa cifra). El ampliamente elogiado Varjo VR-3, que se lanzó en 2021 y se vende al por menor por $ 3645, logra 70 PPD, pero lo hace con una "pantalla biónica" que combina un área de enfoque de alta resolución con pantallas periféricas que logran un menor, aunque aún impresionante, 30 PPD.

"Siento que ya tenemos algunos auriculares que casi llegaron a ese punto, o ya lo cruzaron un poco, como los auriculares Varjo", dice Sag. "Así que creo que [Apple ha] alcanzado una resolución lo suficientemente alta como para que no puedas ver los píxeles".

La increíble cantidad de píxeles de Apple presenta desafíos más allá de producir la pantalla en sí. Cualquier aumento en el número de píxeles aumenta el rendimiento gráfico necesario para representar una imagen, lo que a su vez aumenta el consumo de energía y la generación de calor.

Todos los auriculares Vision Pro se enviarán con el M2 de Apple, que incluye aceleradores de CPU, GPU e IA en un solo chip, para controlar sus pantallas y manejar la computación. Sin embargo, incluso el M2, un chip que se encuentra con mayor frecuencia en las computadoras portátiles Apple de gama media, como la MacBook Air, se vería muy afectado si se le obligara a controlar las pantallas de la Vision Pro a máxima resolución.

El Varjo VR-3 lo deja claro. A diferencia de Apple Vision Pro, que es una computadora completamente autónoma, la VR-3 no incluye una CPU o GPU, sino que funciona como una pantalla para una PC con Windows. Varjo recomienda una variedad de computadoras portátiles y de escritorio voluminosas de gama alta con procesadores Intel Core i7 e i9 y gráficos Nvidia RTX 3080 o 3090.

Vision Pro de Apple utiliza dos chips Apple Silicon integrados para manejar computación y gráficos. Apple

Apple aborda este problema con un chip completamente nuevo, el Apple R1, que asume la carga de procesar la entrada de las cámaras de los auriculares. Una parte de esos datos se utiliza para la representación foveada, una técnica que varía dinámicamente la resolución en respuesta a la mirada del usuario.

"Creo que el renderizado mejorado es un factor enorme, enorme en la cantidad de GPU que se utiliza realmente y la cantidad de pantalla que necesitan para funcionar a resolución completa", dice Sag. "Teóricamente, podrían ejecutar la pantalla con representación foveada, donde solo ejecutan la resolución completa en el medio, y todo lo demás es una resolución más baja".

La representación foveada no es una idea nueva: los investigadores de Microsoft exploraron la idea hace más de una década, pero solo apareció recientemente en auriculares de consumo como Meta Quest Pro y PlayStation VR 2 de Sony. Su rareza se debe al difícil problema de rastrear el ojos para determinar dónde se enfoca su atención. Apple compró SensoMotoric Instruments (SMI), un proveedor líder de soluciones de seguimiento ocular, en 2017, lo que obligó a otros a apoyarse en alternativas más nuevas o diseñar soluciones internas.

La tecnología de visualización en Vision Pro de Apple podría ser excesiva para los entusiastas que prefieren la realidad virtual a la realidad aumentada. "Si profundizamos en la tecnología de la pantalla en sí, la mejor manera de resumirlo es que, para muchos casos de uso, no importa", dice Jeremy Dalton, asesor de computación espacial y autor de "Reality Check". Dalton señala que la mayoría de los auriculares AR/VR de consumo se utilizan para juegos, películas y experiencias 3D totalmente inmersivas. La nitidez mejorada, si bien es bueno tenerla, no es una necesidad cuando se golpea a través de una pista en Beat Saber o se explora Horizon Worlds de Meta.

Apple tiene una audiencia diferente en mente. Sus demostraciones no dijeron nada del metaverso y solo mencionaron brevemente los juegos. En cambio, la empresa se centró en las videollamadas, la fotografía, la productividad en la oficina y el entretenimiento con realidad aumentada. Estos escenarios aumentan drásticamente la necesidad de resolución, ya que los usuarios interactuarán con objetos reales y virtuales simultáneamente.

"Definitivamente querían admitir el caso de uso de transferencia. Es necesario presentar al usuario su propio entorno mediante las pantallas. Esto es crucial", dice Miller. "Para crear esta experiencia y hacerla creíble, esta es la razón más importante por la que necesitas toda esta alta resolución".

La densidad de píxeles extrema abre la puerta a aplicaciones AR útiles que no aumentan la fatiga visual de los modelos de pantalla AR de la generación anterior. Manzana

Los auriculares actuales no ofrecen realismo. El HTC Elite XR, que probé en CES 2023, ofrecía el modo de transferencia más atractivo que había encontrado hasta ahora, pero la interacción con objetos del mundo real seguía siendo incómoda. Meta's Quest Pro es aún menos convincente. Adi Robertson, quien revisó los auriculares para The Verge, se quejó de que "la transferencia de color de Meta no se parece ni remotamente al mundo real".

"La pantalla de gama alta tiene más sentido cuando se tiene, por ejemplo, un entrenamiento de alta gama que ofrecer. La NASA usa el Varjo para el entrenamiento de astronautas", dice Dalton. Apple no construyó Vision Pro para astronautas, pero los píxeles de alta densidad también siguen siendo útiles en tareas más mundanas. Los astronautas necesitan agudeza para ver y leer los pequeños indicadores y diales que se encuentran en la cabina de una nave espacial. Todos los demás lo necesitan para leer cómodamente documentos impresos o usar un teléfono inteligente.

"Espero que los auriculares funcionen maravillosamente en este tipo de escenarios", dice Dalton. "La productividad tiende a basarse mucho en el texto. Cuanto mejor sea la experiencia visual, menor será la tensión y más tiempo podrá durar".