Content

• Pressupost limitat d’energia
• Amplada de banda i altes resolucions
• Panells de visualització i latència baixa
• Àudio i sensors
• Desenvolupadors i programari
• Embolicar

Finalment, ens endinsem en la revolució, tal com alguns ho podrien dir, amb productes de maquinari i software ampliats al mercat, i recursos que aporten impulsos per a les novetats. Tanmateix, passem més d’un any des que es van llançar productes importants en aquest espai i encara esperem que l’aplicació assassina tingui un èxit principal de la realitat virtual. Mentre esperem, els nous desenvolupaments continuen convertint la realitat virtual en una opció comercial més viable, però encara hi ha una sèrie d'obstacles tècnics per superar, especialment en l'espai virtual VR mòbil.

Pressupost limitat d’energia

El repte més òbvia i ben discutit per afrontar les aplicacions de realitat virtual mòbil és el pressupost de potència i les limitacions tèrmiques molt més limitades en comparació amb l’equivalent al seu ordinador d’escriptori. L’execució d’aplicacions gràfiques intensives des d’una bateria significa que es requereix components de potència més baixos i un ús eficient d’energia per preservar la vida de la bateria. A més, la proximitat del maquinari de processament amb el que fa servir significa que no es pot augmentar el pressupost tèrmic. A títol comparatiu, el mòbil funciona normalment en un límit sub-4 watts, mentre que una GPU VR d’escriptori pot consumir fàcilment 150 watts o més.

Es reconeix àmpliament que la VR mòbil no coincideix amb el maquinari d'escriptori per a energia bruta, però això no significa que els consumidors no exigeixen experiències 3D immersives amb una resolució nítida i amb taxes de fotograma elevades.

Es reconeix àmpliament que la VR mòbil no coincideix amb el maquinari d'escriptori per a energia bruta, però això no significa que els consumidors no exigiran experiències 3D immersives amb una resolució nítida i amb altes taxes de fotograma, malgrat la potència més limitada pressupost. Entre veure vídeo en 3D, explorar ubicacions recreades de 360 ​​graus i fins i tot jocs, encara hi ha molts casos d’ús adequats a la VR mòbil.

Si ens fixem en el vostre típic SoC mòbil, això crea problemes addicionals que menys sovint s’agraeixen. Tot i que els SoCs mòbils poden incloure un arranjament de CPU decent en octa-core i una potència de GPU notable, no és possible executar aquests xips a tota inclinació, a causa tant del consum d'energia com de les restriccions tèrmiques esmentades anteriorment. En realitat, la CPU en una instància de VR mòbil vol executar el mínim temps possible, alliberant la GPU per consumir la major part del pressupost limitat de potència. Això no només limita els recursos disponibles per a la lògica del joc, els càlculs de la física i fins i tot els processos mòbils de fons, sinó que també suposa una càrrega en les tasques essencials de VR, com per exemple, obtenir trucades per a una representació estereoscòpica.

La indústria ja treballa en solucions per a això, que no només s'apliquen als mòbils. La representació Multiview és compatible amb OpenGL 3.0 i ES 3.0 i ha estat desenvolupada per col·laboradors d'Oculus, Qualcomm, Nvidia, Google, Epic, ARM i Sony. Multiview permet la representació estereoscòpica amb una sola trucada de dibuix, més que una per a cada punt de vista, reduint els requisits de la CPU i reduint també el treball de vèrtex de la GPU. Aquesta tecnologia pot millorar el rendiment entre un 40 i un 50 per cent. A l'espai mòbil, Multiview ja compta amb diversos dispositius ARM Mali i Qualcomm Adreno.

Una altra innovació que s'espera que aparegui en els propers productes de VR mòbils és la renderització perjudicada. S'utilitza conjuntament amb la tecnologia de seguiment d'ulls, la representació fovejada alleugera la càrrega en una GPU només proporcionant el punt focal exacte de l'usuari a plena resolució i reduint la resolució d'objectes de la visió perifèrica. Complementa molt bé el sistema de visió humana i pot reduir significativament la càrrega de la GPU, estalviant així energia i / o alliberant més energia per a altres tasques de CPU o GPU.

Amplada de banda i altes resolucions

Si bé el poder de processament és limitat en situacions de VR mòbils, la plataforma continua complint els mateixos requisits que altres plataformes de realitat virtual, incloses les exigències de panells de visualització d’alta resolució i de baixa latència. Fins i tot aquells que hagin vist pantalles VR que tinguin una resolució QHD (2560 x 1440) o la resolució 1080 × 1200 dels auriculars Rift, probablement s’haurien vist una mica entristida per la claredat de la imatge. L’aliasing és especialment problemàtic, atès que els nostres ulls estan tan a prop de la pantalla, amb les arestes que semblen especialment aspres o fixades durant el moviment.

Si bé el poder de processament és limitat en situacions de VR mòbils, la plataforma continua complint els mateixos requisits que altres plataformes de realitat virtual, incloses les exigències de panells de visualització d’alta resolució i de baixa latència.

La solució de la força bruta és augmentar la resolució de la pantalla, sent la següent progressió lògica 4K. Tot i això, els dispositius han de mantenir una taxa de refrescament elevada independentment de la resolució, sent 60Hz el mínim, però fins a 90 o fins i tot 120Hz. Això suposa una càrrega important en la memòria del sistema, amb entre dues i vuit vegades més que els dispositius actuals. L’amplada de banda de la memòria ja és més limitada en VR mòbil que no pas en productes d’escriptori, que utilitzen memòria gràfica dedicada més ràpida en lloc d’un conjunt compartit.

Entre les possibles solucions per estalviar en l’ample de banda gràfica s’inclouen l’ús de tecnologies de compressió, com ara l’estàndard de compressió de textura adaptable (ASTC) d’ARM i AMD o el format sense compressió de Ericsson Texture Compression, ambdues extensions oficials d’OpenGL i OpenGL ES. ASTC també és compatible amb el maquinari a les darreres GPU de Mali d'ARM, Kepler de Nvidia i Maxwell Tegra SoC i les últimes GPU integrades d'Intel i pot estalviar més d'un 50 per cent de banda en alguns escenaris versus l'ús de textures no comprimides.

L’ús de compressió de textura pot reduir molt l’ample de banda, la latència i la memòria requerides per les aplicacions 3D. Font - ARM.

També es poden implementar altres tècniques.L'ús de la tessel·lació pot crear una geometria d'aspecte més detallada a partir d'objectes més senzills, encara que requereixi altres recursos substancials de la GPU. La rendició diferida i el Kill píxels endavant poden evitar que es facin píxels ocults, mentre que les arquitectures Binning / Tiling es poden utilitzar per dividir la imatge en quadrícules o rajoles més petites que es mostren per separat, totes les quals es poden estalviar en amplada de banda.

De forma alternativa, o preferiblement a més, els desenvolupadors poden fer sacrificis a la qualitat de la imatge per tal de reduir l'estrès sobre l'amplada de banda del sistema. Es pot sacrificar la densitat de geometria o es pot fer un excés més agressiu per reduir la càrrega, i la resolució de dades de vèrtex es pot reduir a 16-bit, a causa de la precisió tradicionalment utilitzada de 32-bit. Moltes d'aquestes tècniques ja s'estan utilitzant en diversos paquets mòbils, i junts poden ajudar a reduir la tensió d'ample de banda.

La memòria no només és una limitació important en l'espai VR mòbil, sinó que també és un consumidor d'energia bastant gran, sovint igual al consum de la CPU o de la GPU. Ahorrant en l’ample de banda i l’ús de la memòria, les solucions de realitat virtual portàtils haurien de millorar la durada de la bateria.

Panells de visualització i latència baixa

Parlant de problemes de latència, fins ara només hem vist auriculars VR que porten panells de pantalla OLED i això es deu principalment a temps de commutació de píxels de menys d'una mil·lisegona. Històricament, la LCD s'ha associat a problemes fantasmes amb taxes de refresc molt ràpides, cosa que les fa més aviat inapropiades per a VR. Tanmateix, els panells LCD d’alta resolució són encara més barats de produir que els equivalents OLED, de manera que canviar a aquesta tecnologia podria ajudar a reduir el preu dels auriculars VR a nivells més assequibles.

El moviment a la latència del fotó hauria de ser de menys de 20 ms. Inclou el registre i el processament de moviments, processament de gràfics i àudio i actualització de la pantalla.

Les visualitzacions són una part especialment important en la latència global d’un sistema de realitat virtual, sovint fent la diferència entre una experiència aparent i sub-par. En un sistema ideal, la latència de moviment a fotó (el temps que passa entre moure el cap i la pantalla responent) hauria de ser inferior a 20 mil·lisegons. Clar que una pantalla de 50ms no és bona aquí. L'ideal és que els plafons han de ser sub-5ms per a adaptar-se a la latència del sensor i del processament també.

Actualment, hi ha una compensació de la despesa que afavoreix el sistema OLED, però aviat podria canviar. Els panells LCD amb suport per a majors taxes de refresc i temps de resposta baixos en blanc i negre que fan ús de tècniques d'avantguarda, com ara llums intermitents, podrien adaptar bé la factura. Japan Display va mostrar només un panell l'any passat, i és possible que veiem que altres fabricants anuncien tecnologies similars.

Àudio i sensors

Tot i que bona part dels temes habituals de realitat virtual giren al voltant de la qualitat de la imatge, la VR immersiva també requereix àudio de 3D d'alta resolució i precisió espacial i amb poca latència. En l'àmbit mòbil, tot això s'ha de fer dins del mateix pressupost de potència restringit que afecta la CPU, la GPU i la memòria, que presenta nous reptes.

Ja havíem tocat els problemes de latència del sensor, en els quals cal registrar un moviment i processar-lo com a part del límit de latència de moviment a fotó sub 20ms. Si tenim en compte que els auriculars VR utilitzen 6 graus de moviment: rotació i fricció en cadascun dels eixos X, Y i Z, a més de noves tecnologies com ara el seguiment d’ulls, hi ha una quantitat considerable de dades constants per recopilar i processar, totes amb un mínim. latència.

Les solucions per mantenir aquesta latència al mínim possible requereixen pràcticament un enfocament de punta a punta, amb el maquinari i el programari capaços de realitzar aquestes tasques en paral·lel. Afortunadament, per a dispositius mòbils, és molt freqüent l’ús de processadors dedicats a sensors de baixa potència i tecnologia sempre en funcionament i que funcionen amb una potència força baixa.

Per a l'àudio, la posició 3D és una tècnica utilitzada des de fa temps per a jocs i tals, però l'ús d'una funció de transferència relacionada amb el cap (HRTF) i el processament de reverberació de convolució, necessaris per a la col·locació realista de la font de sona, són tasques força intenses en el processador. Tot i que es poden realitzar a la CPU, un processador de senyal digital dedicat (DSD) pot realitzar aquest tipus de processos de manera molt més eficaç, tant pel que fa al temps de processament com a la potència.

Combinant aquestes funcions amb els requeriments gràfics i de visualització que ja hem esmentat, queda clar que l’ús de diversos processadors especialitzats és la forma més eficient de satisfer aquestes necessitats. Hem vist Qualcomm aprofitar bona part de la capacitat heterogènia de càlcul de les seves plataformes mòbils Snapdragon més emblemàtiques i més recents, que combinen diverses unitats de processament en un sol paquet amb capacitats que donen una bona forma de satisfer moltes d’aquestes necessitats de VR mòbils. Probablement veurem el tipus de paquets que s’alimenten en diversos productes de VR mòbils, inclòs el maquinari portàtil autònom.

Desenvolupadors i programari

Finalment, cap d'aquests avenços en el maquinari és molt bo sense suites de programari, motors de jocs i SDK per donar suport als desenvolupadors. Al cap i a la fi, no podrem tenir tots els desenvolupadors que reinventin la roda per a cada aplicació. Mantenir els costos de desenvolupament baixos i velocitats el més ràpid possible és clau si anem a veure una àmplia gamma d'aplicacions.

Els SDK són especialment essencials per implementar tasques de processament de VR clau, com ara Asincron Timewarp, correcció de distorsió de les lents i renderització estereoscòpica. Sense oblidar la gestió de potència, tèrmica i de processament en configuracions de maquinari heterogènies.

Afortunadament, tots els principals fabricants de plataformes de maquinari ofereixen SDKs als desenvolupadors, tot i que el mercat és bastant fragmentat i es tradueix en una falta de suport multiplataforma. Per exemple, Google té el seu SDK VR per a Android i un SDK dedicat al popular motor Unity, mentre que Oculus té el seu SDK mòbil construït conjuntament amb Samsung per al Gear VR. És important destacar que el grup Khronos ha presentat recentment la seva iniciativa OpenXR, que té com a objectiu proporcionar una API que cobreixi totes les plataformes principals tant a nivells de dispositius com d'aplicacions, per tal de facilitar un desenvolupament entre plataformes més fàcil. OpenXR podria veure suport en el seu primer dispositiu de realitat virtual en algun moment abans del 2018.

Embolicar

Malgrat alguns problemes, la tecnologia està en desenvolupament, i fins a cert punt ja està aquí, que fa que la realitat virtual mòbil sigui viable per a diverses aplicacions. Mobile VR també té una sèrie d’avantatges que simplement no s’apliquen als equivalents d’escriptori, cosa que el convertirà en una plataforma digna d’inversions i intrigues. El factor de portabilitat fa que la VR mòbil sigui una plataforma convincent per a experiències multimèdia i fins i tot jocs lleugers, sense necessitat de cables connectats a un PC més potent.

A més, el gran nombre de dispositius mòbils que hi ha al mercat, cada cop més equipats amb capacitats de realitat virtual, el converteixen en la plataforma d’elecció per arribar al públic objectiu més gran. Si la realitat virtual es converteix en una plataforma principal, necessita usuaris i el mòbil és la base d’usuaris més gran per tocar.