Virtual Reality is overigens niet nieuw. Het werd al in de jaren zestig van de vorige eeuw ingezet voor orthopedische doeleinden. Op tv is het te zien via de green studio waarbij je de groene achterwand met allerlei beeldmateriaal kunt vullen. Uiteindelijk wordt het een soort beleving zoals je bij het holodeck uit Star Trek verwacht.
Een nieuwe werkelijkheid?
Er is enige discussie of het bij VR, AR en MR om een nieuwe of juist andere werkelijkheid gaat. In ieder geval voegen dergelijk systemen nieuwe objecten, door de grafische chips gegenereerd, en/of bestaande (stock-)beelden toe. Het varieert van geheel door de computer opgetekend tot een compositie van live en daaraan toegevoegde ware beelden.
Bij alle drie concepten ontstaat er voor de gebruiker een verrassend inspirerende en belevende wereld die doet ontdekken, ervaren, kennis opdoen en het leren omgaan met. Inmiddels worden ze al breed toegepast bij de GGZ (angsten, PTSD, en depressie), onderwijs, simulaties, gezondheidsvoorlichting, chirurgische behandeling en interactieve oefeningen.
Virtual Reality
De virtuele werkelijkheid is per definitie puur grafisch realisme via computerondersteunde ontwerp- en animatiesoftware die draait op GPU’s (GPU staat voor grafische processing unit, een aparte grafische processorchip). Virtueel duidt er op dat deze werkelijkheid niet echt bestaat, maar uit realistische computerbeelden opgetekend wordt. De gaming-industrie is daar een prima voorbeeld van.
Aanvankelijk was VR voornamelijk 2D en eenvoudige 3D. Gewoon (live) grafisch bekleden of invullen van oppervlaktes / schermen. Decors en later ook holografische personen en objecten invoegen. Het geheel onderdompelen in VR kreeg een belangrijke boost door 360 graden opnamen en de komst van speciale VR-brillen. Sensoren voor beweging & tracking, gelaatsexpressies en geluid brachten het interactief kunnen reageren op de VR-omgeving mee.
VR vond al gauw zijn weg naar GGZ-therapie. Heel effectief, ook thuis beschikbaar en de client kan zoveel oefenen als hij / zij wil. Onder meer geschikt voor angsten, posttraumatische stress, depressie en dadertherapie. Maar ook regelmatig ingezet bij het gezondheidsonderwijs en voorlichting.
Volumetric video capture studio (VVCS)
Dit type VR-studio is speciaal ontworpen om echte interactie-opnamen te kunnen maken. Normaliter kan de kijker zelf wel het perspectief en de (be)kijkrichting aanpassen maar is er weinig interactie. Je moet dan zelf maar je story of belevingsreis uit de aangeboden content samenstellen.
VVCS verschaft de toeschouwer / deelnemer een eigen actieve rol in de tv-show, game , op de eventstage of filmische beleving door hen te volgen en te laten interacteren met andere personen en objecten. Zo ontstaat i.s.m. met de ontwerpers en acties van de aanwezigen een onderhoudende interactieve immersive story. Je neemt rechtstreeks echt interactieve 3D bewegende videobeelden op. In Eindhoven staat al een VVCS.
Augmented Reality
AR, het combineren van bestaande beelden met toeschouwers, presentatoren, landschappen, gebouwen, operatiekamers etc met computer gegenereerde beelden., overvleugelt langzaam maar zeker VR.
Een van de belangrijkste redenen hiervoor is de pakkende onderdompelende storytelling. Het gaat immers om levensechte verhaalbeleving in combinatie met beelden uit de echte werkelijkheid. AR voorziet de ontwerpers van een extra vrijheidsniveau voor complexe storytelling als een compleet pakkende visualisatie, waarbij de presentator of operator de verhaallijn stuurt.
Goede voorbeelden zijn het recente Bevrijdingsjournaal over D-Day, talentenshows en de sportverslagen (met scores en opstellingen) op de tv, of de Stralingsapp van het Albert Schweitzer ziekenhuis. En als baanbrekend evenement de inzet van AR bij Marco Borsato in De Kuip, waarbij één miljoen vogels overvliegen, de vlammen uit het dak slaan, de artiest over het stadion vliegt en het publiek zich zelf ziet in de AR-schermspiegel achter de band.
AR: bij de les
AR houdt het menselijk brein bij de les. De aandachtspanne bedraagt vaak nog geen 8 seconden. Biedt binnen deze tijd een nieuwe verrassende input aan en men kijkt door. Verpak cijfers, statistieken, uitslagen en voorspellingen in geanimeerde AR/VR-graphics. Stuur op emoties (een oude omroepwijsheid) door het uitlezen lezen daarvan (AI en trackingcamera’s) en anticiperen bij het opwekken daarvan.
Bij de gezondheidszorg is AR geschikt voor het realistisch voorbereiden op behandeling, het oefenen van technieken, belevende voorlichting met gedragsverandering, uitleg wat medicijnen doen, GGZ-behandeling of de gevolgen van klimaatverandering laten doordringen.
Mixed Reality
Bij Mixed Reality gaat het om een combinatie van live opgenomen beelden met augmented en virtuele AV-content. MR is veel minder bekend dan AR en VR, maar dat gaat veranderen. Visionairs en techjournalisten zien MR-brillen en opspeldbare comdevices zelfs als de toekomstige vervanger van de smartphone.
MR brengt de gehele immersive (= onderdompeling in beeld en geluid) omgeving digitaal in kaart en laat de aanwezige (live) reallife, augmented en virtual componenten levensecht met elkaar interacteren. Een data-intensief proces waarbij het MR-systeem continu de omgeving scant op gebeurtenissen en acties, de aanwezige objecten interactief een plaats op de gemaakte digitale kaart geeft en deze aldus in de echte wereld verankert.
Holodeck
MR creëert al een soort ervaring zoals bij het eerdergenoemde holodeck uit Star Trek. In de eerste instantie is de technologie nog een zaak van daarvoor geschikte headsets zoals de Microsoft Hololens, de HP MR-headset en die van Magic Leap. Binnenkort ook te verankeren in flatscreen, de e-cinema en entertainment(stages).
Bij tv en home entertainment kan MR de eigen woonkamer of andere leef/werkruimte naadloos integreren in de immersive broadcast, filmsetting of gamesituatie. Alles wordt echt (ervaren) werkelijkheid. Kogels slaan nu heel realistisch in bij jou op de muur of bankstel. Auto’s razen door de kamer en straaljagers of drones vliegen over het hoofd. Te opereren weefsel en vaten gedragen zich levensecht.
3D-hologrammen van acteurs of real personality’s zijn al min of meer ingeburgerd. Zoals bij verkiezingsbijeenkomsten en colleges op afstand. De inzet van robots, nog mechanisch ogende of al androïden, vindt nog sporadisch plaats. Inmiddels zijn er al diverse experimenten met robotzangers, musici, toneelacteurs, stuntmannen en trainingsopponenten gaande.
Bij e-health biedt MR een verdere verdieping met al of niet kunstmatig intelligente aangestuurde realistische beleving die nog verder onderdompelt en lerend doet ervaren als bij AR
Verspreiding
Na VR duikt nu ook overal AR in de medische scene op. Visualisatie van behandeling, het eigen doen en laten aan de digitale lijve ondervinden, interactief oefenen, deconditioneren en gezondheidscampagnes lopen voorop. Het tijdperk van AR bij e-health is definitief aangebroken.
De chirurgie heeft nu echte bewegende 3D beeldvorming, kan het operatieterrein vooraf exploreren en tijdens de operatie de effecten en mogelijke complicaties voorspellen. Een tumor is nu geen los celobject meer, maar staat met AR in een dynamische relatie met de omliggende weefsels, bloedvaten en de eigen biologische chemie. Vooral de neuro- en vasculaire chirurgie hebben veel baat bij sturing via AR-technieken.
De neurologie heeft een realistische MRI-voorstelling van de patiënt op de SEH. De GGZ duikt in de gevisualiseerde psyche van de client. En de neuropsychologie ziet waar de farmaca in het brein precies aangrijpen.
En AR / MR kan het medisch e-dossier ‘belevend’ op de patiënt projecteren zodat de behandelaar niet meer steeds tussen monitor en client hoeft te switchen. Men spreekt hier van “Seeing under the patients skin.” De arts kan nu ook samen met de patiënt aan de AR-slag om de ziekte en behandeling uit te leggen.
Aparte tak VR/AR/MR bij e-health
Een aparte tak van VR/AR/MR-sport bij e-health vormt het interactief en belevend of zelfs immersive zichtbaar maken van big data bij beslissingsondersteunende systemen, populatiescans, gezondheidsscenario en de gevolgen van verandering bij het klimaat en biodiversiteit op het milieu, leefomgeving en de daaruit voortvloeiende medische problemen. Een belangrijk aspect bij preventie en beleid maken.
De nieuwe werkelijkheid van VR/AR/VR vormt een ware aanwinst voor zowel behandeling en preventie als voorlichting en onderwijs. Inmiddels al met eenvoudige middelen te doen en heel betaalbaar.
Doet u mij maar een AR-recept.
