Onder immersive wordt onderdompelen in beeld, geluid en recentelijk ook gevoelssensaties bedoeld. De daarvoor toegepaste Virtual, Augmented en Mixed Reality doet de deelnemers aan de genoten sessie de omgeving, gebeurtenissen en ervaringen heel realistisch beleven. Het is net of je er zelf echt bij bent en/of helemaal in staat.
De immersive technieken worden in de gezondheidszorg al gebruikt voor onderwijs, zorg bieden, realistisch gesimuleerd oefenen en levensecht ervaren hoe het is of in zijn werk gaat. Dat geldt zowel voor de zorgverlener of diens client / patiënt als bij algemene e-health. De beschikbare mogelijkheden gaan steeds verder. Inmiddels is de entertainmentindustrie als zo ver dat je ‘Wat je kan dromen kun je ook bouwen’. En dat biedt ook voor ongekende mogelijkheden voor immersive health (care).
Definities en beschrijving
De term immersive health omvat digitale AV-technologieën die interacteren en/of een soort hefboom beïnvloeding bij de neurowetenschap van het menselijk brein teweeg brengen. Kortom, zij grijpen direct gesimuleerd in op hoe ons menselijke brein dingen in de omgeving ervaart en beleeft. De immersive technologieën bieden daarbij een volledig nieuwe (disruptive) aanpak van de gezondheidszorg. Vaak zijn er compleet innovatieve inzichten en interventies mogelijk versus de traditionele curatieve en preventieve zorg.
Andere termen voor immersive health zijn digitale therapeutics, virtual medicine en Audio Visual AI, of machine learning-health. De markt voor immersive health / medicine groeit al richting de 2,5 miljard euro per jaar. Een ware game changer!
Koppeling immersive op vier terreinen
Wat maakt het leren, zelf beleven en opdoen van ervaringen nu zo effectief bij immersive health? Dat blijkt de efficiënte koppeling op vier neurale terreinen te zijn:
- Het zintuigelijke systeem leert alles van visuele, auditieve, tactiele en geurprikkels. Dat vindt plaats in de zintuigelijke hersensystemen.
- Het cognitieve systeem verwerkt de informatie uit het zintuigelijk systeem en slaat kennis en feiten op aan de hand van ons werkgeheugen en aandacht. Dit type leren vindt voornamelijk plaats in de prefrontale cortex en de hippocampus.
- Het motorisch systeem ondersteunt al onze motorische vaardigheden en werkt (gedeeltelijk) aan de hand van ‘spiergeheugen’. Dit systeem is zeer vatbaar voor real-time feedback (binnen milliseconden) en vindt plaats in de motorische cortex. (striatum). Het motorisch systeem vertaalt het ‘wat’ te doen naar het ‘hoe’ te doen.
- Het emotioneel systeem verwerkt emotie en motivatie en is gevoelig aan context en situatie. Het kan het motorische en cognitieve systeem beïnvloeden. Het lymbisch systeem en de amygdala spelen hier een belangrijke rol.
Voor wie is immersive bedoeld?
De eerste immersive-toepassingen waren voor het onderwijs. Zowel gesimuleerd theoretisch als het opdoen van praktische levensechte ervaringen. Een soort vluchtsimulator voor medici, studenten en verzorgenden. In de computerwereld van Virtueel (alles door de computer gebouwd), Augmented (het integreren van bestaande situaties met computergraphics) en Mixed (een combinatie van beiden) Reality maakt het interactief deelnemen en onderdompelend ervaren mogelijk. Ook AI met machine en deep learning spreekt daarin een stevig woordje mee.
Een tweede toepassing is curatie. Dat werkt bijvoorbeeld verassend goed bij onder meer de psychiatrie met VR-brillen (angsten, verslaving, PTDS). Maar ook het oefenen van handelingen / behandelingen door de patiënten zelf.
Als derde toepassing is er het inleven door de zorgverlener in de gezondheidssituatie van de clientèle. Bijvoorbeeld hoe is het om aan dementie te lijden.
In de preventieve e-health is immersive in opkomst als de belever van de eigen gezondheid. Wat betekent de huidige levenswijze voor mijn gezondheid? Met deze vierde toepassing duik je in het eigen lichaam om te ervaren hoe het beter kan.
Als vijfde toepassing is daar het inleven van onderzoekers en ontwikkelaars bij hoe farmaca, vaccins en ingrepen precies op orgaan-, cel- of moleculair niveau aangrijpen. Een soort virtueel biolab.
Virtual humans
In plaats van de geijkte proefpersonen leveren meerdere bedrijven nu al virtual humans aan. Net echte mensen waarop je naar harte lust kunt behandelen, oefenen, experimenteren en scenario’s mee evalueren. Allemaal zonder dat het kwaad kan, een stuk goedkoper, tijdbesparend en in tal van variaties uitvoerbaar. Voor de leek en publieke e-health geven de virtual humans een aardig inzicht in gezonde leefstijl en het voorkomen van ziekten.
Zorg op afstand
Het fysiek zorg op locatie leveren is bij epidemieën zoals Covid-19 en het nijpend gebrek aan personeel moeilijk uitvoerbaar. Een toch willen de ontvangers van de zorg liefst zo veel mogelijk persoonlijk contact met een menselijk beleving en ervaring.
Immersive beeldconsulten vormen hierbij de nabije toekomst. De huisarts, specialist of andere behandelaar thuis in de huiskamer of aan het bed. Je kunt er gewoon menselijk mee praten en op afstand behandeld worden. Bovendien zijn continue monitoring en direct deskundig ingrijpen op AI-niveau mogelijk.
Een spin-off is de opkomst van het Internet of Medical Things (IoMT). Dat koppelt de wereld van wearables, sensoren, apps en monitor devices aan virtuele behandel- en begeleidingsomgevingen.
Een oproepbaar hologram aan het bed, de Emergency Medical Hologram (EMH) leek tot voor kort alleen iets voor StarTrek, maar zou binnen 10 jaar realiteit kunnen worden.Nu moeten wij het nog doen met android-zorgrobots. Theoretisch gezien is een EMH op basis van AI en immersive projection een werkzaam concept. Holoboxes etc. zijn momenteel al in gebruik om deel te nemen aan evenementen (virtuele artiesten) en presentatie op afstand. De bekende futuroloog Ray Kurzweil spreekt van een holographic singularity.
Health gaming
Immersive gezondheids-gamen is inmiddels realiteit geworden. Spelen doet leren. In dit geval realistisch belevend wat de eigen gezondheid, leefstijl en kwalen doen. Immersive storytelling helpt echt, toont onderzoek aan. En hoe realistischer het engagement des te beter het gezondheidsresultaat. Gewoon opnemen in het pakket van de zorgverzekeraar.
Dromen = bouwen
Bij immersive AV-technologie denkt menigeen alleen aan de VR/AR-bril. De entertainmentindustrie gaat echter bij immersive veel verder. Het is technisch gezien nu echt “Wat je kan dromen kun je ook bouwen” en dat vrijwel volledig brilloos. Deze ontwikkeling biedt ook interessante kansen voor e-health.
Bij entertainment en immersive draait het allemaal om Dynamic Spatial Augmented Reality (DSAR), projection mapping, motiontracking, immersive 3D geluid en haptische sensaties. Dat kan behalve in evenementhallen tegenwoordig ook mobiel op locatie (location based). Een belangrijke spil vormt de lichtsterke (50.000 lumens) highspeed videoprojector met een zogenaamde shortthrow lens. Dat objectief kan van heel dichtbij schaduwloos op elk denkbaar oppervlak projecteren. Met project mapping bekleedt een videoprojector de gehele omgeving met virtuele interactieve videobeelden.
Beweging volgen, horen en voelen
Omdat de immersive omgeving via motion tracking direct op de bewegingen en gebaren (haptiek) van de aanwezigen moet kunnen reageren dient de respons van de projector navenant snel te zijn. In de praktijk gaat het daarbij om 4K UHD-videobeelden op 240 frames per seconde met een maximale vertraging van 5 milliseconde.
Aanvullend is het realistische 3D geluidslandschap. Niet gewoon wat surround sound maar echt geluid vanuit de richting en in de sterkte die je in het echt verwacht. Speciale algoritmen zorgen voor rijke ruimtelijke veldsynthese bij audio. (onder meer via Holoplot).
Aanvullend zijn er realistische bewegingssensaties en trillingen. (LIDAR-technologie). Bijvoorbeeld net alsof bij een voortdenderende kudde olifanten in een safaripark staat. Al deze technieken zijn tevens inzetbaar voor de ware immersive health.
Gezondheid en zorg op nieuwe wijze immersive beleven? Het kan zondermeer met de recente technologie uit de wereld van entertainment. Daarmee breekt een nieuw disruptive tijdperk aan voor curatie en preventie plus onderwijs in een hoogst realistische onderdompelende AV-omgeving.
Lees ook deze eerdere blog van Ulco Schuurmans over de nieuwe werkelijkheid van VR, AR en MR.
