Het duiken in, tot volledige onderdompeling aan toe, biedt een realistische beleving van ziekteprocessen, de werking van medicatie, het effecten van behandeling en het toepassen van preventie. Virtual (VR) en Augmented Reality (AR) spelen daarbij al enkele jaren een belangrijke rol.
Nog meer pakkend (engaging) en interactief zijn de doorontwikkelingen volumetric en metaverse video en audio. Die waren onder meer zichtbaar op de recent gehouden IBC-beurs in de RAI te Amsterdam en het Mobile Healthcare congres in Utrecht. Ook is er inmiddels al een eerste metaverse-ziekenhuis.
Beleven, ervaren en exploreren
Je kunt het allemaal doceren, lezen, bekijken of proeven doen maar de beklijffactor kan behoorlijk tegenvallen. Het zelf beleven, in een realistische omgeving ervaren en interacteren met de gebeurtenissen biedt een aanzienlijk betere leercurve. Niet alleen bij games en het entertainment en het onderwijs maar ook bij wetenschappelijk onderzoek en gedragsbeïnvloeding.
Hoe werkt een ziekteproces, een virus of veroudering precies? Wat doen medicijnen op moleculair niveau en hoe ontwikkel je echt goed werkende farmaca op individueel niveau? Wat doen bestraling, warmte- en laserbehandeling? Voer een operatie eerst virtueel uit of gebruik deze techniek voor optimaal zicht tijdens de daadwerkelijke behandeling. Bekijk gezondheidsscenario’s en de invloed van de klimaatcrisis en toxische milieuvervuiling.
Maar ook: welke interventies bereiken echt het gewenste doel? En bovenal: hoe pas je een gezondheidsbeleving toe om leefstijl positief te veranderen. Dat alles kan met ware engagement en immersive beleving via metaverse en volumetric video.
Volumetric video
De term volumetric heeft weinig met volume en des te meer met de driedimensionale weergaveruimte te maken. In principe is volumetric video een opnametechniek (capture) die een 3D-ruimte (volume of space), object of omgeving realtime digitaliseert. Die gebruikt daarvoor een reeks (array-opstelling) van camera’s gepositioneerd rondom de opnamesetting. De aldus opgenomen beelden en geluid gaan direct in 3D het web op of naar een cloud-omgeving, het mobieltje, social media, games en virtuele werelden.
Het bijzondere aan volumetric video is dat het doorgegeven 3D-eindproduct niet een vast bekijkpunt of gezichtshoek heeft. De eindgebruiker heeft de vrijheid om het aangeboden driedimensionale videomateriaal naar believen van alle kanten te aanschouwen. Dat geeft een hogere belevingswaarde en zelfs onderdompeling (immersive) in de scene of virtuele wereld. Ideaal voor het zelf deel uitmaken van de video- of filmische ervaring, VR/AR/MR, sportwedstrijden, gaming en onderwijs of training.
En de 360 graden video dan? Die techniek maakt het weliswaar mogelijk om de gehele scene in 360 booggraden op te nemen, maar schept geen realtime belevende diepte zoals volumetric video wel doet. Je wordt als het ware de regisseur van jouw eigen videoscene of film en de daaraan gekoppelde immersive beleving. Ofwel: bleef het eigen lichaam in volumetric video.
Inmiddels zijn er al verschillende toepassingen beschikbaar. Bijvoorbeeld 1 op 1 interactie met een favoriete sporter, acteur, entertainer of rolmodel in de eigen woonkamer. Of het trainen van werknemers, hoogwaardige klantenservice die interactief meekijkt wat het probleem is, diagnose op afstand (producten en medisch), adverteren, hologrammen en interne communicatie. Relatief nieuw zijn entertainmentparken, musea, games en tv-shows.
De achterliggende techniek is opgebouwd uit:
- Hoogwaardige uniforme camera’s in een rig-bevestiging rondom het onderwerp. Die nemen het doelwit uit alle mogelijke richtingen op.
- Elke output van de afzonderlijke camera’s wordt exact gesynchroniseerd en bewerkt tot een 3D mesh (= het samengestelde beeld).
- Deze 3D mesh gaat naar de export voor virtuele omgevingen, games en uitzending op social media tv-kanalen.
Wat levert volumetric video nu in de praktijk op? Deze techniek verandert de wijze waarop cineasten hun verhaal vertellen, kijkers in interactie treden met de media en productieteams gaan werken. Al met al een belangrijke bijdrage voor realtime immersive video. Voor de medische wereld en gezondheidsbeleving een belangrijke tool bij de eerder geschetste toepassingen, trainingen, telemedicine en Medische Internet of Things (MIoT)en preventieve doelgebieden.
Metaverse in video
Metahumans, Virtual, Augmentend en Mixed Reality vormen samen het Meta-universum in videoland en op het 3D internet. Een algemene definitie van het Metaversum is 'een parallel universum, waar je je digitale leven doorbrengt'. Dit is een plek waar jij en andere mensen een avatar hebben, en waar je interacties hebt met de avatars van de andere deelnemers. Die deelnemers hanteren via hun mobieltje, tv-kanaal of gameconsole avatars, objecten en digitale valuta. Het verdiende e-geld komt naar alle waarschijnlijkheid terecht op een blockchain. Voor 2024 wordt de markt voor metavers geschat op 800 miljard dollar. De markt en ontwikkeling voor videometaverse is inmiddels in volle gang. Diverse startups, al bestaande ontwikkelingen en must be toekomstsperspectieven.
Interactieve immersive videobeelden spelen in het metaversum een voorname rol. Disney (onder meer met de Star Wars-serie The Mandalorian) integreert deze technieken al in de eigen videoproducties met als doel de kijkers interactiever en meer immersive te betrekken bij haar films.
Ook in Stranger Things van Netflix zijn al imponerende toepassingen van metaverse te bewonderen. Bij het game Fortnite is het al dagelijkse kost. Voor de gezondheidszorg en medische toepassingen geldt hetzelfde: treedt echt in onderdompelen interactie met pathologie, genezing en leefstijl.
Metahumans
De avatars zijn geen geanimeerde spelfiguurtjes meer, maar real live (inter)acterende en belevende kunstmatige mensen, de metahumans. De bewegingen en stemmen zijn niet of nauwelijks meer van echt te onderscheiden. Hierom is een compleet nieuwe animatie-industrie ontstaan. Voor de gezondheidszorg en medische toepassingen geldt hetzelfde: treedt echt in onderdompelen en levensechte interactie met pathologie, genezing en leefstijl.
Opmerkelijk is dat op de virtuele opnameset het groene keying-scherm in de achtergrond gaandeweg wordt vervangen door LED-techniek met een afzonderlijk scherm of complete muur (Wall). Flexibeler, precies op de sfeer of stemming af te regelen een geen storende reflecties.
Verder spreekt men tegenwoordig over Extended Reality (XR) een samenstel voor VR, AR en MR. En in geval van net netwerktoepassingen met patiënten de connectected patient experience.
Nieuwe benadering met volumetric, metaverse
Samenvattend bieden volumetric video en metaverse een nieuwe en effectieve benadering van ziekte, behandeling en gezondheid plus het MIoT. Vooruitzien, beter begrip van, doeltreffender kunnen ingrijpen en echt interactief aan de slag met de eigen leefstijl. Een ware uitdaging voor de curatieve en preventieve medische wereld.
