In het tijdperk van big en deep data, machineleren en AI-modelling, spelen statische en epidemiologische cijfers een uiterst belangrijke rol. Beleidsbeslissingen, proces- en crisisbeheersing, diagnostiek, preventie bij publieke gezondheid, invloed op de publieke opinie: noem het maar op en er liggen wel cijfers aan ten grondslag.
Dan moeten uiteraard wel de juiste cijfers zijn ingevoerd, correct bewerkt en begrijpelijk aan de gebruikers getoond. Anders gaat het grondig mis. Dus rijst de vraag: Cijfers, liegen die nu niet of toch wel? Er zijn helaas veel voorbeelden waar cijfers en de visualisatie daarvan een volkomen verkeerd beeld schiepen. Zo kwamen 170.000 voorspelde Covid-besmettingen met de Engelse variant er niet. Door een verkeerde aanname over het onder de Nederlandse bevolking aanwezige percentage van deze mutatie sloeg de modellering door naar een in de praktijk niet bestaande dreiging.
ICT of mens in de fout?
Bij het verwerken van cijfers speelt altijd de trias betrouwbare invoer, juiste werkwijze bij de bewerking en de daarop volgende menselijke al of niet door AI ondersteunde interpretatie & presentatie. Rotzooi in geeft ook rotzooi uit is een bekend adagium bij statistiek en epidemiologie. Het begint al bij de vraagstelling. Deugt deze niet of wordt er naar het resultaat toegewerkt dan wordt de uitslag op zijn minst twijfelachtig. Stop je er ook nog de verkeerde gegevensstromen in, dan wordt het echt Big Data-vuilnis. ICT is hier maar deels schuldig aan: de opdrachtgever bepaalt. Toch kunnen slimme routines wel checken of de juiste invoerprocessen gevolgd worden.
De juiste verwerking van data is heel complex: selectie van gegevens, van toepassing op relevante (doel-)groepen, geen cruciale factoren vergeten en correcte datafiltering. Machineleren en slimme algoritmen kunnen wel helpen om bekende lacunes en misinterpretaties of verkeerde filteringen tijdig te signaleren. Het blijft echter de mens die achter de dataknoppen zit.
Interpretatie en presentatie zijn nauw met elkaar verbonden. Verschuif bijvoorbeeld maar eens de tijd op de x-as van een grafiek. Zet je data dicht bij elkaar door een korte tijdsperiode te kiezen dan ontstaat er een flinke piek. Rek je de as op dan daalt de curve. Leuk bij infectiegolven tijdens pandemieën. ICT kan helpen door te tonen wat meerdere variaties doen alvorens bovenop de pieken te springen. Smart GIS is hier goed toe instaat.
Controverse
SARS-CoV2 leidde tot enorme verwarrende controversen over het verloop van de pandemie en het effect van de genomen maatregelen. Het RIVM, OMT, RED-team, onafhankelijke epidemiologen en sociologen, Maurice de Hond en Viruswaarheid buitelen regelmatig over elkaar heen.
Of het nu om de ernst, het daadwerkelijke effect van maatregelen (lockdown, avondklok), gemiste factoren of overgeslagen bevolkingsgroepen gaat, men is het regelmatig met elkaar oneens. Het nut van ventilatie op aerosolen en mondkapjes bijvoorbeeld.
Voeg de factor politiek dan toe. Die wil straks niet op de kiezersbek gaan door verkeerde of slecht liggende keuzes te maken. Dan bestaat de kans dat de wens de vader van de gedachten wordt en niet de cijfermatige feiten.
Preventieparadigma
Een goed voorbeeld in dit controversiële perspectief is het preventieparadigma. Wij kennen dit in de gezondheidszorg: je kunt beter geld stoppen in preventie dan in het genezen van individuele ziektegevallen. Een cijfermatige waarheid als een koe. In de praktijk wil men echter toch niet al die ingrijpende handelingen voor het op den duur onvermijdelijke levenseinde en het huidige verdienmodel los laten. En wie durft publiekelijk te zeggen dat bepaalde patiënten beter kunnen doodgaan om vele anderen te kunnen redden?
Bij de politiek gaat het om doe je te weinig of juist te veel, dan wordt je dat later verweten. Waarop dan te richten? De veilige midden weg of kortetermijndenken? Loopt vast verkeerd af! Bij het klimaat geldt bijvoorbeeld dat elke euro besteedt aan niet-duurzame groei straks driemaal zoveel aan opgelopen natuur- en milieuschade kost. Maar het compleet anders gaan doen ligt heel gevoelig naast het nu betalen voor straks.
Alle modellen fout, sommigen nuttig
George Box zei het al, epidemiologische modellen blijven een versimpeling van de werkelijkheid en kunnen daarom niet als absolute waarheid gezien worden. ofwel: “All models are wrong”, maar als hulpmiddel zijn ze toch wel handig. Een Oxford-studie naar de effecten van verschillende aannames over Covid-19 laat hierbij interessante dingen zien. Het is maar hoe je er naar kijkt.
Een icoon inzake de effecten bij slechte wetenschappelijke data is dr. John Ioannidis. Hij laat regelmatig weinig heel van wetenschappelijke voorspellende Covid19-modellen en het effect van genomen maatregelen. Niettemin zijn er best wel goede modellen en interventies aanwezig. Ioannidis bepleit dan ook om de juiste vraagstelling, input en bewerking te gebruiken. AI en machineleren kunnen daarbij een voorname rol spelen.
Inschatten statistische waarden/waarheid
Allereerst het verschil tussen groepen en individuen. Voor grotere groepen zijn er voldoende betrouwbare, accurate en ook bij extrapoleren waardevolle statistische gereedschappen voor handen. Mits de onderzoekers hen maar op de juiste wijze toepassen. Voor het individu blijkt de statistische uitslag vaak echter een kwestie van ‘Alles of niets’.
Hoe vallen die statische uitslagen nu te checken en valkuilen te voorkomen? Een bruikbaar zevental is:
- Heeft de groep die de data verzamelt en beoordeelt belangen bij de uitslag? Zie in het verleden misleiding door de tabaksindustrie.
- Is de verzamelde datahoeveelheid (sample) groot genoeg?
- Hoe groot zijn de foutmarges? Anders wordt het al snel fuzzy logic.
- Hoe accuraat is de presentatie van de gegevens en/of is er spraak van een vooroordeel?
- Past de toegepaste gevoeligheid wel bij het sample?
- Voldoet de genoemde statistische context wel (omstandigheden, gestelde doel en perspectief van de definiëring)
- Wordt de statistiek niet gebruikt (werkt toe naar) met eerdere precedenten of voorvallen?
Heel handig kan een AI-gebaseerde controle op deze punten zijn. Let wel: De statistiek zelf liegt niet. De onderzoekers of gebruikers van resultaten kunnen dat echter wel.
Een ander punt vormt de uitleg of interpretatie door het menselijk brein. Het publiek betrekt de resultaten al snel op de eigen (of die van familie en bekenden) gezondheid, welzijn en veiligheid. Een gebeurtenis leidt tot een bepaalde gedachte en gevoel waarop weer actie volgt. De gevoelsmens heeft het door beleving nogal eens niet bij het rechte eind. En artsen kunnen cijferblind zijn bij een vooropgestelde diagnose of eigen expertise indachtig.
Bijdrage van rekenmodellen
Het RIVM is zo’n beetje de Nederlandse Peetvader van rekenmodellen voor de bestrijding van COVID-19. Cruciaal zijn daarbij de termen schatten, verloop, effecten en actuele cijfers. Om met die cijfers te beginnen. Hoe ver loopt de rapportage achter in de tijd? En welke data missen we? Dan gaat het om een goed onderbouwde maar wel nog foutgevoelige schatting. Het doel is verder om aan de hand van het verloop passende maatregelen te nemen en het effect te bestuderen.
Het RIVM geeft ruiterlijk toe dat er altijd mitsen en maren bij een nieuwe pandemie zoals SARS-CoV2 zullen zijn. Maar zonder gepaste actie dreigt een nationale ramp. Het model Wallinga geeft goed inzicht in de besmettelijkheid en verspreiding van het virus: Hoe lang duurt het voordat iemand besmettelijk is, hoe lang is iemand daadwerkelijk besmettelijk en hoeveel andere mensen besmet iemand? Een duidelijk voorbeeld van ICT vanuit e-health bij decision support in crisistijd.
Hier een interessant artikel over het gebruik van wiskundige modellen en deep learning als voorspeller voor het aantal door SARS-CoV2 besmette individuen. De onderzoekers beschrijven ook goed waar het mis kan gaan (Falsificaties). Over de toepassingen van AI bij infectieuze ziekten geeft Use of artificial intelligence in infectious diseases een goed beeld van de veelbelovende mogelijkheden. En de invloed van AI (machineleren, datamining en signal processing) op global health staat uitvoerig beschreven in dit Lancet-artikel. Artificial intelligence and the future of global health - The Lancet. Idem helpt AI bij het modelleren van de invloed van de klimaatcrisis op de publieke gezondheid.
Welke cijfers liegen niet?
De juiste cijferkeuze kan een heel ander, onderbouwd beeld geven dan eerst gedacht. Ik kreeg een aardig boekje 'Cijfers liegen niet' van de befaamde emeritus hoogleraar Vaclav Smil in handen. Een ware kunstenaar bij het correct interpreteren van statistiek en een enorme kennisbron. Wat is bijvoorbeeld de beste indicator voor de kwaliteit van leven? Verrassend genoeg de kindersterfte. Hoe rendabel is de vaccinatie? Groot! Wat betekent de maakindustie voor de economie en banen? Wat is belastender voor het milieu: Jouw auto of mobieltje? Waarom laat een pandemie zich zo moeilijk voorspellen? Allemaal statistische feiten waar je niet gauw over nadenkt en die een grote impact op het leven hebben.
Als laatste nog het eenvoudig aan de slag met epidemiologische modellen om genomen maatregelen te begrijpen. Nee, niet het uitrekenen op de achterkant van een lucifersdoosje. Wel het zogenaamde SIR-model: Susceptible (vatbaar), Infectious (besmettelijk) en Recovered (genezen. Omdat het aantal gezonde en daarmee mogelijk te infecteren mensen steeds verder afneemt, zal het aantal zieke mensen eerst toenemen en daarna afnemen. De epidemie stopt vanzelf. Uiteindelijk is iedereen ziek geweest en immuun geworden.
Cijfers liegen niet bij de juiste onderzoeksopzet, betrouwbare invoer, correcte verwerking en interpretatie. Als bepaalde belangen, vooringenomenheid en de emotionele beleving of politiek er mee op de loop gaat echter wel. AI en ICT op het gebied van zorg en welzijn kunnen ons behoeden voor tragische fouten en de daaraan gekoppelde grote gezondheids- en maatschappelijke schade.
