App-checker moet rekenmodellen medische apps valideren

De net geïntroduceerde checklist Probast moet meer duiding geven als het gaat om betrouwbaarheid van rekenmodellen die de basis vormen van veel medische apps. Dat schrijft het UMC Utrecht. De app-checker is ontwikkeld door een grote internationale onderzoeksgroep waar het Julius Centrum van het academisch ziekenhuis deel van uitmaakt. Het Julius Centrum voert wetenschappelijk onderzoek uit naar nieuwe diagnose- en behandelmethoden.

De Probast-checklist is ontwikkeld om rekenmodellen op hun kwaliteit en effectiviteit te beoordelen. Dergelijke modellen voorspellen de kans op ziektes of sterfte en vormen vaak een belangrijke basis voor medische apps of websites. Op dit moment bestaan er volgens het UMC Utrecht meer dan honderdduizend medische apps (afhankelijk van de gebruikte definities wordt ook over tot 325.000 tot 350.000 apps gesproken). Het is het voor gebruikers en zorgverleners vaak niet duidelijk welke voorspellende modellen en apps betrouwbaar zijn.

Kans op ziekte, sterfte voorspellen

Veel medische rekenmodellen voorspellen de kans op ziektes en sterfte op basis van karakteristieken zoals leeftijd, geslacht, symptomen en testuitslagen. Zo bestaat er een model dat de kans inschat of een zwangere vrouw tijdens haar zwangerschap complicaties krijgt. Een ander model berekent de kans dat een 40-jarige binnen tien jaar suikerziekte ontwikkelt, of de kans dat een man met prostaatkanker binnen twee jaar overlijdt wanneer hij wel of juist niet behandeld wordt. Dergelijke kansberekeningen worden ook door zorgverleners ingezet. Bijvoorbeeld om leefstijl- en voedingsadvies- of behandelbeslissingen te nemen. Verder vormen deze voorspelmodellen de basis van allerlei medische apps en websites die voor iedereen toegankelijk zijn via het internet. De afgelopen decennia vond een wildgroei aan dit soort klinische voorspelmodellen en medische apps plaats, stelt prof. dr. Carl Moons van het Julius Centrum. “Zorgverleners, patiënten en andere gebruikers zien nu door de bomen het bos niet meer.”

Geschiktheid medische apps

Moons is één van de initiatiefnemers van de checklist. “Er bestaan naar schatting meer dan honderdduizend medische voorspelmodellen. We hebben recent nog aangetoond dat er maar liefst meer dan 350 modellen bestaan om alleen al het optreden van hart- en vaatziekten bij gezonde mensen te voorspellen. En dit is een voorzichtige schatting. Het zijn er waarschijnlijk veel meer. Zorgverleners hebben geen idee welk model het meest geschikt is in welke situatie.” Probast bestaat uit twintig items. Zij behandelen verschillende aspecten, zoals:

Het minimale aantal proefpersonen waarop is getest.
Of de gegevens op adequate wijze zijn gedefinieerd, gemeten en verzameld.
Of de aspecten op de juiste wijze met statistische technieken zijn gecombineerd, geanalyseerd en gerapporteerd.

Dat moet allemaal kloppen en op wetenschappelijk verantwoorde wijze zijn gebeurd, benadrukt Moons. “Voor de meerderheid van de tienduizenden modellen in omloop weten we dat niet echt. Door middel van deze checklist kunnen onderzoekers het gepubliceerde of gebruikte voorspelmodel goed controleren, reproduceren en zelfs eventuele fraude in de rapportage beter opsporen. Maar belangrijker nog: beter beoordelen hoe een voorspelmodel toegepast kan worden in de praktijk.”

Gebrekkige modellen nadelig

Gebrekkig ontwikkelde en geteste voorspelmodellen kunnen nadelig zijn voor patiënten en burgers, vervolgt Moons. Zo kunnen zij leiden tot het verkeerd inlichten van patiënten en hun familie over bijvoorbeeld het beloop van hun ziekte, tot het verkeerd voorschrijven van medicijnen, of juist het onterecht afzien van de behandeling van patiënten. “De kans op hart- en vaatziekten binnen tien jaar, bijvoorbeeld, bepaalt of je patiënten langdurige cholesterol- of bloeddrukverlagers moet geven. Deze kansschatting gebeurt door zo’n klinisch voorspelmodel en dat moet dus wel een goed voorspelmodel zijn. Zeker als deze voorspelmodellen in medische apps of websites terecht komen die voor iedereen toegankelijk zijn; dan moet men er van uit kunnen gaan dat deze voorspelmodellen juist zijn. En dat weten we nu vaak niet.”

Bruikbaarheid sneller duidelijk

Als onderzoekers, gebruikers, zorgverleners en medische richtlijnontwikkelaars de nu ontwikkelde checklist gaan gebruiken, moet het volgens de betrokken partijen sneller duidelijk worden of en zo ja hoe bruikbaar voorspelmodellen echt zijn. Moons hierover: “Het zal de invoering en acceptatie van goede modellen vergroten en een schifting creëren met slechte of slecht onderbouwde voorspelmodellen. Dat is hard nodig, want we zien deze voorspelmodellen steeds vaker lukraak op het internet of in medische apps verschijnen waarna ze voor iedereen beschikbaar zijn. Voor publicaties over bijvoorbeeld medicijnonderzoek en diagnostische testen bestaan al dergelijke checklists.” De checklist ‘PROBAST’ is in het medisch-wetenschappelijke tijdschrift Annals of Internal Medicine gepubliceerd. Openingsmanifestatie van de e-healthweek 2019 Wilt u ook weten hoe, waarmee en met wie de zorg haar toekomst nu al implementeert? Bezoek dan op 21 januari 2019 de jaarlijkse ICT&health Openingsmanifestatie van de e-healthweek. Entreekaarten zijn gratis, maar het aantal nog beschikbare plaatsen zijn beperkt. Dus wacht niet en meld u snel aan want op is op!