Yale-onderzoekers hebben ontdekt dat de voorspellende algoritmen die worden gebruikt om de werkzaamheid van behandelingen te voorspellen en om de individuele behandelingen aan te passen, niet goed in een bredere context kunnen worden gebruikt. Dit ontdekten Yale-onderzoekers. Het onderzoek is recent in Science gepubliceerd. De voorspellende algoritmen hebben volgens de onderzoekers een beperkte effectiviteit wanneer ze worden gegeneraliseerd naar patiënten cohorten buiten hun trainingsgegevens.
De hoop is gevestigd dat met Artificial Intelligence (AI) en voorspellende algoritmen in de gezondheidszorg grote datasets kunnen worden verzameld die gebruikt worden om de beste zorg en (gepersonaliseerde) behandelingen voor toekomstige patiënten te voorspellen en ontwikkelen. Naar nu blijkt is het niet altijd duidelijk hoe de modellen zouden presteren bij nieuwe patiënten omdat ze zelden prospectief worden getest op werkelijk onafhankelijke patiëntgegevens.
Overfitting van algoritmen
Chekroud en zijn team toonde aan dat machine learning-modellen routinematig perfecte prestaties bereiken in één dataset. Dat kan ook als die dataset een grote, internationale, klinische proef is op meerdere locaties. Echter, toen dat exacte model werd getest in werkelijk onafhankelijke klinische onderzoeken, scoorden de prestaties niet hoger dan het ‘toevalsniveau’.
Veel van de algoritmen die door klinische onderzoekers worden gebruikt, zijn ontworpen om te worden gebruikt op veel grotere datasets. Wanneer die toegepast worden op kleinere datasets kan dat leiden tot overfitting, heet fenomeen waarbij een model responspatronen heeft geleerd die specifiek zijn voor een bepaalde dataset. Met als gevolg dat het model niet meer (goed) kan presteren wanneer het voor nieuwe data ingezet wordt.
Voorspellende waarde algoritmen getest
De onderzoekers van Yale komen tot hun conclusie na een aantal zelf uitgevoerde tests met algoritmen. Hiervoor evalueerden zij hoe goed machine learning (ML)-modellen presteerden in vijf onafhankelijke klinische onderzoeken naar schizofrenie. Concreet testten de onderzoekers het vermogen van de modellen om de uitkomsten van patiënten te voorspellen in de context van antipsychotische medicatie voor schizofrenie.
De onderzoekers ontdekten dat de modellen in staat waren om de uitkomsten van patiënten met hoge nauwkeurigheid te voorspellen, maar alleen binnen het onderzoek waarvoor ze waren ontwikkeld. Toen modellen werden toegepast op onderzoeken waarvoor ze niet waren ontwikkeld, daalden hun prestaties echter aanzienlijk. “De algoritmen werkten bijna altijd de eerste keer, Maar toen we ze testten op patiënten uit andere onderzoeken, was de voorspellende waarde niet groter dan het toeval", aldus Adam Chekroud.
Nieuwe opslagplaats
Om nog meer met data te kunnen gaan doen op het gebied van AI, worden wereldwijd gegevens verzameld. In Amerika hebben ze hiervoor een nieuwe opslagplaats aangelegd. Onderzoekers van de University of California, Los Angeles (UCLA) en de University of California, Irvine (UCI) hebben een opslagplaats met gegevens over chirurgische uitkomsten ontwikkeld.
De opgeslagen gegevens moeten de onderzoekswereld helpen om nieuwe algoritmen voor artificial intelligence (AI) te ontwikkelen en patiëntresultaten te verbeteren. De database staat bekend als ‘Medical Informatics Operating Room Vitals and Events Repository (MOVER)’ en bestaat uit elektronische medische dossiers (EPD's) en hifi-fysiologische golfvormen.
Menselijke kant AI
Artificial Intelligence is bezig aan een snelle opmars in de zorg. Binnen de toekomst van zorg heeft AI niet alleen consequenties voor de patiënt, maar ook voor zorgmedewerkers en hun werk. Om te voorkomen dat de techniek centraal staat, focust Deloitte zich op ‘Humanizing work’, oftewel: het menselijker maken van werk, met AI als versneller.
Wel is AI nog een onderwerp waaraan de zorg moet wennen en moet leren er op zorgvuldige en praktische manier mee om te gaan. En gelet op de snelle ontwikkelingen op AI-gebied – en wet- en regelgeving daarover – is het zaak dat ze tempo maakt. Erasmus MC heeft hieraan richting gegeven middels een competence center om de ontwikkeling hierin centraal te kunnen sturen.
