Het proces voor het interpreteren van prognosemodellen is lastig en complex. Wetenschappers van de Vrije Universiteit hebben onderzoek gedaan naar twee methoden, LIME en SHAP, om de prognose van computergestuurde modellen te interpreteren. Hiermee is een eerste stap gezet naar het verkrijgen van een beter inzicht in achterliggende factoren die de overleving van borstkanker beïnvloeden.
Die factoren kunnen niet worden gedestilleerd uit prognosemodellen op basis van kunstmatige intelligentie voor borstkanker. In eerdere onderzoeken en klinische studies is wel aangetoond dat AI en machine learning een bijdrage kunnen leveren aan snellere en betere diagnose, de besluitvorming rond oncologische behandelingen en het beter leren begrijpen van de ziekte kanker zelf.
In de praktijk wordt de adaptatie van deze technologie echter nog tegengehouden door het feit dat er nog nauwelijks verklaringen gevonden kunnen worden voor hoe de computergestuurde, AI en machine learning modellen resultaten genereren.
Computergestuurde prognosemodellen
In hun studie presenteerden Tom Jansen van VU en zijn medeauteurs een computergestuurd mogelijk voor de prognose van de algehele 10-jaarsoverleving van borstkanker patiënten. Daarvoor werd gebruik gemaakt van data uit de Nederlandse Kankerregistratie (NKR). Om de voorspellingen van het computergestuurd model te interpreteren maakten zij gebruik van twee modellen; het Local Interpretable Model-Agnostic Explanations, LIME, model en het SHapley Additive exPlanations, SHAP, model.
Uit de analyses bleek vervolgens dat beide modellen over het geheel genomen de neiging hebben een consistente verklaring te geven voor de bijdrage van verschillende factoren. In 95 procent van de gevallen was er een overeenkomst tussen beide modellen. Het LIME-model gaf in een aantal gevallen wel een inconsistente en tegengestelde verklaringen voor individuele voorspellingen. De onderzoekers concluderen echter dat ook deze factoren interessant zijn. Specifieke factoren kunnen namelijk bijdragen bij de identificatie van omslagpunten ten gunste of ten nadele van de overleving c.q. overlijden.
Uitdagingen en aanbeveling
De onderzoekers concluderen dat de LIME en SHAP methoden een eerste stap zijn op weg naar een betere interpretatie van complexe modellen. Ook bieden de methoden inzicht in factoren die prognosemodellen zelf niet geven. Het is echter wel goed om te realiseren dat perfecte verklaringen niet haalbaar zijn, aangezien er geen 'gouden standaard' waarmee deze verklaringen te vergeleken kunnen worden.
Het evalueren van deze modellen is daarom meteen ook een van de grote uitdagingen. Verklarende technieken kunnen de weg effenen voor een bredere acceptatie van computergestuurde leermodellen. De evaluatie en vertaling naar de klinische praktijk vergt aanvullend onderzoek.
