Onderzoekers in Denemarken hebben een AI-tool getest die kan helpen bij de diagnose van röntgenfoto’s van de borstkast. Daarbij lag de focus met name op het uitsluiten van diagnoses zonder dat daarbij het aantal kritische missers groter werd. Het onderzoeksteam wilde weten of de kwaliteit van fouten gemaakt door AI en radiologen verschillend was en of AI-fouten gemiddeld objectief slechter zijn dan menselijke fouten.
De AI-tool die voor het onderzoek gebruikt werd, is vooraf aangepast om een zogenoemde ‘opmerkelijkheids-waarschijnlijkheid’ voor röntgenfoto's van de borst te genereren. Die werd vervolgens gebruikt om de specificiteit te berekenen (een maat voor het vermogen van een medische test om mensen die geen ziekte hebben correct te identificeren) bij verschillende AI-gevoeligheden.
AI-tool voor pathologie
De onderzoekers wilden een schatting maken van het aandeel onopvallende röntgenfoto's van de borst waarbij AI pathologie correct zou kunnen uitsluiten zonder de diagnostische fouten te vergroten. De AI-tool, zo bleek uit het Deense onderzoek, was effectief bij het uitsluiten van pathologie en had dezelfde of lagere percentages kritieke missers op röntgenfoto's van de borst dan radiologen. De resultaten van het onderzoek zijn onlangs gepubliceerd in Radiology.
“Wij, en ook andere onderzoekers, konden eerder al aantonen dat AI-tools in staat zijn om pathologie in röntgenfoto's van de borstkas met een hoge betrouwbaarheid uit te sluiten en zo een autonoom normaal verslag te leveren zonder tussenkomst van een menselijke radioloog. Zulke AI-algoritmen missen heel weinig abnormale röntgenfoto's van de borstkas. Voor ons huidige onderzoek wisten we echter niet wat de juiste drempel was voor deze modellen”, aldus hoofdauteur Louis Lind Plesner, M.D., van de afdeling radiologie van het Herlev en Gentofte ziekenhuis in Kopenhagen.
Controle door radiologen
Twee thoraxradiologen, die geen weet hadden van de AI-uitvoer, labelden de thoraxröntgenfoto's als ‘opmerkelijk’ of ‘onopvallend’ op basis van vooraf gedefinieerde onopvallende bevindingen. Röntgenfoto's van de borst met gemiste bevindingen door de AI en/of het radiologieverslag werden door één thoraxradioloog – zonder te weten wie de fout gemaakt had (mens of AI) - beoordeeld als kritiek, klinisch significant of klinisch onbelangrijk.
De referentiestandaard bestempelde 1.231 van 1.961 röntgenfoto's van de borstkas (62,8%) als opmerkelijk en 730 van 1.961 (37,2%) als onopvallend. De AI-tool sloot pathologie correct uit in 24,5% tot 52,7% van de onopvallende röntgenfoto's van de borst met een gevoeligheid van 98% of meer, met lagere percentages kritieke missers dan gevonden in de radiologierapporten die bij de beelden horen.
Opvallend was wel dat de fouten van AI gemiddeld klinisch ernstiger waren voor de patiënt dan de fouten van radiologen. “Dit komt waarschijnlijk omdat radiologen bevindingen interpreteren op basis van het klinische scenario. Iets wat AI niet doet. Daarom, wanneer AI bedoeld is om een geautomatiseerd normaal rapport te leveren, moet het gevoeliger zijn dan de radioloog om te voorkomen dat de standaard van zorg tijdens de implementatie afneemt. Deze bevinding is ook in het algemeen interessant in dit tijdperk van AI-mogelijkheden die meerdere omgevingen met een hoge inzet bestrijken en niet alleen beperkt zijn tot de gezondheidszorg”, aldus Plesner.
AI-tool voor longfoto's
Onlangs hebben zes Britse beeldvormingsnetwerken de AI-tool van Annalise.ai gekozen om vroegtijdige longkankerdiagnoses te ondersteunen. Die röntgentool gebruikt kunstmatige intelligentie om afwijkingen op röntgenfoto’s te detecteren en ondersteunt radiologen bij hun beoordeling. Een onderzoek naar Annalise.ai, dat in juli 2021 werd gepubliceerd in het vakblad The Lancet, kan de tool 124 verschillende bevindingen vaststellen op thoraxröntgenfoto’s. Op die manier kunnen diagnoses zoals longkanker sneller worden gesteld.
