AI-gebaseerde chatbots kunnen een nuttig hulpmiddel zijn voor geneeskundestudenten, zij het met aanzienlijke beperkingen. De belangrijkste voordelen liggen in het helpen met de voorbereiding op examens en de praktijk, zo blijkt uit onderzoek van de University of Western Ontario in het gebruik van ChatGPT bij het stellen van diagnoses, gepubliceerd in het wetenschappelijke tijdschrift Plos One. AI-toepassingen gebaseerd op deep en machine learning worden overigens al jaren ingezet voor medische diagnostiek.
Aanleiding voor de studie was dat uit eerder onderzoek bleek hoe ChatGPT in staat was biomedische en klinische vragen over het United States Medical Licensing Examination (USMLE) nauwkeurig te beantwoorden, op een niveau dat de drempelwaarde benaderde of overschreed. Uit dit onderzoek bleek ook dat de nauwkeurigheid van ChatGPT werd gekenmerkt door een hoge dichtheid van inzichten, wat aangaf dat het potentieel nieuwe inzichten kan genereren en kan helpen bij medisch onderwijs.
Hoewel deze resultaten discussies hebben aangewakkerd over mogelijke implicaties voor ChatGPT in de gezondheidszorg, benadrukken ze volgens de onderzoekers van de University of Western Ontario ook het potentiële gebruik van dit hulpmiddel in het medisch onderwijs. Al is het vermogen van ChatGPT om beknopte, encyclopedische vragen te beantwoorden is onderzocht, de kwaliteit van de antwoorden op complexe medische gevallen blijft echter onduidelijk.
Slecht in diagnostiek
Slechts in 49 procent van de 150 voorgelegde medische dossiers kwam ChatGPT 3.5 met een correct antwoord, zo blijkt uit de Canadese studie. In driekwart van alle gevallen wist de gen AI-toepassing wel verkeerde diagnoses weg te strepen, zonder echter te kunnen duiden wat wel de aandoening van een patiënt was.
ChatGPT in zijn huidige vorm is niet nauwkeurig als diagnostisch hulpmiddel, schrijven de onderzoekers. ChatGPT geeft niet noodzakelijkerwijs feitelijke correctheid, ondanks de enorme hoeveelheid informatie waarop het is getraind. Op basis van onze kwalitatieve analyse worstelt ChatGPT met de interpretatie van laboratoriumwaarden en beeldvormingsresultaten en ziet het mogelijk belangrijke informatie over het hoofd die relevant is voor de diagnose.'
Goed als educatief hulpmiddel
Wel is ChatGPT bruikbaar als educatief hulpmiddel, vervolgen de wetenschappers. ChatGPT had over het algemeen gelijk bij het uitsluiten van een specifieke diagnose en het bieden van redelijke volgende diagnostische stappen. Bovendien waren de antwoorden gemakkelijk te begrijpen, wat een potentieel voordeel kan zijn bij het vereenvoudigen van complexe concepten voor medische studenten.
‘Onze resultaten moeten als leidraad dienen voor toekomstig onderzoek naar het benutten van de potentiële educatieve voordelen van ChatGPT, zoals het vereenvoudigen van medische concepten en het bieden van begeleiding bij differentiële diagnoses en volgende stappen.'
Degelijk onderzoek
Volgens Roger Rennenberg, internist en opleidingsdirecteur geneeskunde bij Maastricht UMC+, zit het onderzoek van de Canadese wetenschappers goed in elkaar. Zo is de variatie aan casussen – uit de periode 2021-2023 – groot, vertelt hij in de Volkskrant. Wel vindt hij jammer dat ChatGPT 3.5 is gebruikt, aangezien ChatGPT 4 inmiddels ook beschikbaar is. Deze versie is getraind met data uit de periode waaruit de casussen stammen.
Rennenberg stelt dat ChatGPT als LMM (large language model) het meest logische woord na het vorige voorspelt. Het heeft geen echte kennis over het menselijk lichaam. Bovendien kan het niet, zoals een arts dat wel moet, tussen de regels doorlezen. Maar aangezien ChatGPT goed is in opstellen van onderzoeks- en behandelplannen en vooral begrijpelijke teksten produceert, kunnen studenten geneeskunde het model gebruiken om ingewikkelde teksten te versimpelen of samen te vatten.
Vorig jaar bleek uit een studie gepubliceerd in het vakblad Jama Internal Medicine dat ChatGPT online medische vragen beter en meer meelevend beantwoordde dan artsen. Op den duur kan een LLM-toepassing zoals ChatGPT dan ook zeker een gamechanger zijn, maar de onderzoekers zijn terughoudend voor wat betreft de inzet van deze mogelijkheid in klinische settings.
