ChatGPT beantwoordt online vragen beter dan dokter

4 mei 2023
chatgpt
AI
Nieuws

Chat-GPT overtreft artsen bij het beantwoorden van online gestelde medische vragen. Dit blijkt uit de recent gepubliceerde resultaten in het vakblad Jama Internal Medicine. De antwoorden van de chatbot waren kwalitatief beter in vergelijking met de online antwoorden van artsen. Nog opmerkelijker is dat de antwoorden van Chat-GPT meer meelevend waren dan die van artsen van vlees en bloed. Op den duur kan deze ultra-slimme toepassing dan ook zeker een gamechanger zijn, maar de onderzoekers zijn nog terughoudend wat betreft de inzet van deze mogelijkheid in klinische settings.

Het nieuws omtrent AI-gestuurde toepassingen overstroomt de afgelopen maanden de media. Dan weer blijkt kunstmatige intelligentie radiologen te verslaan bij het analyseren van tumoren en even later is een 'large language model' in staat om met succes een doktersexamen af te leggen. Nog opzienbarender nieuws is eind april 2023 afkomstig van onderzoeksteam van John W. Ayers (University of California San Diego). De onderzoekers stelden een aantal vragen van patiënten op het forum Ask a Doctor van het sociale medium Reddit en lieten die beantwoorden door ChatGPT en professionals. De vragen gingen over tal van onderwerpen zoals de gevolgen van een ingeslikte tandenstoker, vreemde bultjes of het effect van chloor in de ogen.  

Gratis versie ChatGPT

Bij het beantwoorden van de vragen werd gebruikgemaakt van een recente gratis versie van ChatGPT3.5. Zowel de antwoorden van medisch professionals, als de antwoorden van de chatbot, werden voorgelegd aan een deskundig panel. In meer dan driekwart van de gevallen vonden de beoordelaars de antwoorden van ChatGPT beter. Gemiddeld scoorde de chatbot ‘goed’,  terwijl de professionals het met de beoordeling ‘acceptabel’ moesten doen. Nog opzienbarender was dat ChatGPT beter in staat bleek om ‘mee te leven’ met patiënten. De beoordelaars vonden de antwoorden van de robot gemiddeld genomen namelijk empathischer dan de antwoorden van de professionals. Een bijzondere uitkomst omdat een machine zelf niks voelt maar dus wel degelijk inlevend kan zijn.

Ratrace rond AI losgebarsten

De snelheid waarmee kunstmatige intelligentie tools zich in de maatschappij ontwikkelen, is ronduit opzienbarend. Ontwikkelaars van dit soort toepassingen zoals Google, Microsoft en OpenAI lijken in een ratrace verwikkeld om de allerbeste te woorden op dit front. AI is dan ook rond heel veel markten een potentieel verdienmodel. In de eerste plaats kun je daarbij denken aan het maken van teksten, maar ook juristen, programmeurs, fiscalisten én medici kunnen nu al op sensationele wijze worden ondersteund door kunstmatige intelligentie.

Of ze op den duur ook (deels) vervangen kunnen worden door AI is weer een heel andere discussie, die echter de komende jaren absoluut op diverse markten zal worden gevoerd. Dat AI zich juist in de gezondheidszorg zo snel ontwikkelt, is niet verwonderlijk omdat het een enorme markt betreft die nog razendsnel groeit ook. Iedere week is er in de medische sector dan ook wel weer nieuws over de inzet van AI bij diagnostiek of bij state of the art onderzoek.

ChatGPT en Med-Palm 

Vooral de sensationele opmars van Large Language Models zoals chatGPT en Med-Palm springt de afgelopen maanden in de medische wereld in het oog. Med-Palm is ook een chatbotGPT-achtige toepassing die medische vragen kan beantwoorden. De applicatie blijkt razendsnel bij te ‘leren’. Waar de eerste versie nog slechts tot een juiste beantwoording van 61,9 procent van de medische vragen kwam, kan de nieuwe versie Med-Palm 2 inmiddels serieus opgaan voor een doktersexamen. Med-Palm 2 heeft volgens recente bevindingen een nauwkeurigheid van meer dan 85% bereikt en scoort 18% hoger dan de eerdere resultaten. Waar Med-Palm het onlangs nog net ietsje minder goed deed dan medici, is ChatGPT er nu dus in geslaagd om professionals op hun eigen vakgebied te overtroeven!

Conclusie: AI-assistenten zijn veelbelovend

De onderzoekers zijn in hun conclusies omtrent deze ChatGPT toepassing enthousiast maar tegelijkertijd terughoudend. Ze stellen in het vakblad Jama Internal Medicine: “De studie heeft veelbelovende resultaten laten zien bij het gebruik van AI-assistenten voor het beantwoorden van vragen van patiënten. Maar verder onderzoek is nodig voordat definitieve conclusies kunnen worden getrokken over hun mogelijke effect in klinische omgevingen. Ondanks de beperkingen van deze studie en de frequente mediagekte omtrent nieuwe technologieën, is het bestuderen van de toevoeging van AI-assistenten aan de 'workflows' voor patiëntberichten veelbelovend.”