Uit onderzoek blijkt dat generatieve AI-tools zoals ChatGPT zorgverleners verkeerde informatie kunnen geven. Dit kan leiden tot het verergeren van de gezondheidssituatie van patiënten. Onderzoekers hebben in hun onderzoek drie voeding gerelateerde ziekten bekeken. Daarbij hebben twee ervaren diëtisten in totaal 63 ChatGPT-resultaten van ziektemanagement onderzocht aan de hand van medische richtlijnen. Met hun bevindingen waarschuwen ze ervoor om niet alleen op AI en aanverwanten technische oplossingen te vertrouwen.
“Het onderzoek waarschuwde ervoor om niet uitsluitend te vertrouwen op AI-interfaces voor de behandeling van diabetes en metabole afwijkingen en benadrukte de noodzaak om te overleggen met de diëtisten en andere leden van het gezondheidszorgteam”, zegt Farah Naja, hoogleraar voedingsepidemiologie aan de Universiteit van Sharjah. Volgens haar kan bijvoorbeeld ChatGPT onjuist, onvolledig of schadelijk advies geven waardoor de kwaliteit van de medische zorg en daarmee de gezondheid en veiligheid van patiënten in gevaar komt.
Beheersen en voorkomen
Prof. Naja is de hoofdauteur van de studie die is gepubliceerd in het European Journal of Clinical Nutrition. Wetenschappers uit de Verenigde Arabische Emiraten, Libanon, Bahrein en Turkije hebben de juistheid en de nauwkeurigheid onderzocht van ChatGPT-antwoorden op verschillende vragen over het beheersen en het voorkomen van diabetes en metabole afwijkingen. De studie bestaat uit drie hoofdonderdelen: 1) voedingsmanagement, 2) voedingszorgproces en 3) menuplanning voor een dieet met 1500 calorieën. Voor elk domein zijn drie prompts ontwikkeld, wat neerkomt op negen prompts per conditie.
In oktober 2023 werden in totaal 63 prompts in het GPT3.5-turbo0301-model ingevoerd via de ChatGPT-interface van OpenAI. Twee ervaren diëtisten evalueerden de overeenstemming van de chatbot-uitvoer met de richtlijnen van de Academie voor Voeding en Diëtetiek. Volgens prof. Naja wilden de wetenschappers met de test het bewustzijn vergroten over de rol van kunstmatige intelligentie bij het begeleiden van de dieetzorg voor ziekten zoals diabetes en metabolische afwijkingen.
Volgens de onderzoekers zijn er naast medicatie ook meer subtiele en vaak complexere veranderingen nodig in leefstijl om diabetes en metabolische afwijkingen te voorkomen of te genezen. Volgens Naja is bijvoorbeeld ook gewichtsverlies cruciaal bij de behandeling van diabetes en metabolische afwijkingen. Uit het onderzoek bleek dat de uitkomsten van de ChatGPT-aanbevelingen voor gewichtsverlies, samen met richtlijnen voor het bereiken van een energietekort achterbleven.
Conclusie onderzoek
Toen werd gevraagd om voorbeeldmenu's te laten zien voor de gezondheidsproblemen uit het onderzoek, voldeden de resultaten van ChatGPT niet aan de vereisten op het gebied van energie, koolhydraten en vet, naast calcium en vitamine D, beweert prof. Naja. Uit de studie kan worden geconcludeerd dat ChatGPT en mogelijk andere toekomstige AI-chatbots reageren op een 'mensachtige' manier op de aanwijzingen van de gebruiker en ze kunnen de expertise en het kritische oordeel van de diëtisten niet vervangen. Onlangs bleek ook uit onderzoek van de Western University in Canada dat de prestaties van ChatGPT als het gaat om het stellen van diagnoses te wensen overlaat.
