Google introduceerde eind vorig jaar voor het eerst Med-PaLM, dat net als ChatGPT, een Large Language Model is. Alleen is het AI-gestuurde Med-Palm volledig ontworpen om hoogwaardige antwoorden op medische vragen te geven. Med-PaLM was het eerste AI-systeem dat met succes een voldoende score behaalde, of meer dan 60%, op meerkeuzevragen die vergelijkbaar zijn met de vragen die worden gebruikt bij Amerikaanse medische licentie-examens.
Ervaren dokters presteren echter beduidend beter bij het beantwoorden van vragen dan de eerste versie van de AI-gestuurde chatbot Med-Palm. Waar de kunstmatige intelligentie 61,9 procent van de medische vragen goed beantwoordde, scoorden de dokters 92,9%. Maar de nieuwe versie Med-Palm 2, die nog niet op de markt is, zit ze qua prestaties inmiddels dicht op de hielen.
Med-Palm 2 scoort op expertniveau
Med-Palm blijkt volgens sprekers op het Google event Check Up namelijk ongelooflijk snel te kunnen leren. Of beter gezegd: de applicatie wordt steeds beter doordat ze wordt gevoed met nog meer relevante feedback en data. Google stelt dat bij een test de tweede versie van Med-Palm bij medische examenvragen consequent presteerde op een expertniveau.
Med-PaLM 2 heeft zodoende een nauwkeurigheid van meer dan 85% bereikt en scoort 18% hoger dan de eerdere resultaten. Daarmee kan deze vorm van kunstmatige intelligentie in de praktijk waarschijnlijk slagen voor een officieel ‘doktersexamen’.
Grootste medische encyclopedie
Dat Google het Med-PaLM model blijft ontwikkelen, is niet toevallig. Google is momenteel al de grootste medische encyclopedie ter wereld. De zoekmachine ontvangt ongeveer 70.000 gezondheidsvragen per minuut. Helaas zijn de antwoorden vaak misleidend, omdat ze gebaseerd zijn op populariteit in plaats van op kwaliteit of geloofwaardigheid van de inhoud. Maar met de nieuwe conceptversie van Med-Palm 2 wordt een deel van die bezwaren dus weggenomen.
Dr. Alan Karthikesalingam, een onderzoeksleider bij Google Health, vertelt dat het bedrijf ook de antwoorden van Med-PaLM test aan de hand van reacties van echte artsen en clinici. “De reacties van Med-PaLM worden geëvalueerd op feitelijke nauwkeurigheid, vooringenomenheid en mogelijke schade.” In de praktijk zijn antwoorden op vragen over onder meer incontinentie of longontsteking soms zelfs vergelijkbaar of gedetailleerder dan de antwoorden van clinici op dezelfde vragen. Maar in een aantal andere gevallen scoorden de medici weer beter en was Med-Palm 2 minder nauwkeurig.
Medische info ligt gevoelig
AI-gestuurde chatbots liggen in de maatschappij nog gevoelig, met name vanwege privacy-issues rond medische info. Het zal daarom volgens Google nog best wel eens een hele tijd kunnen duren voordat deze technologie binnen handbereik van de gemiddelde consument komt.
Karthikesalingam: "Het potentieel van deze toepassing is enorm, maar het is van cruciaal belang dat toepassingen in de echte wereld op een verantwoorde en ethische manier worden onderzocht. Ondertussen blijven wij de komende tijd wel werken aan updates van Med-Palm waardoor het systeem straks nog beter en gedetailleerder kan antwoorden op medische vragen.”
