Vertrouwen in AI-ondersteunde besluitvorming is cruciaal

Van kunstmatige intelligentie (AI) wordt regelmatig gesteld dat het potentie heeft binnen de medische besluitvorming. AI kan namelijk enorme hoeveelheden gegevens snel verwerken en en analyseren. Om vervolgens patronen te herkennen en deze om te zetten in voorspellingen. Zo kunnen bijvoorbeeld diagnoses sneller en efficiënter diagnoses gesteld, behandelplannen op maat en verbeterde prognoses. 

Concrete voorbeelden hiervan vinden we bijvoorbeeld in prostaatkanker (Hasannejadasl et al. 2023) en hart- en vaatziekten (Jaspers et al. 2020). Ondanks deze potentie om de zorg te transformeren, blijft de implementatie van AI in de medische praktijk lastig. En blijft het gebruik ervan en dus ook  de mogelijke voordelen, beperkt. 

In dit artikel gaan we in op de oorzaken voor het gebrek aan vertrouwen in AI. Het gaat hierbij niet alleen om de worstelingen rondom implementatie van AI wel of niet als een irrationele verwerping van innovatie te zien. Ook is het geen kwestie van willen beargumenteren dat het uiteindelijk alleen een kwestie van “beter uitleggen” is. Dat doet geen eer aan de autonomie en verantwoordelijkheden van de zorgmedewerker. Ook biedt deze redenatie geen handvatten voor verbetering. Integendeel, we willen graag begrijpen welke kenmerken uit de medische praktijk en de overwegingen en zorgen van zorgmedewerkers, kunnen helpen om AI en praktijk beter op elkaar af te stemmen. 

Weinig klinisch gebruikt

We kunnen meerdere serieuze zorgen benoemen, die in meer of mindere mate met andere kenmerken van de medische en diagnostische praktijk zijn verweven. Dit zijn, allereerst, barrières die ontstaan rondom techniek en complexiteit. Niet alle AI-modellen zijn zo eenvoudig in gebruik als ChatGPT. Het gebruik ervan vereist kennis, instructie en gewenning. Het interpreteren en wegen van de uitkomsten vraagt een andere manier van werken. 

Daarnaast spelen er kwesties van epistemische geloofwaardigheid, anders geformuleerd: artsen moeten vertrouwen hebben in de nauwkeurigheid en betrouwbaarheid van deze instrumenten voordat ze hun patiënten blootstellen aan de uitkomsten ervan. Als ze niet begrijpen hoe een uitkomst tot stand komt, of geen andere methoden hebben om dit uit te kunnen leggen, is het lastig deze te accepteren en met een patiënt te communiceren (en misschien zelfs verdedigen). 

Uitdaging van integratie

Verder is er de uitdaging van een naadloze integratie in de dagelijkse praktijk. Er wordt veel van artsen gevraagd. En zelfs wanneer nieuwe tools formeel volledig in een workflow passen, betekent dit nog niet dat ze ook passen in de informele medische conventies en normen, zoals nationaal geformuleerde richtlijnen en routines en gewoonten. Dit omvat ook een kwestie van expertise en macht: bekende kritiekpunten met betrekking tot AI vanuit de medische wereld. 

Wanneer het zwaartepunt van een diagnose door de arts naar een (AI-)tool verschuift, daalt het aanzien van de arts en krijgt deze een andere rol. Verder zijn er nog morele dimensies die artsen huiverig maken om voor AI te gaan, zoals zorgen rondom privacy, datagebruik, en aansprakelijkheid. 

De complexiteit van AI als innovatie is als probleem niet uniek. Eerdere technologische innovaties in de medische sector brachten ook complexiteit met zich mee, en techniek en praktijk hebben elkaar hier veelal kunnen vinden door elkaar vorm te geven door middel van coproductie (Jasanoff 2004). Echter, wanneer we kijken naar het probleem van vertrouwen, dan is de situatie rondom AI wellicht wel uniek.

Vertrouwenswaardigheid

De filosoof Onora O’Neil leert ons dat we niet méér vertrouwen moeten willen, maar correct geplaatst vertrouwen, of, in andere woorden: dat we datgene vertrouwen dat ook ons vertrouwen waard is (O’Neill 2018). We hebben sowieso geen controle over waar anderen hun vertrouwen plaatsen. We moeten dus niet kijken naar vertrouwen of het gebrek aan vertrouwen, maar naar vertrouwenswaardigheid. 

Wanneer we de vertrouwenswaardigheid van onszelf of een instrument kunnen verhogen, scheppen we de condities waaronder anderen hun vertrouwen veilig in ons, of onze instrumenten kunnen investeren. Om dat te kunnen doen, moeten we eerst weten hoe we vertrouwenswaardigheid bouwen en onderhouden. 

Gelukkig helpt O’Neil ons hier een handje doordat ze de drie kerningrediënten van vertrouwen expliciet benoemt: eerlijkheid, competentie, en consistentie. Waar eerlijkheid en consistentie enigszins universeel zijn, is competentie verbonden met iets concreets: iemand heeft een bepaalde competentie, maar niet een andere (O’Neill 2018). 

AI als vijand

Daarnaast zijn publieke vertellingen over AI niet altijd positief (Chubb, Reed, and Cowling 2022). Sterker nog, in boeken, films en series wordt AI grotendeels weggezet als een vijand, zoals in ‘The Matrix’- en ‘Terminator’-filmreeksen, waarbij AI de mensheid heeft verwoest. Deze narratieven kleuren en vormen ons vermogen om een oordeel te vellen over de vertrouwenswaardigheid van AI, wanneer we nog geen persoonlijke ervaringen hebben, maar ook wanneer ze deze al wel hebben. 

Deze dystopische visies rondom AI grijpen direct in op de drie pijlers van vertrouwenswaardigheid. Een hallucinerende AI (zoals ChatGPT soms doet) of een bedriegende AI (Masters et al. 2021) breekt met de voorwaarde van eerlijkheid en trekken ook respectievelijk competentie en consistentie in twijfel. Aangezien voor de constructie van vertrouwenswaardigheid in ieder geval aan elk van de drie voorwaarden voldoen moet worden is het startpunt wankel, zeker omdat op dit moment AI beter vertegenwoordigd is  in fictie dan in echte ervaringen van zorgprofessionals of patiënten. 

Oordeel van anderen

In een complexe technologische situatie, zoals de klinische introductie van AI, kan het soms lastig zijn om competentie en consistentie te beoordelen. Patiënten kunnen niet zelf beoordelen of de AI die hun arts assisteert wel een juist oordeel velt. Ook kunnen zij niet beoordelen of dit altijd gebeurt. Artsen kunnen dat soms wel, maar ook niet altijd. 

Beide groepen kunnen dus de vertrouwenswaardigheid niet zelf beoordelen en zullen zich moeten baseren op het oordeel van anderen. Maar dat plaatst hun in een lastig parket, want om dit te accepteren, zullen ze dus het oordeel van anderen moeten vertrouwen. 

Wetenschapshistorici omschrijven deze situatie als volgt: “We've always needed to know something about people in order to know something about the natural world—not just their expertise but also their integrity” (Shapin 2008). Onze morele en andersoortige evaluaties van wetenschappers en artsen en die van hen onderling, zijn noodzakelijk om te bepalen waar we wel en waar we niet ons vertrouwen kunnen en moeten plaatsen. Om iets te weten te komen over mensen kunnen we vertrouwen op onze bestaande relaties, of weer andere mensen vragen. 

Dat werkt uitsluitend in kleine sociale groepen. Het is al snel zo dat we onze arts niet kennen, niet weten wat haar lievelingseten is, haar politieke voorkeur en of ze vrijwilligerswerk doet bij de sportclub van haar al dan niet bestaande kinderen. Als maatschappij hebben we dit probleem ondervangen in de vorm van instituties: we vertrouwen een docent omdat de school waar hij werkt, beoordeelt of hij zijn werk goed doet. We vertrouwen de bewering dat plantensterolen cholesterolverlagend kunnen werken omdat de European Food Safety Authority (EFSA) deze bewering heeft goedgekeurd. 

Instituties kunnen garant staan voor vertrouwenswaardigheid van individuen en hun processen. Ook wanneer AI een rol heeft in dat proces. Maar dan moeten we wel weten dat de instituties die dit certificeren, dat ook kunnen beoordelen.

Vertrouwenswaardigheid van AI 

Wat betekent dit nu concreet voor vertrouwen in AI in de medische praktijk? Om de vertrouwenswaardigheid van een zorgentiteit (een organisatie of persoon) te beoordelen, hebben we informatie nodig. Die informatie kan overal vandaan komen. Veelal leunen we sterk op de geschiedenis van onze relaties. Zijn we goed geholpen in ziekenhuizen, zijn we vriendelijk, direct en zorgzaam tegemoet getreden? Zijn we serieus genomen? Is ons probleem competent opgelost? Als dat niet lukte, waren er onduidelijkheden en was de arts hier transparant en eerlijk over? 

Dit geldt ook voor artsen en hun relatie met AI, voor zover deze een geschiedenis heeft. Dat geldt voor AI in het algemeen: geven mijn ervaringen met AI tot dusverre blijk van vertrouwen? Dat geldt ook voor ervaringen met specifieke modellen: “was de output van de AI structureel in lijn met mijn eigen bevindingen? Kan ik deze resultaten goed verwoorden en verantwoorden naar een patiënt toe? Ken ik de instituties achter de AI en hoe beoordeel ik hen? Deze persoonlijke ervaringen spelen een rol, maar ook de ervaringen van anderen zijn belangrijk.

Leren vertrouwen in AI 

Hoe voldoen we aan deze voorwaarden? Hoe zorgen we er voor dat een arts de vertrouwenswaardigheid van een AI kan vaststellen en er uiteindelijk op kan leren vertrouwen? En vervolgens, hoe zorgen we ervoor dat de patiënt de vertrouwenswaardigheid van een arts die met AI werkt kan vaststellen en deze combinatie kan leren vertrouwen? Er staan een aantal mogelijkheden open. Deze omvatten onder andere [1] het “overboeken” van vertrouwen in relaties, [2] procedureel vertrouwen en [3] het vermogen tot kwetsbaarheid. 

De eerste twee zijn in meer of mindere mate reeds de revue gepasseerd. Zogenaamde ‘trust transfer’ kan plaatsvinden (Kuen et al. 2023) wanneer anderen in essentie garant staan voor de vertrouwenswaardigheid van een arts, behandeling of technologie. Certificering is een soort formele variant hiervan. Hierbij ontstaat een cascade-effect: de vertrouwenswaardigheid van de persoon die garant staat, of de certificerende instantie zijn zelf ook aan beoordeling onderhevig. Procedureel vertrouwen gaat over regels. 

Deze regels worden breed opgevat: in formele zin kunnen dat wetten of richtlijnen zijn, in informele zin geldt dit ook voor etiquette en andere vormen van informele beschaving (Elias 1978; Penders 2022). Wanneer we als collectief bepaalde regels accepteren, dan is het laten zien dat iemand deze regels naleeft, een basis voor vertrouwenswaardigheid. Ook hier is er controle nodig, en we moeten niet onderschatten hoe erg we het oneens kunnen zijn over wat de regels zijn, zeker waar deze een informeel karakter hebben. 

De derde strategie tapt uit een ander vaatje en leunt op kwetsbaarheid. Wanneer de partij die vertrouwen zoekt zich kwetsbaar opstelt, helpt dat bij de bouw van vertrouwen. Wanneer je sokken gaat kopen onder de voorwaarde ‘niet goed geld terug’, dan stelt de verkoper zich kwetsbaar op ten opzichte van de koper. Dat kan ook in een medische situatie, bijvoorbeeld door de rol van de AI ten opzichte van de arts kwetsbaar te maken door de arts altijd het recht te geven zonder uitgebreide verantwoording het oordeel van de AI te overrulen. Als de AI daadwerkelijk het vertrouwen van de arts waard is, zou deze kwetsbaarheid niet uit moeten maken. 

Geen uniforme strategie

Vertrouwen in AI is een probleem dat gaat over sociale relaties en maatschappelijke structuren. Deze relaties en structuren zijn eindeloos veel complexer dan de vraag of een concrete tool of innovatie  ‘efficiënt is’ of ‘werkt’. Vanzelfsprekend doet dat ertoe, maar het is verre van voldoende als basis voor breed gedragen maatschappelijk vertrouwen. Sociale relaties en maatschappelijke structuren zijn niet alleen complex, maar zijn ook heel verschillend. 

Dat heeft tot gevolg dat één uniforme strategie als basis voor vertrouwenswaardigheid een onwaarschijnlijk scenario is. Lokale vormen van trial-and-error liggen veel meer voor de hand. Tot slot, de samenhang tussen de beoordeling van kennis en de beoordeling van integriteit betekent dat de vertrouwenswaardigheid van AI in de zorg nauw verbonden is met haar politieke en ethische agenda.