Verantwoorde AI in de langdurige zorg: van intentie naar actie

Artificiële intelligentie (AI) wordt wereldwijd al jaren gezien als een sleutel voor innovatieve oplossingen in de strijd tegen maatschappelijke problemen -  zoals de groeiende zorgkloof. De voordelen van AI in de zorg worden steeds zichtbaarder, vooral sinds de komst van generatieve AI-toepassingen zoals ChatGPT. Tegelijkertijd komen ethische en sociale vraagstukken steeds duidelijker naar voren, bijvoorbeeld over privacy, autonomie, eerlijkheid en vertrouwen. Hoe je met deze vraagstukken kunt omgaan in de langdurige zorg, staat sinds 2020 centraal in het promotieonderzoek van Dirk Lukkien, senior onderzoeker Digitale zorg bij Vilans en buitenpromovendus bij de Universiteit Utrecht.

Voordat Lukkien zijn promotieonderzoek begon, was er wereldwijd al veel aandacht voor ‘ethische’, ‘verantwoorde’, ‘mensgerichte’ en ‘vertrouwenswaardige’ AI. Publieke organisaties, onderzoeksinstellingen en grote commerciële bedrijven hebben bijvoorbeeld vele richtlijnen gepubliceerd. Hierin staat welke waarden en principes, zoals transparantie en menselijke autonomie, centraal moeten staan bij AI-innovatie. 

Het viel Lukkien echter op dat het debat over verantwoorde AI vaak bleef hangen op een abstract en theoretisch niveau. En dat men opvallend terughoudend was in het verduidelijken hoe je bepaalde principes concreet kunt toepassen in specifieke domeinen, zoals de langdurige zorg. 

Uit literatuuronderzoek bleek ook dat slechts weinig studies principes en ethische vragen hadden omgezet in acties die helpen bij het verantwoord ontwerp en gebruik van AI in de langdurige zorg. Reden te meer voor Lukkien om te verkennen hoe het debat over verantwoorde AI dichterbij de innovatiepraktijk van de langdurige zorg kan worden gebracht. 

Verantwoord praktisch innoveren

Tijdens zijn promotieonderzoek heeft Lukkien in dit kader twee case studies gedaan (zie kader ‘Case studies’). Binnen twee driejarige Europese technologie ontwikkelprojecten onderzocht hij hoe je een consortium van onderzoekers, ontwikkelaars en (beoogde) gebruikers van AI-toepassingen kunt aansporen om expliciet en proactief aan de slag te gaan met ethische en maatschappelijke gevolgen.

De vraag die Lukkien binnen deze projecten wilde beantwoorden, was tweeledig: 

• Hoe kan ‘verantwoord innoveren’ binnen deze innovatieprojecten worden verweven?

• Welke inhoudelijke inzichten over verantwoorde AI innovatie levert dat op?

Gelijkwaardig betrekken

Lukkien en zijn collega’s wilden alle projectpartners gelijkwaardig bij de verkenningen betrekken. Het uitgangspunt was dat verantwoord innoveren (zie kader ‘Responsible Innovation’) niet van buitenaf kon worden opgelegd, maar moet komen vanuit degenen die direct betrokken zijn bij onderzoek, ontwerp, ontwikkeling en testen met gebruikers. 

Lukkien ondervond echter dat stappen zetten richting verantwoord innoveren bijzonder lastig kan zijn, en zeker niet vanzelfsprekend is. Terwijl innovatoren in de zorg meestal de beste bedoelingen hebben, identificeerde Lukkien een aantal structurele barrières die verantwoord innoveren in de weg kunnen staan.  

Zo is een veelvoorkomende misvatting dat co-design op zichzelf leidt tot verantwoorde innovaties. Co-design betekent dat gebruikers en andere belanghebbenden actief betrokken zijn in elke fase van het ontwerpproces. Zo’n aanpak wordt vaak gehanteerd bij de ontwikkeling van technologieën in de langdurige zorg. Een van de valkuilen kan echter zijn dat er onvoldoende aandacht is voor de ethische en bredere maatschappelijke gevolgen van innovaties. Hoewel co-design inzichten kan opleveren over onbedoelde neveneffecten van innovaties, is dit meestal geen expliciet doel.

Lukkien doet diverse aanbevelingen om co-designprocessen beter af te stemmen op de principes van ‘verantwoord innoveren’ (zie kader ‘Responsible Innovation). Hij pleit bijvoorbeeld voor evenwichtige aandacht tussen ontwerpaspecten zoals bruikbaarheid, gebruiksvriendelijkheid en esthetiek enerzijds, en ethische en maatschappelijke implicaties anderzijds. Daarbij adviseert hij om niet alleen directe (beoogde) gebruikers te vragen naar hun behoeften en perspectieven, maar bijvoorbeeld ook maatschappelijke belangenbehartigingsgroepen te betrekken. Zij kunnen helpen om de ethische en maatschappelijke gevolgen vanuit een breder perspectief te begrijpen. Verder adviseert Lukkien om co-design te beschouwen als een doorlopend proces waarin je aannames over gebruikers en hun behoeften voortdurend onderzoekt en verfijnt, ongeacht de afhankelijkheid van al gemaakte ontwerpkeuzes.

Ten tweede kan verantwoord innoveren worden bemoeilijkt door vrijblijvendheid en een gebrek aan handelingsperspectief. Innovatoren erkennen vaak het belang van ethische vraagstukken maar handelen hier in de praktijk onvoldoende naar. Eén redenen hiervoor kan zijn dat financiers van innovatie weinig eisen stellen aan onderzoek en bewijslast over ethische aspecten. Ook bestaat vaak onduidelijkheid over welke risico’s en ethische vraagstukken aandacht behoeven en wie hier verantwoordelijkheid voor zou moeten nemen. Eerder onderzoek en richtlijnen, bijvoorbeeld van de Wereldgezondheidsorganisatie¹, kunnen als inspiratiebron dienen bij het identificeren van ethische vraagstukken rondom een AI-toepassing. In de projecten GUARDIAN en HAAL (zie kader ‘Case studies’) bleek het echter lastig om zulke inspiratie om te zetten in praktische handvatten voor onderzoekers en ontwikkelaars.

Doorbreken of voorkomen

Om zulke patronen te doorbreken of voorkomen, stelt Lukkien dat financiers van onderzoeks- en innovatieprojecten eisen kunnen stellen ten aanzien van verantwoord innoveren. Denk aan bewijs dat projecten moeten leveren van de aandacht die zij vanaf een vroege fase van ontwikkeling, als vermarkting van een toepassing nog ver weg is, al hebben gegeven aan specifieke ethische vraagstukken. Inmiddels kan hiervoor bijvoorbeeld ook worden gekeken naar de Europese AI-verordening, omdat deze duidelijke regels en eisen stelt aan het op de markt brengen van AI-toepassingen. 

Verder kunnen financiers het opstellen van een zogenaamde ‘projectethos’ eisen: een set van gedeelde (morele) afspraken tussen projectpartners die hun samenwerking definiëren. Afspraken zoals ‘dit willen we bereiken’ en ‘dit willen we echt voorkomen’. Ook kunnen trainingen worden aangeboden om abstracte ethische thema’s in onderzoeksprojecten te integreren. En projecten die vooroplopen in verantwoord innoveren kunnen hiervoor worden beloond. Het is in ieder geval belangrijk dat innovatoren hun taken en verantwoordelijkheden ten aanzien van verantwoord innoveren niet uitbesteden aan externe experts. Ze kunnen zeker ondersteuning van externe specialisten gebruiken uit bijvoorbeeld de ethiek, filosofie of sociale wetenschappen. Maar zulke specialisten moeten hooguit een aanvulling vormen, en geen vervanging zijn van het eigen kritische denken en handelen dat nodig is voor verantwoord innoveren. 

Ethiek tot leven brengen

Ondanks de uitdagingen om verantwoord innoveren te verweven binnen de twee Europese projecten, hebben Lukkien en zijn collega’s veel geleerd over verantwoorde AI-innovatie in de langdurige zorg. Zo deden zij ook een studie waarin de perspectieven van verschillende zorgprofessionals op kansen en risico’s van AI-ondersteunde besluitvorming in de langdurige zorg werden verkend. In interviews werden diverse typen zorgprofessionals, zoals wijkverpleegkundigen en casemanagers dementie, middels scenario’s aan het denken gezet over de kansen én keerzijden van een ‘meedenkend’ AI-systeem in hun werk. Daarbij werd hen gevraagd naar hun ideeën over hoe hier rekening mee kan worden gehouden bij de ontwikkeling en implementatie van dergelijke systemen. 

De studie toont hoe kansen en risico’s van AI vaak twee kanten van dezelfde medaille zijn. Afhankelijk van de specifieke vormgeving van AI-systemen én het gebruik ervan in de praktijk kunnen initiële voordelen omslaan in nadelen. Het voordeel dat men met behulp van AI vroegtijdiger bepaalde zorgbehoeften kan signaleren, kan bijvoorbeeld doorschieten naar nadelen zoals overmatig vertrouwen van gebruikers dat het systeem álle relevante zorgbehoeften inzichtelijk maakt (schijnveiligheid). Of dat het systeem bepaalde patronen bestempelt als problematisch en zorgverleners ertoe aanzet bepaalde interventies te doen, terwijl cliënten dit niet als wenselijk ervaren of het probleem niet zien. 

Conclusie

Terwijl de interviews ook inzicht gaven in diverse randvoorwaarden voor verantwoorde AI-ondersteunde zorg, bieden de geschetste onderzoeken volgens Lukkien geen pasklare antwoorden over hoe AI verantwoord kan worden toegepast in de langdurige zorg. Dit kan men alleen bepalen ‘in context’. Lukkien hoopt wel innovatoren en gebruikers van AI te inspireren en op weg te helpen. Verder benadrukt hij dat de relevantie van het onderzoek verder gaat dan de inhoud: het toont dat zorgprofessionals oog hebben voor de kansen én risico’s van AI, kunnen helpen bij het contextualiseren van abstracte ethische thema’s, én kunnen bijdragen aan het ontwikkelen van strategieën voor een betekenisvolle, verantwoorde en duurzame inbedding van AI in de praktijk. 

Responsible Innovation

Voor zijn onderzoek heeft Lukkien veel inspiratie geput uit de ‘Responsible Innovation’ (RI) benadering, gericht op het afstemmen van technologische vooruitgang op maatschappelijke waarden en behoeften. Onderzoekers binnen het RI-veld zijn het erover eens dat vier procesprincipes technologische innovatie moeten sturen:

1. Anticipeer op mogelijke effecten;
2. Betrek diverse belanghebbenden, inclusief gebruikers;
3. Reflecteer op (eigen) aannames en waarden;
4. Reageer flexibel (responsiviteit) op nieuwe inzichten tijdens het proces. 

Responsiviteit houdt in dat men flexibel moet reageren op ontdekkingen. Niet alleen erover discussiëren, maar ook actief omgaan met risico’s en ethische vraagstukken. Andere wetenschappelijke benaderingen die nauw aansluiten bij RI zijn bijvoorbeeld Value-Sensitive Design (VSD) en Ethical Legal and Societal Aspects (ELSA) onderzoek.

Case studies

GUARDIAN: ontwikkeling van een sociale robot ter ondersteuning van thuiswonende ouderen.

HAAL: ontwikkeling van een innovatief dashboard ter ondersteuning van de dagelijkse besluitvorming van zorgverleners van ouderen met dementie. Het  dashboard stelt data vanuit digitale zorg- en welzijnstechnologieën op één plek beschikbaar voor zorgverleners. Ook werd tijdens dit project onderzocht hoe deze data met behulp van AI kunnen worden omgezet naar bruikbare inzichten, zoals risico-indicaties. 

Beide projecten waren onderdeel van het Active and Assisted Living (AAL)-programma, medegefinancierd door de Europese Commissie en ZonMW.