De Inspectie Gezondheidzorg en Jeugd (IGJ) roept zorgaanbieders op zorgvuldig om te gaan met het invoeren van generatieve AI-oplossingen en oog te hebben voor eventuele risico’s. De meeste van deze tools en oplossingen zijn nog maar kort op de makt, waardoor er nog weinig bekend is over de impact op de patiëntenzorg. Toch ziet de IGJ zeker ook mogelijkheden voor innovaties door generatieve AI.
Om een indruk te krijgen van de impact de AI op de zorg heeft, en nog kan hebben, hoef je alleen maar door onze nieuwsberichten te ‘scrollen’. Er gaat letterlijk bijna geen dag meer voorbij zonder berichtgeving over een nieuwe AI-tool, AI-gedreven onderzoek, een ontwikkeld machine of deep learning algoritme voor het opsporen van (zeldzame) ziekten of analyseren van medische gegevens. En dan hebben we het nog niet gehand over de mogelijkheden en ontwikkelingen omtrent generatieve AI-toepassingen in de zorg. Ook die zijn aan een opmars bezig, van chatbot tot virtuele apothekers en tools die medische gespreksverslagen maken.
Zorgvuldigheid en oog voor risico’s
De mogelijkheden lijken schier onbegrensd, maar over de impact van veel toepassingen op de praktijk van de zorg voor patiënten is vaak nog veel onbekend. Dat is precies de reden waarom de Inspectie Gezondheidzorg en Jeugd (IGJ) oproept tot meer zorgvuldigheid bij de invoering van generatieve AI-oplossingen en vooral ook aandacht te hebben voor eventuele risico’s.
Daar ligt duidelijk ook een taak voor de IGJ. Naast het bieden van mogelijke kaders voor aanschaf, invoer en gebruik van generatieve AI, heeft de toezichthouder ook aandacht voor verantwoorde introductie van generatieve AI. Dit gebeurt bijvoorbeeld bij inspectiebezoeken en daar waar potentiële risico’s bestaan voor de kwaliteit van zorg.
Generatieve AI
In de praktijk zien we generatieve AI-oplossingen in steeds meer zorginstellingen verschijnen. Op dit moment betreffen het met name nog tools die de administratieve takenlast van zorgprofessionals kunnen verlichten. Systemen die via spraakherkenning ingezet worden voor het automatisch genereren van gespreksverslagen, het samenvatten van patiëntendossiers of het ondersteunen van de communicatie met patiënten via chatbots.
De inspectie adviseert zorgaanbieders om extra alert te zijn op de mogelijke impact van deze toepassingen op de (kwaliteit van) zorgverlening. Deze alertheid is zowel vóór de ontwikkeling of aanschaf, tijdens de implementatie én na ingebruikname belangrijk. Zorgaanbieders die generatieve AI gebruiken in de zorgverlening zijn wettelijk verantwoordelijk voor een zorgvuldige implementatie en gebruik hiervan.
Kaders en vragen
De IGJ stelt dat de keuze en implementatie van een generatieve AI-toepassing niet wezenlijk verschilt van andere digitale toepassingen. Daarvoor is het van belang dat er aandacht is voor het tijdig uitwerken van belangrijke eisen en randvoorwaarden, in kaart brengen van risico’s, training van gebruikers en testen van het nieuwe systeem. Voor het procesmatige traject is onder andere het toetsingskader Digitale Zorg ontwikkeld.
Echter, bij de implementatie van generatieve AI moet rekening gehouden worden met enkele specifieke risico’s en randvoorwaarden. Een van die risico’s is het feit dat generatieve AI soms nieuwe en onjuiste informatie kan genereren. De inspectie verwacht dat de zorgaanbieder bij ingebruikname van AI-toepassingen voldoende kennis heeft over de risico’s en beperkingen ervan.
Denk bijvoorbeeld aan risico’s die leiden tot fouten in de zorgverlening, zoals medicatiefouten als gevolg van onjuiste registratie. Of risico’s die ertoe leiden dat de zorgverlener de patiënt beoordeelt op basis van onjuiste of ontbrekende informatie. De zorgaanbieder kan de risico’s in kaart brengen door de leverancier te bevragen, normen of leidraden te gebruiken en ervaringen van andere zorgaanbieders op te halen. Hiervoor heeft de IGJ een aantal vragen en richtlijnen opgesteld die zorgaanbieders kunnen helpen bij de keuze, aanschaf, implementatie en beheer van generatieve AI-toepassingen.
Voor de ontwikkeling of aanschaf
- Wat is het doel van de toepassing? Past dit bij het beoogde gebruik?
- Hebben alle toekomstige gebruikers voldoende kennis van toepassing van dit type (generatieve) AI om de uitkomsten goed te interpreteren?
- Welke (patiënt of cliënt) informatie wordt gebruikt binnen de context van de toepassing en is deze van voldoende niveau?
- Wat is de beoogde impact van de toepassing op de zorgverlening?
Tijdens implementatie
- Welke data (bijvoorbeeld patiënten- of bevolkingsgegevens) zijn gebruikt voor het maken van de toepassing? Sluit dit aan bij de populatie waarop het model wordt toegepast?
- Voor welke doelgroep (gebruikers én patiënten/cliënten) is de toepassing (niet) geschikt?
- Hoe is de toepassing gevalideerd of getest?
- Wat zijn de uitkomsten geweest van uitgevoerde validatie / testen?
- Wat zijn de risico’s van het gebruik van de toepassing? Zijn ze systematisch in kaart gebracht?
Na ingebruikname
- Welke maatregelen zijn in de toepassing ingebouwd om bekende risico’s te ondervangen?
- Welke maatregelen kan een organisatie nemen om bekende risico’s te ondervangen?
- Wat moeten de medewerkers die betrokken zijn bij invoeren of gebruik van de toepassing weten om de toepassing veilig in te kunnen zetten? Denk bijvoorbeeld aan de kennis die nodig is om risico’s in te schatten of om de gegenereerde uitkomsten op de juiste waarde te schatten.
- Hoe kan de organisatie zorgen dat er voldoende kennis van de toepassing binnen de organisatie aanwezig is en blijft?
- Hoe kan de organisatie bijhouden of de toepassing in werkelijkheid goed functioneert (bij ingebruikname én na updates van de toepassing)? Zijn hier controles voor nodig en zo ja, welke?
- Hoe gaat de organisatie om met foutieve resultaten en eventuele incidenten als gevolg? Moet er een proces worden ingericht om fouten of incidenten intern te melden en op te volgen?
- Wat is de uiteindelijke impact op de kwaliteit van de zorgverlening? Hoe kan deze bepaald worden (zo nodig ook op termijn)?
MDR en AI-act
Zorgaanbieders moeten er ook rekening mee houden dat een AI-toepassing ook een medisch hulpmiddel kan zijn. Denk aan AI-toepassingen die ingezet worden als ondersteuning voor het stellen van een diagnose of het maken van behandelkeuzes. In dat geval moeten zorgaanbieders zich ervan bewust zijn dat deze toepassingen moeten voldoen aan de wet- en regelgeving voor medische hulpmiddelen (MDR).
Bovendien wordt de komende jaren de Europese AI-verordening van toepassing, die ook eisen stelt aan de ontwikkeling en het gebruik van AI. De Europese Unie heeft de AI-verordening opgesteld zodat AI-systemen veilig werken en grondrechten beschermd zijn. De communicatie over de impact van deze verordening zal worden verspreid via de ministeries van Economische Zaken en Volksgezondheid, Welzijn en Sport.
