Juridische gevolgen van de AI-verordening voor AI-tools in de zorg

Artificial Intelligence (‘AI’) – ook wel kunstmatige intelligentie genoemd – is niet meer weg te denken in de samenleving. Binnen de zorgbranche is de inzet van AI-tools de afgelopen jaren ook flink gegroeid. Bijvoorbeeld tools waarmee snelle analyses van röntgenfoto’s kunnen worden gedaan voor een diagnose, of de inzet van AI-aangestuurde operatierobots. De noodzaak van deze tools wordt onderschreven in de kabinetsplannen, bijvoorbeeld om de administratieve druk in de zorg te verlagen. Op 1 augustus 2024 is de AI-verordening in werking getreden¹. Alle reden om enkele belangrijke aandachtspunten van deze AI-verordening ten behoeve van AI-tools in de zorg te bespreken.

Tot voor kort was er geen regelgeving rondom AI. Met inwerkingtreding van de AI-verordening is daar verandering in gekomen. De regels uit de AI-verordening moeten – met uitzondering van een aantal specifieke bepalingen – twee jaar na de inwerkingtreding  van de verordening worden nageleefd.²

Kort een definitie: AI richt zich op computers en apparaten die intelligentie kunnen nabootsen. Kunstmatig, omdat het gaat om beslissingen van een systeem. Intelligentie, omdat het systeem het vermogen heeft om gedrag aan te passen aan veranderende omstandigheden.³ Denk aan taken als lezen, redeneren en plannen waarbij het AI-systeem zelfstandige beslissingen neemt zonder menselijke tussenkomst. 

Een belangrijk deelgebied binnen AI is machine learning (ML). ML-technieken stellen computers in staat zelf te ‘leren’ om taken uit te voeren, zonder daartoe expliciet geprogrammeerd te zijn.⁴ Daarbij wordt gebruik gemaakt van algoritmes, die helpen om zinvolle informatie te destilleren uit de grote hoeveelheden data die mensen en apparaten genereren.⁵

Het combineren van grote hoeveelheden informatie en het gebruik van algoritmes om deze informatie slim te analyseren, maakt het mogelijk om verbanden in de gecombineerde informatie te ontdekken en daarmee nieuwe inzichten en kennis te verwerven.⁶ Zo kunnen bijvoorbeeld botbreuken en tumoren heel nauwkeurig worden ontdekt met behulp van een AI-tool die getraind is met grote hoeveelheden relevante data.

Impact AI-verordening op zorg

Twee jaar nadat de AI-verordening definitief in werking is getreden (op 1 augustus 2026), zal in beginsel ieder AI-systeem moeten voldoen aan de voorwaarden van deze verordening, ook AI-systemen die al op de markt zijn. Voor producten die via de Medical Device Regulation (‘MDR’) zijn gereguleerd⁷, geldt een verlengde termijn tot augustus 2027 om aan de AI-verordening te voldoen. 

Deze verplichting geldt voor de aanbieders van AI-systemen (ontwikkelaars/fabrikanten), de leverancier die het AI-systeem op de markt brengt en de gebruikers (in de AI-verordening aangeduid als ‘gebruiksverantwoordelijke’) ervan. Dat betekent dat de AI-verordening ook verplichtingen oplegt aan zorgorganisaties die AI-systemen gebruiken voor hun zorgtaken. Hun verantwoordelijkheden zijn als gebruiker wel ‘minder’ dan voor ontwikkelaars/fabrikanten en leveranciers. Zo moet de ontwikkelaar/leverancier zorgen voor een conformiteitsbeoordeling en registratie, en hoeft de gebruiker slechts te controleren dat dit is gebeurd. Gebruikers moeten de AI-tools wel implementeren en gebruiken zoals is aangegeven door de leverancier. Ook wordt van gebruikers een goede implementatiestrategie en governance en blijvende controle op de resultaten verwacht.

Hierbij moet opgemerkt worden dat de AI-verordening niet geldt voor onderzoeks-, test- of ontwikkelingsactiviteiten met betrekking tot AI-systemen. Wordt er echter getest onder reële omstandigheden – dus wanneer het AI-systeem wordt getest rondom de daadwerkelijke behandeling van cliënten/patiënten – dan geldt deze uitzondering niet.⁸ Die is echt alleen in de ontwikkelfase, waarin nog niet getest wordt op/met cliënten, van toepassing. Zodra er in de zorgpraktijk getest wordt, moet het AI-systeem voldoen aan de regels van de AI-verordening. 

Verder is van belang op te merken dat een tweede uitzondering – op grond waarvan de AI-verordening niet van toepassing is op AI-systemen die worden vrijgegeven onder gratis en opensource-licenties⁹ – niet van toepassing is wanneer er sprake is van een AI-systeem dat onder de ‘hoog risico’-categorie valt. Wanneer een AI-systeem onder deze categorie valt, wordt in het vervolg van deze bijdrage toegelicht.

Verschillende risicocategorieën

Het uitgangspunt van de AI-verordening is: hoe meer risico’s er kleven aan het AI-systeem, hoe meer voorwaarden er gelden waaraan het moet voldoen. Daarbij onderscheidt de verordening verschillende risicocategorieën: 

• Onacceptabel risico.

• Hoog risico.

• Beperkt risico.

• Minimaal risico.

De categorie onacceptabel risico –verboden AI-systemen – is voor de zorgpraktijk minder relevant. Het gaat bijvoorbeeld om AI-systemen die manipulatieve of misleidende technieken of van kwetsbaarheden van personen gebruiken.

De categorie hoog risico zal in de zorgpraktijk wel voorkomen. Onder deze risicocategorie vallen onder andere AI-systemen die als (deel van een) product in specifieke (veiligheids)regelgeving zijn opgenomen, zoals medische hulpmiddelen. Wanneer er sprake is van een medisch hulpmiddel in de zin van de MDR, dan valt het AI-systeem onder de opsomming in bijlage I van de AI-verordening en moet het systeem worden gekwalificeerd als een hoog risico AI-systeem.¹⁰ Van een medisch hulpmiddel in de zin van de MDR is sprake bij een instrument of software bestemd voor medische doeleinden, zoals diagnose, preventie, monitoring, voorspelling, prognose, behandeling of verlichting van ziekte of letsel. 

Voor hoog risico AI-systemen gelden veel vereisten.¹¹ Denk aan een risicomanagementsysteem voor het beoordelen en beperken van risico’s, kwaliteitseisen met betrekking tot de te gebruiken datasets, transparantie- en informatieverplichtingen richting de gebruikers van het AI-systeem, een conformiteitsbeoordeling en een registratieplicht. Bovendien bevat de AI-verordening verplichtingen rondom de monitoring na het in de handel brengen van het AI-systeem¹² en het delen van informatie over ernstige incidenten.¹³ Niet alle vereisten zijn heel concreet. Het Europese Hof van Justitie moet hier de komende jaren nadere invulling aan geven. Daarnaast moeten de richtlijnen voor de conformiteitsbeoordeling en registratie nader ingevuld worden. 

Gaat het om een AI-systeem dat ziet op de herkenning van emoties – zoals een wearable met app om het stressniveau van cliënten in kaart te brengen – dan kan het AI-systeem ook vallen onder de categorie beperkt risico. Voor zo’n AI-systeem gelden transparantieverplichtingen.¹⁴ Zo moeten gebruikers van zo’n AI-systeem de daaraan blootgestelde natuurlijke personen (mensen van vlees en bloed) over de werking van het systeem informeren en de persoonsgegevens in overeenstemming met privacywet AVG verwerken. Valt het AI-systeem én onder de hoog risico categorie én onder de beperkt risico categorie, dan moet aan de eisen van beide risicocategorieën voldaan worden.¹⁵ 

Tot slot is er de categorie die ziet op AI-systemen met minimaal risico. Valt een AI-systeem niet onder één van de hierboven toegelichte risicocategorieën, dan worden er aan dit AI-systeem geen eisen gesteld omdat de risico’s laag of nihil zijn. Wel kunnen ontwikkelaars of organisaties vrijwillige gedragscodes opstellen en naleven.¹⁶

De AI-verordening bevat bovendien nog specifieke regelgeving die ziet op AI-modellen voor algemene doeleinden.¹⁷ Onder deze regelgeving valt generatieve AI, zoals ChatGPT. Deze specifieke regelgeving roept vooral verplichtingen in het leven voor de aanbieders van deze AI-modellen en niet voor de gebruikers(verantwoordelijken). Deze regelgeving zal voor zorgorganisaties minder relevant zijn, omdat zij waarschijnlijk vooral als gebruiker met dit soort AI-modellen aan de slag zullen gaan.

Sancties bij niet-naleving 

Worden verplichtingen uit de AI-verordening niet nageleefd, dan kunnen er sancties volgen.¹⁸ Dit zijn vooral geldboetes, die op kunnen lopen tot 35 miljoen euro. Het is dus van belang dat aanbieders en gebruiks(verantwoordelijken) – waaronder zorgorganisaties – van AI-systemen goed in beeld hebben welke verplichtingen er gelden voor een bepaald AI-systeem, zodat zij ervoor kunnen zorgen dat zij compliant zijn aan de AI-verordening.