Op 2 februari 2025 trad het eerste deel van de EU AI Act-verordening met betrekking tot het gebruik van onaanvaardbare AI-praktijken in werking. De Europese Commissie heeft conceptrichtlijnen gepubliceerd voor de interpretatie van artikel 5, waarin de verboden AI-toepassingen worden beschreven. Veel daarvan hebben betrekking op use cases in de gezondheidszorg.
Wat zeggen de EU AI Act-richtlijnen over AI in de zorg?
De "Commission Guidelines on Prohibited Artificial Intelligence Practices established by Regulation (EU) 2024/1689 (AI Act)" biedt een overzicht van praktijken die als onaanvaardbaar zijn geclassificeerd onder artikel 5 van de EU AI Act. Een document van 140 pagina's geeft voorbeelden van AI die in de Europese Unie verboden is, zoals sociale scoresystemen, gezichtsherkenningssystemen voor publieke surveillance (met enkele uitzonderingen) of toepassingen die personen kunnen manipuleren en een bedreiging voor hun gezondheid kunnen vormen. Hoewel het document verboden use cases in alle industriële sectoren beschrijft, hebben veel ervan betrekking op de gezondheidszorg.
De primaire regel, 'onaanvaardbaar risico', onder artikel 5 van de AI Act is van toepassing is op AI-systemen die onaanvaardbare risico's vormen voor fundamentele rechten en waarden van de Unie. Hoge risico's zijn geclassificeerde AI-systemen die hoge risico's vormen voor de gezondheid, veiligheid en fundamentele rechten.
Laten we verboden systemen in de gezondheidszorg categoriseren volgens de richtlijnen:
AI-toepassingen die patiënten kunnen manipuleren en misleiden. Dit verwijst naar AI's die subliminale of manipulatieve technieken gebruiken om het gedrag van consumenten en patiënten te beïnvloeden, wat tot schade kan leiden. Bijvoorbeeld: AI-oplossingen die medische beslissingen aan patiënten suggereren op basis van manipulatieve, niet-verklaarbare algoritmen. Als gezondheid echter het primaire doel is, kunnen systemen die gebruikers beïnvloeden om gedragsverandering te bereiken, worden gebruikt, zoals we later zullen beschrijven.
Uitbuiting van gevoelige patiëntengroepen. AI die opzettelijk de kwetsbaarheid van consumentengroepen uitbuit op basis van leeftijd, handicap of economische situatie is ook verboden. Een voorbeeld hiervan is AI die buitensporige of onnodige behandelingen suggereert aan patiënten die benadeeld zijn of een verstandelijke beperking hebben.
Voorbeeld: "AI-systemen die worden gebruikt om ouderen te targeten met misleidende gepersonaliseerde aanbiedingen of oplichting, waarbij ze hun verminderde cognitieve vermogen uitbuiten om hen te beïnvloeden om beslissingen te nemen die ze anders niet zouden hebben genomen en die hen waarschijnlijk aanzienlijke financiële schade zouden berokkenen. Een robot die ouderen moet helpen, kan hun kwetsbare situatie uitbuiten en hen dwingen om bepaalde activiteiten te doen die tegen hun vrije wil ingaan, wat hun geestelijke gezondheid aanzienlijk kan verslechteren en hen ernstige psychische schade kan toebrengen.”
Scores in de gezondheidszorg. De EU AI Act introduceert een verbod op systemen om burgers te beoordelen op basis van hun gedrag. De Europese Commissie wilde de zogenaamde “sociale scoresystemen” in China testen, met bonuspunten voor naleving van staatsregels en minpunten voor overtredingen. Dergelijke systemen passen niet bij de democratische waarden van de EU. Met betrekking tot de gezondheidszorg zijn bijvoorbeeld AI-systemen die patiënten beoordelen op basis van hun gedrag, levensstijl of andere sociale kenmerken en op basis daarvan de toegang tot gezondheidsdiensten beperken of ziektekostenpremies berekenen, verboden. Een dergelijke aanpak kan leiden tot discriminatie in een op solidariteit gebaseerd gezondheidssysteem.
Voorbeeld: “Een overheidsinstantie gebruikt een AI-systeem om families te profileren voor vroege detectie van kinderen die risico lopen op basis van criteria zoals de geestelijke gezondheid van de ouders en werkloosheid, maar ook informatie over het sociale gedrag van ouders afgeleid uit meerdere contexten. Op basis van de resulterende score worden gezinnen apart genomen voor inspectie, en worden kinderen die als ‘risicovol’ worden beschouwd, uit hun gezinnen gehaald, ook in gevallen van kleine overtredingen door de ouders, zoals het af en toe missen van doktersafspraken of het ontvangen van verkeersboetes.”
Predictieve AI-systemen die discrimineren. De EU AI Act verbiedt ook het gebruik van AI om het risico op het plegen van een misdaad te voorspellen op basis van persoonlijkheidskenmerken of eerdere misdaden. Deze bepalingen zijn weinig relevant voor de gezondheidszorg. Een voorbeeld is echter het classificeren van patiënten door algoritmen als potentieel gevaarlijk. Dergelijke algoritmen zouden mogelijk tegen sommige patiënten kunnen discrimineren.
Illegale verzameling en verwerking van biometrische gegevens. De EU AI Act verbiedt het verzamelen van biometrische gegevens die worden gebruikt in gezichtsherkenningssystemen of gegevens die worden verzameld in bewakingscamera's, die kunnen worden gebruikt om databases te maken om burgers te identificeren zonder hun toestemming. Met betrekking tot de gezondheidszorg kan men zich een AI-systeem voor volksgezondheidsmonitoring voorstellen dat is geïntegreerd met elektronische medische dossiers om mensen met infectieziekten op openbare plaatsen te betrappen. Dit zou de privacy van patiënten in gevaar kunnen brengen; het zou echter tijdens de pandemie kunnen worden geïmplementeerd, aangezien dit gebruiksscenario onderworpen kan zijn aan nationale regelgeving.
Systemen voor Emotieherkenning. De EU AI Act verbiedt ook AI-algoritmen die emoties identificeren op basis van bijvoorbeeld stem, bewegingen of gezichtsuitdrukkingen. Dergelijke systemen zouden kunnen leiden tot ongerechtvaardigde bewaking, waardoor de privacy van individuen wordt bedreigd. In de gezondheidszorg biedt de regelgeving echter een uitzondering: AI-oplossingen zijn toegestaan als ze een duidelijk gedefinieerd medisch doel hebben. Bijvoorbeeld het diagnosticeren van een patiënt op basis van stem of bewegingen. Volgens de richtlijnen heeft "emotieherkenning in specifieke gebruikscontexten, zoals voor veiligheid en medische zorg (bijv. medische behandeling en diagnose), voordelen."
Interessant genoeg is emotieherkenning niet alleen toegestaan in de gezondheidszorg. Een voorbeeld is een online muziekstreamingplatform: "Een online muziekplatform gebruikt een emotieherkenningssysteem om de emoties van gebruikers af te leiden en beveelt automatisch nummers aan die passen bij hun stemming, terwijl overmatige blootstelling aan depressieve nummers wordt vermeden. Omdat gebruikers alleen naar muziek luisteren en niet anderszins worden geschaad of tot depressie en angst worden geleid, is het redelijkerwijs niet waarschijnlijk dat het systeem aanzienlijke schade zal veroorzaken."
Worden gezondheidschatbots toegestaan? Ja, maar met een paar uitzonderingen
De richtlijnen staan breed gebruik van AI in de gezondheidszorg toe, van diagnose tot therapie. Chatbots of robots die ouderen of mensen met chronische ziekten helpen in hun dagelijks leven, de diagnose van ziekten in een vroeg stadium verbeteren of psychologische ondersteuning en beweging bieden, zijn bijvoorbeeld toegestaan omdat ze een duidelijk omschreven doel hebben. Veruit de meeste chatbots voor patiënten, symptoomcheckers en gezondheids- en fitnessapps op basis van AI-algoritmen vallen onder deze categorie. Natuurlijk is een andere vraag of ze een hoog of laag risico vormen - de richtlijnen zijn er nog niet.
Medtech-bedrijven en startups hoeven niet bang te zijn voor gezondheidsgegevens die uit verschillende bronnen worden verzameld om AI-algoritmen te trainen om patiënten beter te screenen.
Voorbeeld: "Het verzamelen en verwerken van gegevens die relevant en noodzakelijk zijn voor het beoogde legitieme doel van de AI-systemen (bijv. gezondheids- en schizofreniegegevens die uit verschillende bronnen worden verzameld om patiënten te diagnosticeren) valt buiten het bereik van artikel 5(1)(c) van de AI-wet, met name omdat het relevante en noodzakelijke gegevens verwerkt en doorgaans geen ongerechtvaardigde nadelige of ongunstige behandeling van bepaalde natuurlijke personen met zich meebrengt."
Een duidelijk omschreven doel met betrekking tot gezondheidszorg is essentieel. Het meten van stressniveaus om het welzijn van patiënten te verbeteren is bijvoorbeeld toegestaan, terwijl het monitoren van stressbiomarkers op de werkplek verboden zou kunnen worden als ze niet transparant worden gebruikt om werknemers te volgen om burn-out of depressie op het werk te detecteren. Dergelijke oplossingen zijn onaanvaardbaar omdat ze een verborgen doel hebben en tegen werknemers kunnen worden gebruikt. De richtlijnen zijn hier duidelijk: "De algemene monitoring van stressniveaus op de werkplek is niet toegestaan op grond van gezondheids- of veiligheidsaspecten. Een AI-systeem dat bedoeld is om burn-out of depressie op de werkplek of in onderwijsinstellingen te detecteren, zou bijvoorbeeld niet onder de uitzondering vallen en zou verboden blijven".
Deze zaak kan echter onderworpen zijn aan de wetgeving inzake gegevensbescherming en de nationale wetgeving inzake werkgelegenheid en arbeidsomstandigheden, inclusief gezondheid en veiligheid op het werk, die andere beperkingen en waarborgen kunnen voorzien met betrekking tot het gebruik van dergelijke systemen.
Ook chatbots die de zwakheden of kwetsbaarheden van een gebruiker uitbuiten om zijn gedrag te controleren, zijn onaanvaardbaar. Een chatbot stelt bijvoorbeeld een uitputtend trainingsprogramma voor aan een persoon met overgewicht.
Voorbeeld: "AI-aangedreven welzijnschatbot is door de aanbieder bedoeld om gebruikers te ondersteunen en te sturen bij het behouden van een gezonde levensstijl en om op maat gemaakt advies te geven voor psychologische en fysieke oefeningen. Als de chatbot echter individuele kwetsbaarheden uitbuit om ongezonde gewoonten aan te nemen of om gevaarlijke activiteiten te ondernemen (bijv. buitensporige sporten zonder rust of drinkwater) waarbij redelijkerwijs kan worden verwacht dat bepaalde gebruikers dat advies zullen opvolgen, wat ze anders niet zouden hebben gedaan, en aanzienlijke schade zullen lijden (bijv. een hartaanval of een ander ernstig gezondheidsprobleem), zou dat AI-systeem onder het verbod in artikel 5(1)(a) AI-wet vallen, zelfs als de aanbieder dit gedrag en de schadelijke gevolgen voor de personen mogelijk niet heeft bedoeld."
In een dergelijk geval hebben de auteurs van de richtlijnen het over een aanzienlijke schending van de individuele autonomie en het verdraaien van het gedrag van de gebruikers, wat potentieel schadelijk kan zijn. AI-chatbots die zelfbeschadiging promoten, zelfmoord aanmoedigen of anderen schade toebrengen, vallen ook onder deze categorie.
Niet alle richtlijnen zijn eenvoudig te interpreteren. Verboden zijn AI-systemen die mentale stress veroorzaken bij de gebruiker. Een voorbeeld is een AI-systeem dat resulteert in fysieke schade, zoals slapeloosheid, mentale stress, fysieke symptomen van stress, verslechtering van de fysieke gezondheid of verzwakking van het immuunsysteem. Het vinden van een directe oorzaak-gevolgrelatie tussen een AI-systeem en dergelijke bijwerkingen zal problematisch zijn.
Voorbeeld: "Een AI-systeem dat fysieke schade veroorzaakt, kan ook leiden tot psychologisch trauma, stress en angst en vice versa. Bijvoorbeeld, verslavend ontwerp van AI-systemen die worden gebruikt in producten en andere AI-applicaties kan leiden tot psychologische schade door verslavend gedrag, angst en depressie te bevorderen. De psychologische stress kan vervolgens resulteren in fysieke schade, zoals slapeloosheid en andere stressgerelateerde gezondheidsproblemen en fysieke problemen. AI-gestuurde intimidatie kan leiden tot zowel psychologische stress als fysieke manifestaties van stress, zoals slapeloosheid, verslechterde fysieke gezondheid of een verzwakt immuunsysteem.
Een therapeutische chatbot die patiënten met psychische problemen ondersteunt en mensen met cognitieve beperkingen helpt om met het dagelijks leven om te gaan, is toegestaan. Een dergelijke chatbot mag echter niet langer de zwakheden van de gebruikers uitbuiten en hen aanmoedigen om dure medische producten te kopen.
Voorbeeld: "Een therapeutische chatbot die gericht is op het bieden van mentale gezondheidsondersteuning en copingstrategieën aan personen met een psychische beperking, kan hun beperkte intellectuele capaciteiten uitbuiten om hen te beïnvloeden om dure medische producten te kopen of hen aan te sporen zich op manieren te gedragen die schadelijk zijn voor hen of andere personen." Dit gebruiksvoorbeeld omvat ook een AI-systeem dat emotieherkenning gebruikt om personen met een psychische beperking te ondersteunen in hun dagelijks leven. Ondertussen manipuleert het hen om schadelijke beslissingen te nemen.
Op dezelfde manier zijn AI-systemen die de mentale kwetsbaarheden van kinderen uitbuiten, op een vergelijkbare basis verboden.
Voorbeeld: "Een spel gebruikt AI om het gedrag en de voorkeuren van kinderen te analyseren op basis waarvan het gepersonaliseerde en onvoorspelbare beloningen creëert via verslavende versterkingsschema's en dopamine-achtige lussen om overmatig spelen en dwangmatig gebruik aan te moedigen. De game is ontworpen om zeer verslavend te zijn en de kwetsbaarheden van kinderen uit te buiten, waaronder hun beperkte vermogen om langetermijngevolgen te begrijpen, vatbaarheid voor druk, gebrek aan zelfbeheersing en neiging tot directe bevrediging. De gevolgen van deze door AI mogelijk gemaakte uitbuiting kunnen ernstig en langdurig zijn voor kinderen, waaronder potentieel verslavend gedrag, fysieke gezondheidsproblemen door gebrek aan beweging en slaap, verslechterd gezichtsvermogen, concentratieproblemen en verminderde cognitieve vermogens, slechte academische prestaties en sociale problemen. Het kan een aanzienlijke impact hebben op de ontwikkeling en het welzijn van een kind, met mogelijke gevolgen op de langere termijn die zich ook tot in de volwassenheid kunnen uitstrekken.”
Het principe van gezondheid als primair doel
Bijzonder interessant zijn enkele uitzonderingen die suggereren dat AI subliminale technieken kan gebruiken wanneer gezondheid en welzijn de hogere doelen zijn. Het zou een chatbot kunnen zijn die social engineering-methoden gebruikt om gebruikers te coachen om gezonder te leven of om ze te laten afzien van slechte gewoonten zoals het roken van sigaretten.
Voorbeeld: "Een therapeutische chatbot gebruikt subliminale technieken om gebruikers te sturen naar een gezondere levensstijl en om te stoppen met slechte gewoontes, zoals roken. Zelfs als de gebruikers die het advies van de chatbot en de subliminale therapie opvolgen, wat fysiek ongemak en psychologische stress ervaren als gevolg van de inspanning om te stoppen met roken, kan niet worden aangenomen dat de AI-gestuurde chatbot waarschijnlijk aanzienlijke schade zal veroorzaken. Dergelijk tijdelijk ongemak is onvermijdelijk en weegt niet op tegen de voordelen op de lange termijn voor de gezondheid van gebruikers. Er zijn geen verborgen pogingen om besluitvorming te beïnvloeden, behalve het promoten van gezonde gewoontes."
De Europese Commissie heeft de conceptrichtlijnen goedgekeurd, maar ze zijn nog steeds niet formeel aangenomen. Voor de implementatie van de nieuwe regelgeving zijn verantwoordelijk nationale toezichthoudende autoriteiten en de Europese Toezichthouder voor gegevensbescherming. Overtredingen worden bestraft met boetes tot 35 miljoen euro of 7% van de jaaromzet van een bedrijf.
De richtlijnen geven enige duidelijkheid voor de AI-ontwikkelaars, maar ze dekken niet alle use cases in de gezondheidszorg. Bedrijven met een CE-markering voor hun medische hulpmiddelen of digitale oplossingen hoeven zich geen zorgen te maken. Degenen die werken aan geavanceerde algoritmen die meerdere biomarkers voor de gezondheidszorg analyseren en gedragsveranderingen aanbevelen, moeten echter de risicogroep dubbel controleren volgens de EU AI Act. Het woord 'gezondheid' komt 40 keer voor in het 140 pagina's tellende document, wat benadrukt dat AI-gerelateerde risico's een van de aandachtspunten zijn van de EU AI Act-regelgeving.
Klik hier om de richtlijnen te downloaden (PDF, Engels): Richtlijnen van de Commissie over verboden praktijken op het gebied van kunstmatige intelligentie, vastgesteld door Verordening (EU) 2024/1689 (AI Act).
