Een onafhankelijke Britse review van 10 maart 2024 laat zien dat medische apparaten, en met name saturatiemeters, een inherente bias vertonen die patiënten met een donkere huidskleur benadeelt. Volgens de review is dringende actie nodig om deze apparaten voor iedereen even goed te laten werken. Want slechte metingen leiden tot vertraagde zorg en slechtere gezondheidsuitkomsten. De Britse overheid heeft de conclusies van het rapport onderschreven.
Onmiddellijke actie is volgens de auteurs van de onafhankelijke review nodig om de invloed van etnische en andere vormen van bias bij het gebruik van medische apparaten aan te pakken. Bias staat synoniem aan vooringenomenheid en verwijst naar de ongerechtvaardigde neiging in algoritmen of besluitvorming die leidt tot oneerlijke uitkomsten, discriminatie of een voorkeur voor de ene groep voor de andere. Dit kan gebaseerd zijn op verschillende factoren, zoals ras, geslacht, leeftijd maar ook sociaaleconomische status. Een goed voorbeeld zijn de genoemde saturatiemeters, die lichtgolven door de huid van een patiënt sturen om het zuurstofgehalte in het bloed te schatten.
Zij blijken in de praktijk minder nauwkeurig te zijn voor mensen met een donkere huidskleur. Dit maakt het moeilijker om gevaarlijke dalingen in zuurstofniveaus te detecteren. Bovendien wordt er gewaarschuwd voor het feit dat apparaten die AI gebruiken het risico op huidkanker bij mensen met een donkere huid onderschatten.
Vooringenomen saturatiemeters
Een onderzoek uit 2022, voortkomend uit zorgen over de grotere COVID-19 risico's voor etnische minderheden, en een recente review uit maart hebben de risico's onderzocht van optische medische apparaten, AI in de gezondheidszorg, en poly-genetische risicoscores op het veroorzaken van 'substantiële' schade. Pulse oximeters, veel gebruikt tijdens de COVID-19 pandemie, kunnen bij mensen met een donkere huidskleur de zuurstofniveaus overschatten, wat negatieve gezondheidsuitkomsten kan hebben. De Britse overheid heeft reeds stappen ondernomen, zoals bijgewerkte NHS-richtlijnen, maar er is meer actie vereist om de bias in deze technologieën weg te nemen. Deze vooringenomenheid treft voornamelijk vrouwen, etnische minderheden, en sociaal-economisch achtergestelde groepen en kan onbewust worden ingebouwd en versterkt in AI-gestuurde medische apparaten.
Toeslagenschandaal
De toepassing van AI-gestuurde medische apparaten is nu wijdverbreid en ingebouwde bias kan leiden tot slechtere gezondheidszorg voor de getroffen bevolkingsgroepen. Het loopt van gezichtsherkenningssoftware die moeite heeft met het correct identificeren van mensen met een donkere huidskleur tot aannamealgoritmes die onbewust discrimineren op basis van geslacht of achtergrond.
Een goed voorbeeld van dat laatste waren de bevooroordeelde algoritmes, die leidden tot het gigantische toeslagenschandaal in Nederland. Deze en tal van andere problemen wijzen op een dringende behoefte aan meer inclusieve ontwerpprocessen die de diversiteit van gebruikers weerspiegelen en vooroordelen in de ontwikkelingsfase minimaliseren. Deze uitdaging gaat dus uiteindelijk veel verder dan de gezondheidszorg alleen. Technologische bias heeft namelijk ook duidelijke gevolgen in sectoren als justitie, financiën en HR. Belangrijk is tot slot niet alleen het aanpakken raciale en genderbias, maar ook om te zorgen voor inclusie van mensen met weinig digitale vaardigheden in de zorg en alle andere sectoren.
