Softwarevalidatie en vibes: zijn we nog ‘in control’?

De ontwikkeling en validatie van software in de gezondheidszorg is een complex proces dat steeds belangrijker wordt, zeker met de komst van de MDR (Medical Device Regulation) en het ‘convenant veilige toepassing van medische technologie’. Recent is de ‘Leidraad Validatie van Software als Medisch Hulpmiddel’¹ uitgebracht om artsen te helpen bij het valideren van software na aankoop tot in het in gebruik nemen. Ik kijk samen met Paul, mijn collega van de werkgroep die deze leidraad opstelde, terug op het proces en waar we nu staan. 

Ik stelde destijds zelf een panel artsen samen en dook met hen het onderwerp in aan de hand van literatuur en ingeschakelde expertise op digitale strategie. Hier kwamen behalve waardevolle inzichten voor de werkgroep openstaande vragen naar voren. Bijvoorbeeld: hoe belangrijk is klinische expertise bij softwareontwikkeling? 

Onze verouderde digitale structuren leveren vaak geen duurzame, veilige of betrouwbare data voor validatie, waardoor datacuratie intensief en kostbaar blijft. Hoe zorgen we voor continue updates van predictiemodellen met prospectief verzamelde data? Hoe borgen we belangen in de samenwerking tussen artsen en ontwikkelaars? En hoe behouden we zicht op klinische risico’s? Er blijft veel te verkennen buiten de scope van deze leidraad.

Validation vacation artsen?   

Klinisch werk zal volgens Paul vaker onderbroken moeten worden voor softwarevalidatie, een ‘validation vacation’. De leidraad helpt hierbij, maar het tempo van nieuwe software en updates maakt het complexer. Zelfs kleine aanpassingen in het EPD kosten uren om te valideren. 

Paul herinnert zich hoe hij vroeger elk stukje code programmeerde, waardoor hij precies wist hoe alles werkte. Tegenwoordig is dat anders. In plaats van zelf uren ploeteren halen we nu tools uit digitale bibliotheken. Je roept die tools op en laat hen het werk doen, tot het aan je wensen voldoet. Dit ‘vibe-coden’ biedt gemak: de AI-agent lost problemen snel op met toegang tot wereldwijde oplossingen. Maar dit gemak roept vragen op over controle en betrouwbaarheid. 

‘Wappie-software’ validatie?

Paul vergelijkt vertrouwen in software met een ‘wappie-bericht’: logische ogend, maar ergens zit er een afslag in de redenering. Bij software is het lastig zo’n verborgen gebrek te vinden. Validatie controleert of software werkt zoals verwacht, maar belangrijker is of bij afwijkingen software je ook waarschuwt met een foutmelding. Zo ontdekte Paul zelf een fout bij een cytostatica-dosering die de software niet opmerkte. Tools uit online bibliotheken roepen extra vragen op: zijn ze gevalideerd, door wie, en onder welke condities? 

Vals gevoel van controle

De leidraad suggereert controle over softwarevalidatie, maar in werkelijkheid zijn risico’s, opbouw en gebreken vaak onbekend. Dit kan leiden tot gezondheidsrisico’s zonder dat artsen zich daarvan bewust zijn. Of erger nog: opzettelijk ingezette software- risico’s in het belang van een kwaadwillend individu of groepering! 

Volgens Paul is het niet anders dan vroeger: je mag nog steeds verwachten dat de ontwikkelaar deugdelijke en veilige producten garandeert. En hetzelfde geldt voor artsen. Zij zijn aan zet om te duiden waar risico’s liggen en wanneer waarschuwingen nodig zijn. 

Buiten scope verkennen onontkoombaar!  

De leidraad benadrukt het belang van een bredere blik op de gehele levenscyclus van software. Artsen moeten integraal betrokken worden, om hun expertise in te brengen - iets waar ontwikkelaars, beleidsmakers, juristen en andere domeinexperts niet voor instaan! Artsen moeten er zo ook voor zorgdragen dat wetgeving, kaders, standaarden of normen meerwaarde voor gezondheid op (blijven) leveren.  

Artsen zullen zich steeds meer verdiepen in relevante domeinen zoals ICT, recht en beleid om cruciale input te leveren. Zie het als een LLM-prompt²: hoe specifieker geformuleerd, hoe bruikbaarder het antwoord. Maar ook op het juiste moment het LLM vrijlaten: een kunst, omdat je daar inzichten mee vangt waar je zelf anders nooit op was gekomen! En laat dat een koud kunstje zijn, want laat die connectie maken met de patiënt nou core business zijn voor de arts!