Het Bureau ICT Toetsing (BIT) gaat de ontwikkeling van CoronaMelder evalueren. Dat blijkt uit stukken die staatssecretaris Raymond Knops (Binnenlandse Zaken) naar de Tweede Kamer heeft gestuurd. De lessons learned uit het ontwikkeltraject voor de app kunnen ingezet worden voor andere ICT-projecten bij de overheid. Verder blijkt dat een eerste onderzoek naar de effectiviteit van de app die bron- en contactonderzoek van GGD's moet ondersteunen, onvoldoende resultaat heeft opgeleverd.
Tweede Kamerlid Maarten Hijink (SP) vroeg eerder tijdens een debat over de CoronaMelder om lessen te trekken uit het ontwikkelingstraject ten behoeve van andere ICT-projecten bij de overheid. Knops stelt dat het BIT de expertise heeft om hier een rol in te spelen en daarom gevraagd is om de evaluatie uit te voeren. “Ik zie net als uw Kamer de meerwaarde van zo’n evaluatie ten behoeve van het lerend vermogen binnen het stelsel en zeg u hierbij toe dat te zullen doen.”
Evaluatie ontwikkeltraject
Knops laat de Tweede Kamer nog dit jaar weten hoe de evaluatie vorm gaat krijgen. Hij maakt in zijn Kamerbrief niet duidelijk of het ontwikkelingstraject van CoronaMelder ook voor andere ICT-projecten bij de overheid geschikt is. Nadat een eerste kortdurend ontwikkeltraject via een appathon mislukte, is onder leiding van VWS met een nieuw, breder en zorgvuldiger ontwikkeltraject begonnen. Daarbij werden ook diverse veldproeven uitgevoerd, waaronder sinds half augustus in een aantal GGD-regio's.
De toezichtraad van het BIT noemt het positief dat het orgaan een adviserende en meedenkende rol heeft bij noodvoorzieningen in verband met Covid-19. De raad zegt ook dat zo’n rol op gespannen voet kan komen staan met de onafhankelijkheid van het BIT. In een eigen brief aan de Tweede Kamer schrijft het orgaan: “De Toezichtraad is zeker niet tegen het reageren op een acute hulpvraag op terreinen waar het BIT ook adviseert. De Toezichtraad heeft er echter op gewezen dat vooraf aan het ingaan op de gestelde hulpvraag het collisie risico met de vraagsteller gecommuniceerd moet worden. Het collisie risico ontstaat als na een gegeven advies door het BIT op basis van de selectiecriteria hetzelfde project getoetst moet worden door het BIT.”
Eerste studie effectiviteit CoronaMelder
Ron Roozendaal, directeur informatiebeleid van het ministerie van VWS en verantwoordelijk voor de ontwikkeling van de app, stelt tegenover Nu.nl dat een eerste onderzoek naar de effectiviteit van de CoronaMelder onvoldoende resultaat heeft opgeleverd. De studie moest de meerwaarde van de app bepalen. De verzamelde gegevens waren echter deels incompleet en onbetrouwbaar. "Er is onvoldoende data over testen zonder klachten na notificatie in CoronaMelder, want testen zonder klachten werd gestopt", aldus Roozendaal in een toelichting op Twitter.
Vanaf 17 augustus gingen vijf GGD-regio's in Drenthe, Overijssel en Gelderland proefdraaien met de CoronaMelder. iedereen in deze regio kon via de app doorgeven of hij/zij besmet was. Iedereen die op basis hiervan een waarschuwing kreeg wegens te langdurige nabijheid bij de besmette persoon, kon een test krijgen. Dat gold ook voor mensen zonder klachten. Zo onderzocht worden of coronapatiënten al gevonden konden worden vóórdat zij symptomen vertonen en was via de app te achterhalen hoeveel personen het virus bij zich dragen en ook anderen kunnen besmetten, zonder dat zij dat zelf doorhebben.
Onderzoeksperiode te kort
Wegens de snel toenemende druk op de testcapaciteit besloot VWS echter vanaf 12 september om het testen te beperken tot mensen met klachten. Een waarschuwing van de app was niet meer genoeg. Volgens Roozendaal was de periode van een kleine maand te kort om voldoende onderzoek te doen. Ook registreerde het ministerie bijvoorbeeld niet of iemand die zonder symptomen een test aanvroeg, later misschien alsnog klachten kreeg. Verder waren er relatief weinig aanvragen uit de testregio's.
"Zo konden we niet vaststellen of iemand die zei een notificatie te hebben gekregen, die daadwerkelijk had gekregen", stelt Roozendaal. "Dat maakt een deel van de onderzoeksdata heel kwetsbaar. Mijn kwalificatie zou niet zijn dat het onderzoek is mislukt. De conclusie is dat de gegevens niet goed genoeg zijn."
Het onderzoek was de eerste mogelijkheid om te bepalen of de app echt coronabesmettingen vindt voordat mensen symptomen vertonen. De proef kan nu niet zomaar alsnog uitgevoerd worden, omdat mensen zich momenteel alleen kunnen laten testen als zij al klachten hebben.
CoronaMelder bereikt contacten sneller
Bij de landelijke lancering van de CoronaMelder stelde VWS dat op basis van ruwe cijfers uit de praktijktest afgelopen augustus bleek dat 99 procent van de mensen die een test aan hadden gevraagd omdat zij een notificatie van de app kregen, nog niet was benaderd in het kader van het reguliere bron- en contactonderzoek.
Hoewel deze data nog nader moeten worden onderzocht, kan volgens VWS gesteld worden dat CoronaMelder nauwe contacten sneller bereikt. Ook wordt onderzocht of deze mensen later wel bereikt zijn door het reguliere bron- en contactonderzoek en of de app ook daadwerkelijk meer mensen bereikt
VWS laat ook onderzoeken wat de impact van de landelijke introductie van CoronaMelder is. Hoe de app bijdraagt in de bestrijding van het coronavirus, maar ook welke mogelijke negatieve effecten de app heeft op het gedrag van mensen. Roozendaal verwacht de eerste resultaten halverwege november te kunnen delen.
