Meten is weten! 7 manieren om digitale vaardigheden te onderzoeken

11 december 2020
Meten is weten! 7 manieren om digitale vaardigheden te onderzoeken
Onderzoek
Premium

De vaardigheidsthema’s die vaak gemeten worden, zijn:

• Basisvaardigheid.
• Beleving over/ vertrouwen in technologie.
• Groei in vaardigheden.
• Effect aanpak.

Natuurlijk kun je ook zaken meten als: het effect op verzuim, de toename in gebruik van applicaties, het aantal vaardigheidsgerelateerde meldingen bij een helpdesk. Of het aantal inlogs en de aantallen medicijnfouten in de Medimo. Je kunt tellen of het aantal vragen aan de helpdesk afneemt of kijken of het effect heeft op de medewerkerstevredenheid. Maar het is allemaal lastig meetbaar wegens de grote diversiteit aan factoren.

Daarnaast kun je het startniveau van je mede- werkers meten om een aanpak te rechtvaardigen, of om bijvoorbeeld te bepalen hoeveel digicoaches je nodig hebt. Dat is de nulmeting. Je kunt ook een tweede meting doen na één of anderhalf jaar om eventuele groei in vaardigheden of vertrouwen te meten.

Nadeel van een tweede meting in de zorg is dat de respons in de nulmeting meestal geen 100 procent is en het verloop in de zorg vrij groot is. De zorgmedewerker is ook niet echt dol op het invullen van testen, zeker geen tweede keer. En het verloop in de zorg is behoor- lijk groot. Je tweede onderzoeksgroep kan er dus behoorlijk anders uitzien dan je eerste. Omdat medewerkers geneigd zijn zichzelf wat hoog te scoren is de groeimogelijkheid bij een tweede meting bovendien ook beperkt.

Test of toets?
Voor wat betreft de vaardigheden heeft de coalitie Digivaardig in de zorg al voor vijf zorgsectoren een lijst gemaakt met vaardigheden die onmisbaar zijn voor uitvoerende zorgprofessionals in die sector. Die lijst is samen met de mensen uit het werkveld ontwikkeld en verwerkt in een online zelfscan die ook geprint kan worden en op papier kan worden gescoord.

De medewerker beoordeelt hierbij zijn of haar eigen digitale vaardigheden. Het vraagt echter veel duwen en trekken om tot een hoge respons te komen. Uit ervaring blijkt dat het helpt als je de tijd voor het invullen van de lijst in het rooster inplant of een cadeaubon aanbiedt in ruil voor het invullen.

Het is heel belangrijk dat je duidelijk maakt dat de uitkomsten alleen naar de persoon zelf gaan en dat het collectieve rapport anoniem is. De digi- starter is doodsbang voor gevolgen van lage cijfers en ook de gemiddelde medewerker gaat (bewust of onbewust) hoger scoren als duidelijk is dat de lijst ook naar de manager of projectleider gaat. Dat is een universeel probleem bij zelfonderzoek. Maar het geeft wel blijk van zelfvertrouwen en dat kunnen we niet genoeg hebben vóór de pc.

Toetsen dan?
Je kunt er voor kiezen om in plaats van een zelfscan een speciale toets te ontwikkelen waar een vaardigheidsscore uit komt. Het voordeel is dat je feitelijke informatie hebt in plaats van een zelfinschatting. Het nadeel is dat de digitale starter dit ongelooflijk eng vindt om te doen en dat veel organisaties toetsen niet vinden passen binnen hun visie en beleid. Het is ook behoorlijk ingewikkeld om een toets te maken die alles meet wat je wilt meten. Zeker als je bedenkt dat medewerkers met gemiddeld 17 applicaties moeten werken en dat digitale vaardigheden naast applicaties nog zeven thema’s kent.

Soorten onderzoek
Ik kies voor testen en neem jullie mee in een aantal mogelijkheden voor het testen. Ik noem de, naar mijn mening, belangrijkste voordelen en nadelen.

  1. Zelfscan met onderzoeks-subsite van Digivaardigindezorg.nl 
  2. Je richt tegen een vergoeding een subsite in en kunt onderzoek doen binnen je eigen organisatie met de bestaande zelfscan van jouw sector.

Voordelen:

  • Je onderzoeksopzet is al af en de rapporten worden automatisch gegenereerd.
  • Je kunt met één druk op de knop gedetailleerde gegevens krijgen van teams, afdelingen, leeftijdsgroepen en opleidingsniveaus.
  • Je kunt indien nodig zelf vragen toevoegen of termen wijzigen.

Nadelen: 

  • Het kost veel tijd om in te vullen (15-30 minuten).
  • Het kost veel leuren en trekken om het medewerkers voor een bepaalde datum te laten doen.
  1. Zelfscan met eigen onderzoekstool (zoals Microsoft Forms, Qualtrics, Survey Monkey)
     
    Voordelen:
  • Tools met mooie rapporten (gratis behalve Qualtrics).
  • Je kunt je eigen vragen formuleren met vaardigheden die jij belangrijk vindt en de eigen namen van applicaties.

Nadelen:

  • Het kost veel tijd om de vragen te bedenken er in te zetten.
  • Het kost veel tijd om in te vullen (15-30 minuten) en veel energie om het medewerkers voor de deadline te laten doen.