Raamwerk en toolkit meten impact e-health bij mensen met visuele beperking

Expertise-organisatie Bartiméus en lectoraat Digital Life van de Hogeschool van Amsterdam werken samen om meer impact-onderzoek te doen naar e-health en andere innovatieprojecten in de praktijk, bij mensen met een visuele beperking. Dit initiatief werd gefinancierd door het Bartiméus Fonds en Programma Expertisefunctie Zintuiglijk Gehandicapten van ZonMW. Binnen de samenwerking is een evaluatie-raamwerk met toolkit ontwikkeld om de impact van e-health en andere innovatieprojecten te meten. Dit raamwerk kan bruikbaar zijn voor diverse zorgorganisaties die zich bezighouden met e-health. Bij de inzet van e-health is het tenslotte van belang gedegen te evalueren: doe je de juiste dingen, op de juiste manier?.

Op basis van deskresearch en ervaring uit de praktijk werd het theoretisch kader ten aanzien van het raamwerk verder vormgeven. Bij grootschalige implementatie van e-health toepassingen blijkt dat het betrekken van niet alleen cliënten, maar van alle stakeholders, het succes van een implementatieproject kan verhogen. 

Bij een implementatieproject zijn vier stakeholder-groepen het meest relevant. Zij vertegenwoordigen het micro-, meso- en macroniveau: cliënten of patiënten, zorgmedewerkers, midden- en kleinbedrijven en de verantwoordelijke voor het zorgbeleid (zorgverzekering en beleidsmakers)¹. 

Uit bestaande, huidige raamwerken is een selectie gemaakt van hoe deze verschillende stakeholders een plek hadden in het raamwerk. Daarnaast is in deze raamwerken gekeken naar de aandacht voor toegankelijkheid en gebruiksgemak van de technologie binnen een zorgorganisatie. 

Impact raamwerk

Na onderzoek naar verschillende implementatieraamwerken kwam de NASSS (non-adoption, abandonment, scale-up, spread, sustainability)² en Technology, People, Organizations, and Macroenvironmental factors (ook wel TPOM genoemd)³, als goed toepasbaar naar voren. Het voordeel aan deze raamwerken is namelijk dat zij een lijst aan factoren aandragen, die overwogen kunnen worden en in bijna iedere vorm van het implementatieproject meegenomen worden. Ook op managementniveau kunnen zij houvast kunnen bieden. 

Een groot verschil tussen de NASSS en de TPOM is de complexiteit van het raamwerk. Beiden behandelen grotendeels dezelfde factoren, maar de NASSS maakt onderscheid in zeven factoren, terwijl de TPOM dit weet onder te brengen in vier factoren. Daarom is gekozen om verder te werken met het TPOM-model. Daarnaast moet gezegd worden dat vanwege de complexiteit van de echte wereld geen van de raamwerken een garantie op succes biedt. Er zal er altijd gekeken moeten worden naar de professionaliteit en de ervaring van de personen die het toepassen.

In het TPOM-model staan zoals aangegeven vier factoren centraal (zie ook de vier tabellen op de drie pagina's van dit artikel): Technology, People, Organisational en Macro-environment³.Per factor worden er relevante onderwerpen behandeld. In totaal komt er een breed scala aan onderwerpen (31) aan bod, die sterk van belang zijn bij het ontwerp, implementatie en gebruik van e-health. Gezamenlijk dekken deze factoren en onderwerpen veel belangrijke punten voor cliënt, professionals, interne organisatie en externe factoren.

Het doorlopen van het implementatieraamwerk hoeft niet veel tijd te kosten van een projectleider, omdat er per onderwerp enkele gerichte vragen gesteld worden. De onderwerpen zijn niet gekoppeld aan prioriteiten. Deze prioritering dient zelf aangebracht te worden en kan daarmee variëren per project of fase van het project.  

Toolkit

Bij het afnemen van de TPOM-vragen, komen er ook vragen naar voren over de impact van het project. Voor het beantwoorden van deze specifieke impactvragen is onderzocht welke onderzoeksmethodes er ingezet kunnen worden voor het meten van deze impact binnen het vakgebied van e-health. Ook hierbij is gekeken naar methodieken die flexibel ingezet kunnen worden, maar tegelijkertijd relatief kort in afname zijn. 

Met de uitkomst is een toolkit samengesteld waarbij methodieken zijn geselecteerd en aangepast, specifiek voor huidige en toekomstige e-health projecten van Bartiméus. De toolkit bevat onder meer het gebruik van standaarden en definities (FAIR 2021, FHIR NL 2013, WHO-definities 2021) en methodieken geschikt voor analyseren van het gebruik van: eHealth (SUS 1996, TAM2 2000, TUQ 2016, eHIQ 2019, analytics); welzijn (eQ-5D 2001); zorgervaring (PREM paramedische zorg 2016, iMTA).

De toolkit geeft zorgorganisaties als Bartiméus de nodige handvatten om beleid uit te kunnen zetten voor het verhogen van de impact van toekomstige e-health toepassingen of projecten.  In de afbeelding op pagina 15 is een schematisch overzicht gegeven van de tools uit de toolkit in relatie tot het TPOM-framework.

Pilot

In een pilot is bij twee lopende e-health projecten van Bartiméus zowel het TPOM-framework als de toolkit toegepast. De methodieken gaven nieuwe inzichten die de impact kunnen verhogen van de projecten. Zo bleek bij een project, dat het moeilijk was voor zorgpersoneel om de nieuwe procedure te volgen voor het nieuwe product. Door de evaluatie kwam naar voren dat het personeel terugviel op de oude procedure, maar dat niet had vermeld, waardoor de volledige potentie van het nieuwe product niet benut werd. 

Conclusie

Wij adviseren op basis van onze ervaring de volgende richtlijnen te hanteren bij afname van het TPOM-raamwerk:

• Afnemen met projectleider en direct betrokken stakeholders; liefst van alle vier de belangrijke stakeholdergroepen. 
• Inzetten  bij opzet, tussen evaluatie en eind evaluatie van een implementatieproject.
• Bepaal met de stakeholders welke onderwerpen relevant zijn en waar er actie op ondernomen moet worden. Niet alles hoeft behandeld of beantwoord te worden.
• Bepaal zo vroeg mogelijk in het proces waarop en hoe er geëvalueerd gaat worden en door wie. Selecteer daar je methodieken op.