Vergelijking van opvolgingspercentages bij twee communicatiemethoden en invloed van adviesfunctionaris bij de presentatie van adviezen uit een klinisch beslissingsondersteunend systeem op een afdeling geriatrie
- Rubriek: Oorspronkelijk artikel
- Identificatie: 2016;1:a1604
Kernpunten
- Er is geen significant verschil gevonden tussen de opvolgingspercentages van de adviezen bij de communicatiemethoden ‘telefonisch consult’ door ziekenhuisapothekers (29%) en ‘live consult’ door een onderzoekstudent (31%).
- Verschillen in professionele achtergrond van beoordelaars leiden tot verschillende beoordelingen en classificaties van adviezen die zijn gegenereerd door een klinisch beslissingsondersteunend systeem.
Abstract
OBJECTIVE
To determine whether two active alert communication methods – telephone intervention or live intervention – and communication by differently qualified persons, lead to differences in alert compliance on a geriatric ward.
DESIGN
Prospective intervention study.
METHODS
All patients admitted to the geriatric department of a Dutch hospital were included. The clinical decision support system (CDSS), Gaston, generated alerts using eighteen clinical rules. Relevant alerts were communicated with prescribers using two communication methods: telephone intervention, where the alerts were communicated by the hospital pharmacist by telephone, and live intervention, where the alerts were communicated by a medical research student on the ward. If the correct action occurred after alert communication, this was scored as alert compliance. A review session was used to evaluate the correctness of the alert classification during the study.
RESULTS
The CDSS generated 148 unique alerts during both study periods. Alert compliance was 29% (n = 17/58) for telephone intervention and 31% (n = 27/90) for live intervention. Expressed as percentage of relevant alerts, telephone intervention (61%, n = 14/28) resulted in better alert compliance than live intervention (44%, n = 27/62, P = 0.131). The review session showed that of 20 reviewed alerts 8 (40%) were classified differently compared with the initial alert classification for both alert methods.
CONCLUSION
This study showed no preference for either telephone intervention or live intervention as the better alert communication method. The results demonstrate that profession and knowledge of the person who judged the alerts affects the quality of alert classification.
Inleiding
Geneesmiddelgerelateerde schade (adverse drug events, ADE’s) komt veelvuldig voor bij ouderen. Een groot deel van de ADE’s (60%) wordt veroorzaakt door medicatiefouten en is potentieel vermijdbaar [1, 2]. Het aantal medicatiefouten kan mogelijk worden gereduceerd door de invoering van een elektronisch voorschrijfsysteem (EVS) in combinatie met een klinisch beslissingsondersteunend systeem (clinical decision support system, CDSS) [3-6].
Een CDSS is in staat patiëntspecifieke gegevens te integreren met medicatiegegevens en deze informatie als advies te presenteren aan de zorgverlener indien een afwijking geconstateerd wordt van de overeengekomen criteria zoals die zijn vastgelegd in klinische beslisregels [7]. Een CDSS wordt ingezet als onderdeel van geavanceerde medicatiebewaking, waaronder bewaking van doseringen bij nierfunctie, monitoring van elektrolyten bij geneesmiddelengebruik en een juiste en tijdige aanvraag van een monster om de bloedspiegel te controleren van een geneesmiddel met een klein therapeutisch venster.
Eerder onderzoek laat zien dat een actieve manier van adviescommunicatie effectiever is dan een passieve benadering [8]. Actieve communicatiemethoden die hierbij zijn onderzocht, zijn onder andere het ‘telefonisch consult’ en de ‘pop-up’-methode (door middel van een ‘pop-up’ op de computer). Als nadeel van deze laatste methode werd genoemd dat een te groot aanbod aan adviezen kan leiden tot adviesmoeheid, waardoor adviezen genegeerd worden [9-11]. In een studie van Scheepers e.a. werd een derde actieve methode geïntroduceerd op vier ziekenhuisafdelingen: ‘live consult’, waarbij de adviezen door de ziekenhuisapothekers met de arts op de afdeling werden besproken [12]. De invloed van een andere adviesfunctionaris dan de ziekenhuisapotheker is niet eerder onderzocht. In de praktijk komt het echter wel voor dat de adviesbeoordeling niet wordt uitgevoerd door een ziekenhuisapotheker, maar door een ziekenhuisapotheker in opleiding of een projectapotheker. In deze studie is de adviesfunctionaris een getrainde onderzoekstudent op de afdeling geriatrie, een afdeling waar nog niet eerder onderzoek is gedaan naar het opvolgingspercentage van CDSS-adviezen die worden verstrekt via verschillende communicatiemethoden.
Het doel van de studie is te vergelijken in welke mate artsen op de afdeling klinische geriatrie de adviezen opvolgen die door een CDSS zijn gegenereerd, wanneer die adviezen worden gecommuniceerd via ‘telefonisch consult’ dan wel ‘live consult’ en door verschillende adviesfunctionarissen (ziekenhuisapothekers versus een onderzoekstudent).
Methoden
Setting, systeem en klinische beslisregels
Het Catharina Ziekenhuis in Eindhoven (CZE) is een topklinisch opleidingsziekenhuis met ongeveer 700 bedden, waarvan 24 bedden op de afdeling klinische geriatrie. Er wordt gebruikgemaakt van het elektronisch patiëntendossier (EPD) CS-EZIS 5.2 (Chipsoft, Amsterdam) met geïntegreerd EVS. Het EVS is voorzien van standaardmedicatiebewaking zoals geneesmiddelinteracties, dubbelmedicatie en doseringscontrole, gebaseerd op de G-Standaard (Z-Index, Den Haag). Aanvullend op de basismedicatiebewaking wordt gebruikgemaakt van het CDSS Gaston (Medecs, Eindhoven), dat gekoppeld is aan het EPD. Het systeem is elders uitgebreid beschreven [13].
Gedurende deze studie werden 17 ziekenhuisbreed toegepaste klinische beslisregels gebruikt (tabel 1), aangevuld met de klinische beslisregel STOPP-Beers, die speciaal is ontwikkeld voor geriatrische patiënten met multimorbiditeit en polyfarmacie, gebaseerd op de Beers-criteria en de STOPP-criteria van de START- en STOPP-criteria [14-17]. De klinische beslisregels zijn in overleg met een expertteam ontwikkeld volgens een gevalideerde methode en gebaseerd op richtlijnen [18].
Het onderzoek werd beoordeeld door de Medisch-Ethische Toetsingscommissie van het CZE en werd aangemerkt als niet-WMO-plichtig onderzoek.
Studieopzet en gegevensverzameling
Een prospectieve pre/post-interventiestudie is uitgevoerd in de periode van 17 december 2013 tot 14 juli 2014 op de afdeling klinische geriatrie van het CZE. Alle patiënten die in deze periode werden opgenomen zijn geïncludeerd.
De gegenereerde adviezen werden in de controleperiode (17 december 2013 tot 31 maart 2014) door de dienstdoende ziekenhuisapotheker beoordeeld en, indien relevant bevonden, telefonisch overlegd met de zaalarts. De onderzoekstudent (laatstejaarsstudent geneeskunde met bachelor farmacie, KBA) werd voorafgaand aan de interventieperiode getraind in het beoordelen en afhandelen van de adviezen van de klinische beslisregels door een ziekenhuisapotheker in opleiding (die betrokken is bij het opstellen en programmeren van de klinische beslisregels). In de interventieperiode (1 april 2014 tot 14 juli 2014) werden de adviezen beoordeeld door de onderzoekstudent en, indien relevant bevonden, door haar op de afdeling ‘live’ besproken met de zaalarts, zo mogelijk tijdens visites of patiëntbesprekingen. Adviezen konden worden geclassificeerd als incorrect, irrelevant of relevant. De werkwijze staat weergegeven in figuur 1.
Na afloop van het onderzoek werd een reviewsessie uitgevoerd met een expertteam (twee ziekenhuisapothekers en twee geriaters). Het doel was het analyseren van de correctheid van de classificatie van de adviezen. Het expertteam beoordeelde, geblindeerd voor de eerste beoordeling, 20 adviezen opnieuw; de adviezen werden weergegeven op papier, waarbij verdere patiëntgegevens werden opgezocht in het EPD. De adviezen werden op basis van consensus geclassificeerd, waarna de resultaten werden geanalyseerd met behulp van een framework voor het beoordelen van de geschiktheid van de adviezen en de reactie op het advies, afgeleid van de methode die is beschreven door McCoy e.a. (figuur 2) [19].
Gegevensanalyse en statistiek
De primaire uitkomstmaat van de studie was de mate van opvolging van de adviezen door de zaalarts. De secundaire uitkomstmaat was de invloed van de adviesfunctionaris op de relevantiebeoordeling van het advies. Dit werd bepaald door de initiële beoordeling van de adviezen door de adviesfunctionaris (relevant of irrelevant) te analyseren en onderling te vergelijken. De opvolging van alle adviezen werd handmatig in het EPD nagegaan tot aan het ontslag van de patiënt. Alleen unieke adviezen werden meegenomen in de analyse: herhalingen van eenzelfde advies werden gezien als één advies. Statistische verschillen werden bepaald volgens de tweezijdige chikwadraattoets waarbij significantie werd gedefinieerd als P < 0,05.
Resultaten
Gedurende de studieperiode werden 265 patiënten opgenomen op de afdeling geriatrie. Het CDSS genereerde bij 104 patiënten (39%) een of meer adviezen. In totaal werden 345 adviezen gegenereerd, waarvan 148 werden geclassificeerd als uniek advies (tabellen 1 en 2). Het aantal unieke adviezen tijdens de interventieperiode (n = 90) was significant hoger dan het aantal adviezen gedurende de controleperiode (n = 58, P = 0,012). Het percentage unieke adviezen dat werd beoordeeld als relevant (en dus werd doorgegeven aan de zaalarts) was tevens significant hoger gedurende de interventieperiode (69%) dan in de controleperiode (48%, P = 0,012).
Opvolging adviezen
Het opvolgingspercentage van de adviezen – wanneer de opvolging wordt weergegeven als het aantal opvolgingen van het totale aantal adviezen – was 29% (n = 17/58) voor ‘telefonisch consult’ door de ziekenhuisapothekers en 31% (n = 27/90) voor ‘live consult’ door de onderzoekstudent. Wanneer de opvolging wordt weergegeven als het percentage relevante (aan de zaalarts gemelde) adviezen dat is opgevolgd, laat ‘telefonisch consult’ (61%, n = 14/28) een hoger opvolgingspercentage zien dan de afdelingsconsultatie (44%, n = 27/62, P = 0,131). Dit verschil is echter statistisch niet significant (tabel 2).
Reviewsessie
In totaal werden 14 van de 20 adviezen (70%) door het expertteam als relevant beoordeeld. De resultaten laten zien dat in beide groepen 4 van de 10 adviezen (40%) anders beoordeeld werden dan de initiële beoordeling en dus als een inadequate respons werden gekwalificeerd. Het expertteam beoordeelde 4 van de 5 adviezen (80%) die door de ziekenhuisapothekers als irrelevant beoordeeld werden, ook als relevant, wat een hogere score opleverde voor ‘onterecht genegeerd advies’. Het werk van de onderzoekstudent liet meer variatie zien; 4 adviezen werden anders beoordeeld, 2 als ‘onterecht genegeerd advies’ en de andere 2 als ‘onterecht opgevolgd advies’. Bij 12 van de in totaal 20 adviezen (60%) was de respons van de beoordelaar adequaat (figuur 3).
Beschouwing
Deze studie vergelijkt de opvolging van twee actieve communicatiemethoden van de door een CDSS gegenereerde adviezen: ‘telefonisch consult’ door een ziekenhuisapotheker en ‘live consult’ door een onderzoekstudent op de afdeling geriatrie. Tevens werd de invloed van de adviesfunctionaris op de relevantiebeoordeling geanalyseerd. Er werd geen significant verschil in opvolging gevonden wanneer de opvolging werd weergegeven als percentage van alle unieke adviezen: beide groepen laten een adviesopvolging zien van circa 30%. De studie van Scheepers-Hoeks e.a. liet een opvolging van 33% zien bij de toepassing van de methode ‘telefonisch consult’, wat overeenkomt met de resultaten van deze studie [20]. De onderzoekstudent beoordeelde meer adviezen als relevant dan de ziekenhuisapothekers. Wanneer de adviesopvolging dan ook wordt gemeten als het percentage van relevante adviezen (adviezen besproken met de zaalarts), ligt het opvolgingspercentage op 44% bij ‘live consult’ en op 61% bij ‘telefonisch consult’ [12].
Het relatief kleine aantal unieke adviezen is een beperking van de statistische waarde van deze studie. Gedurende de interventieperiode werd zowel een groter aantal unieke adviezen als een groter aantal patiënten met een of meer adviezen gevonden. Er werden meer adviezen gegenereerd door de klinische beslisregels INR, opiaat-laxans, lithium en STOPP-Beers. Er kon geen verklaring gevonden worden voor het grotere aantal unieke adviezen in de interventieperiode.
Dat de ziekenhuisapothekers een veel lager percentage adviezen als relevant beoordeelden in vergelijking met de reviewsessie en de onderzoekstudent, kan mogelijk worden verklaard door de grotere tijdsdruk voor de ziekenhuisapothekers, die grote hoeveelheden adviezen per dag moeten beoordelen, terwijl de onderzoekstudent maar enkele adviezen per dag hoefde te verwerken. Een andere mogelijke reden voor deze verschillen in kwalificatie is het verschil in kennis en ervaring tussen de ziekenhuisapothekers en de onderzoekstudent.
De opzet van de reviewsessie had ook enkele beperkingen. Slechts 20 adviezen werden herbeoordeeld, wat relatief weinig is en waarbij de adviezen tevens werden geselecteerd door de onderzoekstudent. Dit laatste zou selectiebias geïntroduceerd kunnen hebben, omdat uiteindelijk veel adviezen geselecteerd werden waarover twijfel bestond. Om het verschil tussen de twee groepen beter te kunnen duiden, zouden meer adviezen opnieuw beoordeeld kunnen worden. Gedurende de reviewsessie was er niet altijd volledige consensus. Veel variabelen en meningen speelden een rol gedurende de beoordeling. Voorbeelden hiervan zijn de achtergrond van de beoordelaar, de kennis en het besef van de consequenties, de informatie die werd gevonden in het EPD en de tijd die beschikbaar was voor de beoordeling. Dit suggereert dat verschillende interpretaties van een advies met de bijbehorende informatie kunnen leiden tot een verschil in classificatie.
In deze studie is niet alleen het effect van de communicatiemethode gemeten, maar ook de invloed van de functionaris die de adviezen verwerkt, doordat er adviesfunctionarissen met verschillende achtergronden zijn vergeleken in de twee communicatiemethoden. Deze twee variabelen zijn niet onafhankelijk van elkaar gemeten, waardoor het niet mogelijk is vast te stellen wat de beste adviescommunicatiemethode is. In toekomstig onderzoek zou daarom verder onderzocht kunnen worden wat de relatie is tussen de achtergrond van de beoordelaar en de beoordeling van adviezen.
Implicaties voor de kliniek en verder onderzoek
Deze studie laat zien dat meer onderzoek is vereist voor het bepalen van de beste communicatiemethode bij CDSS-adviezen. Het onderzoek impliceert ook dat professie, kennis, ervaring, tijdsdruk en mogelijk nog andere factoren invloed hebben op de beoordeling van een advies dat wordt gegenereerd door een CDSS. Ook dit zal onderwerp moeten zijn van verder onderzoek.
De beoordeling van de adviezen is van groot belang voor de verdere verwerking van de adviezen. Indien een advies als irrelevant wordt beoordeeld, betekent dit dat er niet direct iets mee gedaan wordt. In de praktijk is het van belang dat adviezen die wel relevant zijn, ook zo worden gecategoriseerd, omdat dit klinische consequenties heeft. In de dagelijkse praktijk worden adviezen niet alleen door ziekenhuisapothekers beoordeeld, maar ook door ziekenhuisapothekers in opleiding en projectapothekers. Aangezien er tussen deze twee groepen ook een verschil in kennis en ervaring is, impliceert dit ook een verschil in adviesbeoordeling. Dit is niet eerder onderzocht en is daarmee een interessante vraag voor verder onderzoek. Omdat er binnen het expertteam niet altijd consensus bestond en vele factoren invloed hebben op de beoordeling van een advies, zal er mogelijk ook sprake zijn van interindividuele verschillen binnen een groep (ziekenhuis)apothekers, ondanks de relatief gelijke achtergrond en opleiding. Deze verschillen kunnen van invloed zijn op de kwaliteit van de adviesbeoordeling en daarmee ook op de kwaliteit van de medicatiebewaking.
Conclusie
In deze studie is geen voorkeur gevonden voor ‘telefonisch consult’ of ‘live consult’ als communicatiemethode voor CDSS-adviezen. Verder laat de studie zien dat de professie, achtergrond en kennis van de adviesfunctionaris invloed hebben op de adviesclassificatie.
Verantwoording
Geen belangenverstrengeling gemeld.
Literatuur
1 Thomas EJ, Brennan TA. Incidence and types of preventable adverse events in elderly patients: population based review of medical records. BMJ. 2000 mrt 18;320(7237):741-4.
2 van Doormaal JE, van den Bemt PM, Mol PG, et al. Medication errors: the impact of prescribing and transcribing errors on preventable harm in hospitalised patients. Qual Saf Health Care. 2009 feb;18(1):22-7.
3 Ammenwerth E, Schnell-Inderst P, Machan C, Siebert U. The effect of electronic prescribing on medication errors and adverse drug events: a systematic review. J Am Med Inform Assoc. 2008 sep-okt;15(5):585-600.
4 Kaushal R, Shojania KG, Bates DW. Effects of computerized physician order entry and clinical decision support systems on medication safety: a systematic review. Arch Intern Med. 2003 jun 23;163(12):1409-16.
5 Nebeker JR, Hoffman JM, Weir CR, Bennett CL, Hurdle JF. High rates of adverse drug events in a highly computerized hospital. Arch Intern Med. 2005 mei 23;165(10):1111-6.
6 Eslami S, de Keizer NF, Abu-Hanna A. The impact of computerized physician medication order entry in hospitalized patients–a systematic review. Int J Med Inform. 2008 jun;77(6):365-76.
7 Kuperman GJ, Bobb A, Payne TH, et al. Medication-related clinical decision support in computerized provider order entry systems: a review. J Am Med Inform Assoc. 2007 jan-feb;14(1):29-40.
8 Garg AX, Adhikari NK, McDonald H, et al. Effects of computerized clinical decision support systems on practitioner performance and patient outcomes: a systematic review. JAMA. 2005 mrt 9;293(10):1223-38.
9 van der Sijs H, Aarts J, Vulto A, Berg M. Overriding of drug safety alerts in computerized physician order entry. J Am Med Inform Assoc. 2006 mrt-apr;13(2):138-47.
10 Glassman PA, Simon B, Belperio P, Lanto A. Improving recognition of drug interactions: benefits and barriers to using automated drug alerts. Med Care. 2002 dec;40(12):1161-71.
11 Peterson JF, Bates DW. Preventable medication errors: identifying and eliminating serious drug interactions. J Am Pharm Assoc (Wash). 2001 mrt-apr;41(2):159-60.
12 Scheepers-Hoeks AMJW. Alert methods as success factors: influencing effectiveness of a clinical decision support system in clinical practice [dissertatie]. Eindhoven: Technische Universiteit Eindhoven; 2014 okt 28. p. 143-159.
13 de Clercq P, Hasman A. Experiences with the development, implementation and evaluation of automated decision support systems. Stud Health Technol Inform. 2004;107(Pt 2):1033-7.
14 Beers MH. Explicit criteria for determining potentially inappropriate medication use by the elderly. An update. Arch Intern Med. 1997 jul 28;157(14):1531-6.
15 Beers MH, Ouslander JG, Rollingher I, Reuben DB, Brooks J, Beck JC. Explicit criteria for determining inappropriate medication use in nursing home residents. UCLA Division of Geriatric Medicine. Arch Intern Med. 1991 sep;151(9):1825-32.
16 Gallagher P, Ryan C, Byrne S, Kennedy J, O’Mahony D. STOPP (Screening Tool of Older Person’s Prescriptions) and START (Screening Tool to Alert doctors to Right Treatment). Consensus validation. Int J Clin Pharmacol Ther. 2008 feb;46(2):72-83.
17 Scheepers-Hoeks AMJW, Grouls RJE, Neef C, ten Broeke R, Ackerman EW, Korsten HHM. Afhandeling van meldingen uit medisch-farmaceutische beslisregels bij toepassing van drie actieve meldingsmethoden in de klinische praktijk. PW Wetenschappelijk Platform. 2014 nov 21;8(11):190-202.
18 Scheepers-Hoeks AMJ, Grouls RJ, Neef C, Ackerman EW, Korsten EH. Strategy for development and pre-implementation validation of effective clinical decision support. Eur J Hosp Pharm. 2013;20(3):155-60.
19 McCoy AB, Waitman LR, Lewis JB, et al. A framework for evaluating the appropriateness of clinical decision support alerts and responses. J Am Med Inform Assoc. 2012 mei-jun;19(3):346-52.
20 Scheepers-Hoeks AM, Grouls RJ, Neef C, Ackerman EW, Korsten EH. Physicians’ responses to clinical decision support on an intensive care unit–comparison of four different alerting methods. Artif Intell Med. 2013 sep;59(1):33-8.
Referentie
Citeer als: Barmentlo-Andringa KM, Wasylewicz ATM, Schols JMGA, Grouls RJE, van der Linden CMJ. Vergelijking van opvolgingspercentages bij twee communicatiemethoden en invloed van adviesfunctionaris bij de presentatie van adviezen uit een klinisch beslissingsondersteunend systeem op een afdeling geriatrie. Nederland Platform voor Farmaceutisch Onderzoek. 2016;1:a1604.
Reactie toevoegen