Unpacking Quality in Residency Training and Health Care Delivery

Op woensdag 4 april 2018 heeft promovenda Alina Smirnova haar proefschrift “Unpacking Quality in Residency Training and Health Care Delivery” cum laude verdedigd. Alina is gepromoveerd op het onderwerp de relatie tussen kwaliteit van medische vervolgopleidingen en kwaliteit van zorg aan de School for Health Professions Education (Universiteit Maastricht). Haar promotieonderzoek deed ze echter samen met de Professional Performance Onderzoeksgroep in het AMC.

Promotores: Prof. dr. Cees van der Vleuten (Universiteit Maastricht), Prof. dr. M.J.M.H. Lombarts (Universiteit van Amsterdam), Copromotores: Prof. dr. O.A. Arah (University of California, Los Angeles), Dr. R.E. Stalmeijer (Universiteit Maastricht).

Lees het volledige proefschrift hier. Een Nederlandse samenvatting van het proefschrift vindt u hieronder:

Hoofdstuk 1: Inleiding

Dit proefschrift is geschreven in het licht van de toenemende vraag aan medisch specialistische vervolgopleidingen om meer rekenschap af te leggen over de kwaliteit van de door hen opgeleide specialisten aan de belastingbetaler, de patiënt en de maatschappij. Aan het eind van de 20e eeuw heeft een kentering plaatsgevonden in de standaarden voor en verwachtingen van de kwaliteit van de patiëntenzorg: om tegemoet te komen aan veranderende zorgbehoeften is de aandacht verschoven van individuele, medische experts naar teams van artsen en andere zorgverleners die zorgdragen voor de patiënt. Het medisch onderwijs heeft op twee manieren gereageerd op deze ontwikkelingen: de eerste reactie was het definiëren, verfijnen en evalueren van onderwijseinddoelen voor artsen-in-opleiding-tot- specialist (AIOS), vaak uitgedrukt in competenties waarover jonge artsen dienen te beschikken aan het einde van hun opleiding. De tweede reactie was het definiëren van een kwaliteitsbeleid en het opzetten van een robuust kwaliteitssysteem voor medische vervolgopleidingen gericht op het continu evalueren en verbeteren van deze vervolgopleidingen. Het bewaken van de opleidingskwaliteit kan echter op gespannen voet staan met het waarborgen van de patiëntveiligheid. In combinatie met de hoge kosten van de medische vervolgopleidingen is het van groot belang ook gebruik te maken van patiënten uitkomsten in het onderzoek naar onderwijs.

Het primaire doel van het gebruik van klinische prestatie-indicatoren en patiëntenuitkomsten in medisch onderwijs was tot dusver om de kwaliteit van zorg die AIOS in de praktijk leveren te bestuderen, inclusief de factoren die daarop van invloed kunnen zijn. Binnen deze definiëring van de geleverde zorg door AIOS wordt echter geen rekening gehouden met de complexe, klinische omgeving waarin het opleiden plaatsvindt. Teneinde beter te begrijpen hoe de doelen van de medische vervolgopleiding enerzijds en de kwaliteit van geleverde zorg anderzijds beter op elkaar kunnen worden afgestemd, beoogt dit proefschrift de relatie tussen de medische vervolgopleidingen en kwaliteit van zorg te exploreren. Rekening houdend met de complexe, klinische context waarbinnen zowel opleiding als patiëntenzorg plaatsvinden, wordt de relatie tussen de medische vervolgopleiding en kwaliteit van zorg onderzocht binnen de context van klinische (opleidings)afdelingen. De overkoepelende onderzoeksvraag luidt: Hoe verhouden de kwaliteitsindicatoren voor de medische vervolgopleiding zich tot de indicatoren voor kwaliteit van de patiëntenzorg en patiëntenuitkomsten op afdelingen waar AIOS worden opgeleid? Vanuit een pragmatische benadering wordt als eerste de validiteit en betrouwbaarheid van veelgebruikte instrumenten en kwaliteitsindicatoren in zowel de vervolgopleidingen als patiëntenzorg onderzocht, om zo bij te dragen aan de optimalisatie van het gebruik van deze instrumenten in de praktijk. Ten tweede wordt nader ingezoomd op de verschillende aspecten van kwaliteit van de medische vervolgopleiding. Er wordt getracht verbanden te vinden tussen kwaliteitsaspecten van de medische vervolgopleiding enerzijds en kwaliteitsindicatoren voor patiëntenzorg en daadwerkelijke patiënten uitkomsten anderzijds. Deze verbanden worden onderzocht met behulp van gevalideerde instrumenten en patiëntgegevens uit bestaande kwaliteitsdatabases.

Hoofdstuk 2

Hoofdstuk 2 rapporteert de validiteit en betrouwbaarheid van de Dutch Residency Educational Climate Test (D-RECT) voor het meten van het opleidingsklimaat van klinische afdelingen. In Nederland speelt het ondersteunen en verbeteren van het opleidingsklimaat een belangrijke rol in continue kwaliteitsverbetering van de medische vervolgopleidingen. Hoewel de D-RECT steeds vaker wordt gebruikt om het opleidingsklimaat te evalueren, is de vragenlijst nog niet getest in zijn definitieve vorm noch op het feitelijke niveau van gebruik – de afdeling. Het doel van deze studie was dan ook om de validiteit en betrouwbaarheid van de D-RECT te onderzoeken op zowel het individuele als het afdelingsniveau. In 2012 en 2013 vulden Nederlandse A(N)IOS en fellows in totaal 2306 D-RECT vragenlijsten in om het opleidingsklimaat van 291 afdelingen in 48 ziekenhuizen te evalueren. Een exploratieve factoranalyse resulteerde in de clustering van 35 vragen in 9 factoren: opleidingssfeer, werken in een team, rol formele opleider, begeleiden en toetsen, gepland onderwijs, samenwerking peers, aansluiting werk bij AIOS, toegankelijkheid supervisoren, en overdracht. De resultaten van de confirmatieve factoranalyse duidden op een acceptabele tot goede fit van deze 9 factoren op zowel individueel als afdelingsniveau. De gevonden structuur werd verder ondersteund door de item-totaalcorrelaties (>0,30), die aantoonden dat elk item bijdraagt aan de meting van het fenomeen opleidingsklimaat. Ook de correlaties tussen de factoren (<0,70) bevestigden de gevonden structuur door aan te tonen dat de 9 factoren voor minder dan 50% overlapten. De resultaten van de generaliseerbaarheidsanalyses lieten zien dat minimaal drie respondenten nodig zijn om het algehele opleidingsklimaat betrouwbaar te beoordelen en acht respondenten om alle afzonderlijke subschalen betrouwbaar te beoordelen. Deze resultaten zijn een verbetering ten opzichte van de prestaties van de vorige versie van de D-RECT. De geïdentificeerde subschalen vinden een theoretische inbedding in de beschreven taxonomie van Ostroff, die schrijft dat de percepties van organisatieklimaten uit drie overkoepelende facetten bestaan: affectief, cognitief en instrumenteel.

Hoofdstuk 3

Hoofdstuk 3 rapporteert de bevindingen van een cross-sectioneel observationeel onderzoek naar de associatie tussen het opleidingsklimaat en ongunstige perinatale en maternale uitkomsten op niet-academische afdelingen verloskunde en gynaecologie in Nederland. In 2013 evalueerden 103 A(N)IOS en fellows van 16 afdelingen verloskunde en gynaecologie, hun opleidingsklimaat met behulp van de D-RECT. Met toestemming van de Perinatale Registratie Nederland (PRN) werden voor dezelfde afdelingen en hetzelfde jaar  geanonimiseerde gegevens over ongunstige maternale en perinatale uitkomsten verkregen. Bevallingen die voldeden aan de criteria om plaats te mogen vinden in een derdelijns instelling en geboorten met aangeboren afwijkingen werden geëxcludeerd. Perinatale complicaties werden gedefinieerd als foetale of vroege neonatale mortaliteit, een 5-minuten Apgar-score <7, of opname op een neonatale intensive care afdeling ≥24 uur. Maternale complicaties werden gedefinieerd als fluxus postpartum en/of het ondergaan van een bloedtransfusie, maternale dood, uterusruptuur, of perineale laceratie van de derde of vierde graad. De resultaten van de multilevel logistische regressieanalyse toonden dat hogere D-RECT scores gepaard gaan met een significant grotere kans op een perinatale complicatie. Dit effect bleef zelfs zichtbaar na correctie voor maternale en afdelingskenmerken. Wanneer de scores van het opleidingsklimaat verdeeld werden in drie groepen op basis van tertielen, hadden afdelingen in de middengroep een 46% grotere kans op een perinatale complicatie vergeleken met afdelingen in het laag-scorende groep; afdelingen in het hoog-scorende groep hadden zelfs een 69% groter kans op een ongunstige perinatale uitkomst. Deze toename in kans bleek voornamelijk te worden veroorzaakt door lage 5-minuten Apgar-scores (<7) in plaats van de andere ongunstige perinatale uitkomsten die zeer zeldzaam zijn. Er werd geen significant verband gevonden tussen het opleidingsklimaat van de afdeling en adverse maternale uitkomsten. Het beschermende effect van lagere D-RECT scores bleef stabiel in sensitiviteitsanalyses, waarin de D-RECT scores in kwartielen (in plaats van tertielen) werden verdeeld. Ook in subgroepanalyses waarin (i) meerlingen en doodgeboorten werden geëxcludeerd, en (ii) alleen geboorten onder leiding van de AIOS werden geïncludeerd, bleven de resultaten stabiel. Biasanalyses waarin werd gecorrigeerd voor ongecontroleerde confounding, inclusief selectiebias, toonden aan dat de relatie zou worden verzwakt als de niet-gemeten confounder-set tegelijkertijd de D-RECT score (een gewenst resultaat) en de kans op een ongunstige uitkomst (een ongewenst resultaat) zou verhogen (of verminderen).

Hoofdstuk 4

Hoofdstuk 4 focust op de kwaliteit van de zorg vanuit het perspectief van de patiënt. De studie die in dit hoofdstuk wordt beschreven, onderzoekt de psychometrische eigenschappen van de veel gebruikte Consumer Quality Index (CQI) Ziekenhuisopname vragenlijst. Het gebruik van de vragenlijst voor uiteenlopende doelen, inclusief interne kwaliteitszorg en het afleggen van rekenschap aan externe partijen, heeft ertoe geleid dat verschillende versies van de vragenlijst zijn ontwikkeld. Daarom was het doel van deze studie om de interne validiteit en betrouwbaarheid van een verkorte versie van de vragenlijst op zowel het patiënt- en het afdelingsniveau te onderzoeken, en te berekenen hoeveel patiëntenevaluaties per afdeling en per ziekenhuis nodig zijn voor een betrouwbare beoordeling. In totaal werden 22924 CQI ingevuld door volwassen patiënten (16 jaar en ouder) die tussen 1 januari 2013 en 31 december 2014 in 23 Nederlandse academische en niet-academische ziekenhuizen waren opgenomen (>24 uur). Een confirmatieve factoranalyse toonde aan dat de 9 factor structuur waarin de 35 vragen clusterden een goede fit had op individueel niveau. Individuele subschalen toonden een acceptabele betrouwbaarheid en waren in geringe mate gecorreleerd (<0,70). De confirmatieve factoranalyse op afdelingsniveau toonde echter een minder goede fit. Met name de correlaties tussen de twee subschalen ‘communicatie van artsen’ en ‘uitleg bij behandeling’ toonden aanzienlijke overlap. Voor betrouwbare evaluatie bleken in totaal 4-8 afdelingen en 50 respondenten per afdeling nodig te zijn voor de subschalen met een 4 punts antwoordschaal (communicatie met verpleegkundigen, communicatie met artsen, eigen inbreng, uitleg bij behandeling, pijnbeleid, communicatie rond medicatie, gevoel van veiligheid). Voor binaire subschalen bleken 10 afdelingen met 100-150 respondenten per afdeling nodig (inhoud opnamegesprek, informatie bij ontslag). Het aantal benodigde respondenten kan echter variëren afhankelijk van het summatieve (rekenschap afleggen naar externe partijen) of formatieve (interne kwaliteitszorg) gebruik van de vragenlijst. In vergelijking met andere vragenlijsten die in de literatuur worden gerapporteerd, heeft de verkorte CQI Ziekenhuisopname minder respondenten nodig om de ervaringen van patiënten van één afdeling te evalueren. Een vergelijkbaar aantal respondenten is nodig om alle subschalen op ziekenhuisniveau betrouwbaar te kunnen evalueren.

Hoofdstuk 5

In hoofdstuk 5 wordt meer inzicht gegeven in het verband tussen het opleidingsklimaat en de kwaliteit van de patiëntenzorg. Deze relatie is middels cross-sectionele observationele data onderzocht op 86 afdelingen in 18 academische en niet-academische ziekenhuizen voor 15 specialismen. Dit keer wordt als uitkomstmaat de totale patiëntenervaring als ook de individuele domeinen van patiëntervaringen gebruikt. Patiënten ≥16 jaar die tussen 1 januari 2013 en 31 december 2014 gedurende ≥24 uur in het ziekenhuis werden opgenomen, werden uitgenodigd de vragenlijst voor de CQI Ziekenhuisopname in te vullen. AIOS, ANIOS en fellows die in deze periode op de afdeling werkzaam waren of die onlangs hun stage op de afdeling hadden afgerond, evalueerden het opleidingsklimaat van de afdeling met behulp van de D-RECT. In totaal werden 1201 D-RECT-evaluaties en 6718 CQI-evaluaties geanalyseerd. Na controle voor respondent- en afdelingskenmerken en het doen van meerdere evaluaties, tonen de resultaten van multilevel lineaire regressieanalyses aan dat hogere  opleidingsklimaatscores samenhangen met een significant kleine toename in de gerapporteerde ervaringen van patiënten met communicatie met artsen en met een ervaren veiligheidsgevoel. Op de opleidingsklimaat-subschalen hangen hogere scores op begeleiden en toetsen en samenwerken met collega’s positief samen met de ervaring van patiënten omtrent communicatie met artsen en uitleg van artsen over de behandeling. Aan de andere kan hangen hogere scores op de opleidingsklimaat-subschaal formeel onderwijs samen met lagere pijnbestrijdingsscores. Deze verbanden blijven ongewijzigd wanneer Bartlett-factorscores worden gebruikt in plaats van eenvoudige gemiddelden voor de CQI-subschalen. De bevindingen ondersteunen de rol van teamwork, supervisie en communicatie, inherent in de patiëntgerichte subschalen begeleiden en toetsen en samenwerking peers, als belangrijk voor de kwaliteit van patiëntenzorg. Daarentegen is de subschaal gepland onderwijs meer gericht op de arts-assistent, wat voor spanning kan zorgen tussen de al beperkte middelen (zoals beschikbaarheid van docenten en AIOS, ruimte en tijd) en daarom afleiden van directe patiëntenzorg.

Hoofdstuk 6

In hoofdstuk 6 verschuift de focus van het opleidingsklimaat op een afdeling naar de opleiderskwaliteiten van supervisoren. In een retrospectieve observationele studie op de anesthesiologie afdeling in een academisch ziekenhuis in Nederland is onderzocht of goede opleiders (alle leden van een opleidersgroep) ook goede clinici zijn. De opleiderskwaliteiten van de supervisoren en hun status als rolmodel werden in 2010-2012 geëvalueerd met behulp van de uitgebreid gevalideerde System for Evaluation of Teaching Qualities (SETQ). De verbanden tussen de gemiddelde SETQ-scores, de algemene opleidingskwaliteit en de rolmodel scores van supervisoren en enkele klinische performance maten van de opleiders die werden verzameld in de periode tot 6 maanden na de SETQ-evaluatie, werden bestudeerd. De volgende klinische prestatie-indicatoren werden daarbij onderzocht: (1) intra-operatieve temperatuurmonitoring en het bereiken van normothermie, (2) post-operatieve pijnscores, (3) neuromusculaire monitoring met behulp van Train of Four (TOF) waarde voorafgaand aan extubatie van de patiënt in de operatiekamer en de daaropvolgende TOF-waarde >70 of >90, (4) profylaxe voor postoperatieve misselijkheid en braken. In totaal werden 54 individuele supervisoren beoordeeld door 51 arts-assistenten die in totaal 757 SETQ-evaluaties invulden. In 43% van de meer dan 15000 geanalyseerde patiënten trad de anesthesioloog op als supervisor van een arts-assistent. Na correctie van de SETQ-score voor patiënten-, opleiders- en respondentenkenmerken, toonden hiërarchische panelanalyses aan dat hogere SETQ- en rolmodelscores samenhangen met betere prestaties van de opleiders op neuromusculaire monitoring, inclusief neuromusculaire monitoring met behulp van TOF waarde en TOF-waarde >70 of >90, maar niet met andere uitkomstmaten. Hoewel de betrokkenheid van arts-assistenten bij perioperatieve zorg wordt geassocieerd met betere prestaties op indicatoren van normothermie en neuromusculaire monitoring, is in deze gevallen geen verband gevonden tussen de opleiderskwaliteit- en rolmodelscores van supervisoren en de perioperatieve indicatoren.

Hoofdstuk 7: Discussie

In hoofdstuk 7 wordt het onderzoek uit de voorgaande hoofdstukken samengevat, afgezet tegen bestaande literatuur en worden er aanbevelingen voor praktijk en toekomstig onderzoek gedaan. De sterke en zwakke punten van het proefschrift worden hierbij ook besproken. Deze samenvatting biedt het antwoord op de overkoepelende onderzoeksvraag “Hoe relateren de indicatoren van de kwaliteit van medische vervolgopleidingen aan indicatoren van kwaliteit van zorg en patiëntenuitkomsten op klinische afdelingen waar arts-assistenten worden opgeleid?”. Ons onderzoek suggereert dat een kwalitatief hoogwaardige opleiding en hoogwaardige zorgverlening niet altijd hand in hand gaan, zoals in eerste instantie verwacht was. Enerzijds blijkt dat afdelingen die beter scoren op (evaluaties van) het opleidingsklimaat, slechtere patiëntenuitkomsten realiseren, uitgedrukt in meer perinatale complicaties. Anderzijds toonden we aan dat klinische patiënten op afdelingen met hoger opleidingsklimaatscores zich veiliger voelen en een betere communicatie met hun artsen rapporteren. Opleiders die uitstekende opleiderskwaliteiten hebben en een rolmodel zijn voor arts-assistenten, zijn ook betere clinici; dat vertaalt zich echter niet noodzakelijkerwijs in betere klinische prestaties tijdens supervisie van arts-assistenten. De discussie van de bevindingen van dit proefschrift benadrukt wederom de noodzaak van valide en betrouwbare instrumenten, met behulp waarvan solide conclusies over de gevonden associaties kunnen worden getrokken. De gerapporteerde studies in dit proefschrift bieden aanwijzingen voor de mogelijke mechanismen achter deze associaties. Ten eerste waren de associaties, indien aanwezig, het meest evident in die klinische situaties waarin er veel voor de patiënten op het spel stond (high stakes), zoals de Apgar-score – die de mate van neonatale reanimatie weerspiegelt -, de tijdigheid en mate van pijnmanagement van klinische patiënten en de neuromusculaire functiemonitoring voorafgaand aan extubatie. Al deze maten zijn zeer tijdsgevoelig en vormen tegelijkertijd belangrijke opleidingsmomenten. Ten tweede leek de richting van de associaties van de verschillende subschalen van het opleidingsklimaat af te hangen van de gerichtheid van de schaal op de patiënt (begeleiden en toetsen en samenwerking peers) of de AIOS (gepland onderwijs). Zo bleek dat betere prestaties op patiëntgerichte subschalen geassocieerd zijn met verbeterde patiëntenervaringen en AIOS-gerichte subschalen juist met slechtere patiëntenervaringen. Een mogelijke verklaring voor de negatieve associatie kan gevonden worden in de literatuur over organisatieklimaat. Negatieve associaties kunnen een aanwijzing zijn voor een wederkerige relatie, waarbij negatieve patiëntenuitkomsten de percepties van arts-assistenten over hun opleidingsklimaat positief kunnen beïnvloeden. Bovendien kunnen negatieve associaties worden verklaard door de spanningen die (kunnen) ontstaan wanneer de beperkt beschikbare middelen, zoals tijd en capaciteit, moeten verdeeld tussen de medische vervolgopleiding en de patiëntenzorg. In dit hoofdstuk wordt beargumenteerd dat de uiteindelijke interpretatie van de bevindingen berust op een holistisch perspectief op de complexiteit van de klinische leeromgeving waarin opleiding (leren) plaatsvindt, als ook op de behoefte aan betere integratie van medische vervolgopleidingen en zorgverlening in de praktijk. Teneinde de mechanismen achter de in dit proefschrift gerapporteerde associaties beter te kunnen begrijpen, moet toekomstig onderzoek doorgaan met het verzamelen van het validiteitsbewijs voor bestaande tools, het ontwikkelen van nieuwe, betekenisvolle klinische prestatie-indicatoren en het bestuderen van klinische leeromgevingen vanuit een complexiteitsperspectief Voor deze laatste opgave bestaan verschillende conceptuele kaders die bijzonder geschikt zijn voor de medische (onderwijskundige) context: activity theory, systeemdenken en complexiteitstheorie.