New Perspectives on Learning Climates in Postgraduate Medical Education

Vrijdag 23 februari 2018 promoveert Milou Silkens aan de Universiteit van Amsterdam, Faculteit der Geneeskunde. Ze zal haar proefschrift getiteld ‘New Perspectives on Learning Climates in Postgraduate Medical Education’ in het openbaar verdedigen. Promotores: Prof. dr. M.J.M.H. Lombarts (Universiteit van Amsterdam) & Prof. dr. O.A. Arah (University of California, Los Angeles), Copromotores: Prof. dr. A.J.J.A. Scherpbier (Maastricht University) & Prof. dr. M.J. Heineman (Universiteit van Amsterdam).

Lees het volledige proefschrift hier. Een Nederlandse samenvatting van het proefschrift vindt u hieronder:

Dit proefschrift gaat over het opleidingsklimaat van medische vervolgopleidingen. In hoofdstuk 1 hebben we dit opleidingsklimaat gedefinieerd als: “De gedeelde percepties van artsen in opleiding tot specialist (aios) van de formele en informele aspecten van de opleiding, zoals de algehele sfeer, maar ook van beleid, werkwijzen en procedures in het opleidingsziekenhuis”. Het opleidingsklimaat van medische vervolgopleidingen is belangrijk voor de professionele ontwikkeling van aios. Zo dragen ondersteunende opleidingsklimaten bij aan het leerproces en welzijn van aios, maar ook aan de ontwikkeling van aios tot competente zorgverlener. Verder zou een ondersteunend opleidingsklimaat bij kunnen dragen aan de kwaliteit van zorg die aios leveren, temeer omdat aios gelijktijdig leren en patiëntenzorg bieden. Kwaliteitscommissies en – organisaties die de kwaliteit van medische vervolgopleidingen moeten waarborgen, leggen dan ook steeds meer nadruk op (het verbeteren van) het opleidingsklimaat. Het doel van dit proefschrift was om bij te dragen aan de realisatie van ondersteunende opleidingsklimaten voor medische vervolgopleidingen door opleidingsklimaten te meten, verklaren en hun relatie met patiëntveiligheid te onderzoeken. Met behulp van dit onderzoek wilden wij bijdragen aan de kwaliteit van medische vervolgopleidingen (en specifiek het opleidingsklimaat) en de veiligheid van zorg.
In hoofdstuk 2 tot en met 4 hebben wij de meetbaarheid van het opleidingsklimaat en opleidingsklimaatverandering onderzocht. In hoofdstuk 2 rapporteerden wij de psychometrische eigenschappen van de Dutch Residency Educational Climate Test (D-RECT). De D-RECT is een vragenlijst die gebruikt wordt om het opleidingsklimaat van medische vervolgopleidingen te evalueren. De resultaten die voortkomen uit de D-RECT kunnen als uitgangspunt gebruikt worden om het opleidingsklimaat van medische vervolgopleidingen te verbeteren. Om zeker te zijn van de actualiteit en accuraatheid van de D-RECT, is het nodig om de psychometrische eigenschappen van de vragenlijst continu te analyseren. Wij hebben daarom de originele D-RECT opnieuw onderzocht met hulp van de volgende onderzoeksvraag: “Wat is de interne validiteit, interne consistentie en de generaliseerbaarheid van de D-RECT op zowel het niveau van de aios als het niveau van afdelingen waar aios worden opgeleid?” In 2012 en 2013 verzamelden we 2306 ingevulde D-RECT vragenlijsten (ter evaluatie van 291 opleidingen). Met behulp van een exploratieve en confirmatieve factoranalyse stelden we een nieuwe structuur vast voor de D-RECT. Deze structuur bleek valide en betrouwbaar op zowel het niveau van de aios alsook het niveau van afdelingen. De nieuwe structuur bestond uit 35 vragen die gegroepeerd konden worden in 9 domeinen van het opleidingsklimaat: opleidingssfeer, werken in een team, rol formele opleider, begeleiden en toetsen, gepland onderwijs, samenwerking aios, aansluiting werk bij competenties aios, toegankelijkheid supervisoren en overdracht. Analyses naar de generaliseerbaarheid van de D-RECT toonden aan dat er minimaal drie ingevulde vragenlijsten per afdeling nodig waren voor een betrouwbare evaluatie van het opleidingsklimaat. Concreet resulteerde deze studie in een verkorte (van 50 naar 35 vragen) en vernieuwde versie van de D-RECT wat betreft de inhoud en psychometrische eigenschappen van de vragenlijst. Wij stelden dat deze herziende versie van de D-RECT geschikter is voor zowel de praktijk als onderzoek en zodoende de continue verbetering van het opleidingsklimaat van medische vervolgopleidingen zou kunnen ondersteunen.
Hoofdstuk 3 beschrijft de psychometrische eigenschappen van de herziende D-RECT vragenlijst tijdens gebruik in het Colombiaanse gezondheidszorgsysteem. De psychometrische eigenschapen van de vernieuwde D-RECT waren namelijk nog niet onderzocht buiten de Nederlandse context. Om de D-RECT te kunnen inzetten in Colombia, is de vragenlijst eerst vertaald in het Spaans volgens de aanbevelingen van het International Quality of Life Assessment project. Vervolgens zijn de psychometrische eigenschappen van de D-RECT vragenlijst geanalyseerd met de volgende onderzoeksvraag: “Wat zijn de construct en concurrente validiteit en de betrouwbaarheid van de vernieuwde D-RECT vragenlijst in het Spaans?” Met hulp van 220 ingevulde D-RECT vragenlijsten (ter evaluatie van 17 opleidingen) die we verzamelden in 2015, bevestigden we de construct validiteit en betrouwbaarheid voor de Spaanse D-RECT. Deze resultaten toonden de toepasbaarheid en de waarde van de D-RECT voor Colombiaanse opleidingsziekenhuizen aan. Verder vonden we significante correlaties tussen D-RECT scores en scores verkregen met de Postgraduate Hospital Educational Environment Measure (PHEEM). De PHEEM is een veelgebruikte vragenlijst om het opleidingsklimaat van Spaanse medische vervolgopleidingen te evalueren en is tevens het enige specialismegenerieke alternatief beschikbaar in het Spaans. De gevonden correlatie impliceerde dat beide vragenlijsten hetzelfde concept evalueren (het opleidingsklimaat) en is als zodanig veelbelovend voor de D-RECT. Gezien het feit dat de Spaanse D-RECT naar tevredenheid presteerde in de Colombiaanse context, concludeerden wij dat de vragenlijst klaar is voor verspreiding naar en verder onderzoek in andere Spaanstalige gezondheidzorgsystemen.
Na het verzamelen van psychometrisch bewijs voor de D-RECT, voerden wij in hoofdstuk 4 longitudinaal onderzoek uit naar D-RECT scores. Gegeven dat de D-RECT kwaliteitsverbetering van het opleidingsklimaat kan ondersteunen, zou inzicht in de verandering van D-RECT scores over de tijd heen aanknopingspunten kunnen bieden voor de effectiviteit van verbeteringsinitiatieven gericht op het opleidingsklimaat. Wij stelden de volgende onderzoeksvraag: “In welke mate veranderen de D-RECT scores van medische vervolgopleidingen over de tijd heen?” Om deze vraag te beantwoorden, verzamelden we 3982 ingevulde D-RECT vragenlijsten (ter evaluatie van 223 opleidingen) van 2012 tot en met 2014. Door gebruik te maken van ‘generalized linear mixed (growth) models’ vonden we een kleine, doch significante, verbetering van D-RECT scores over de tijd heen (b = 0.03; 95% CI: 0.01 tot 0.06; p <0.05). Concreet verbeterden de scores van 3.83 in 2012 naar 3.86 in 2013 en naar 3.91 in 2014. De gevonden verbetering kan mogelijk worden toegeschreven aan het functioneren van de centrale opleidingscommissies die per 2011 de wettelijke taak kregen om de kwaliteit van medische vervolgopleidingen (en daarmee het opleidingsklimaat) te monitoren en te verbeteren.
Hoofdstuk 5 tot en met 7 beschrijven verklarende factoren voor het opleidingsklimaat. In hoofdstuk 5 diepten we het functioneren van de centrale opleidingscommissies verder uit, in het bijzonder hun taak om medische vervolgopleidingen en het opleidingsklimaat te monitoren. Met het oog op het toenemende belang van centrale opleidingscommissies in Nederland en vergelijkbare commissies wereldwijd, onderzochten we de waarde van centrale opleidingscommissies voor de kwaliteit van de medische vervolgopleidingen. We stelden de volgende onderzoeksvraag: “Wat zijn de mechanismen die centrale opleidingscommissies aanwenden in hun streven naar continue kwaliteitsverbetering van medische vervolgopleidingen?” Het daaropvolgende kwalitatieve onderzoek kende een constructivistische ‘grounded theory’ benadering waarmee in 2015 en 2016 focus groepen werden uitgevoerd onder 7 centrale opleidingscommissies. Door middel van deze focus groepen werd duidelijk dat centrale opleidingscommissies op de eerste plaats bezig waren met het verkrijgen van een strategische positie in hun opleidingsziekenhuis. Verder maakten zij zich hard om opleiden hoog op de strategische agenda van ziekenhuizen geplaats te krijgen. Zodra de commissies enige mate van autonomie en (financiële) onafhankelijkheid hadden verworven, werkten zij aan continue kwaliteitsverbetering van de medische vervolgopleidingen door (1) het creëren van een organisatiebrede kwaliteitscultuur, (2) een organisatiebrede kwaliteitsstructuur, en (3) door samenwerking aan te gaan met externe stakeholders. Al deze mechanismen bleken van elkaar afhankelijk te zijn en voortdurend plaats te vinden. Centrale opleidingscommissies gaven aan dat zij in steeds grotere mate de mogelijkheid hadden om bij te dragen aan de kwaliteit van de medische vervolgopleidingen. Daarom concludeerden wij dat centrale opleidingscommissies een veelbelovende rol zouden kunnen spelen in kwaliteitsverbetering van medische vervolgopleidingen en hun opleidingsklimaat.
In hoofdstuk 6 exploreerden we de waarde van centrale opleidingscommissies voor het opleidingsklimaat van medische vervolgopleidingen ter beantwoording van de volgende onderzoeksvraag: “In welke mate is het functioneren van centrale opleidingscommissies geassocieerd met het opleidingsklimaat zoals waargenomen door aios?” In 2010 werden 57 voorzitters van centrale opleidingscommissies uitgenodigd om een vragenlijst in te vullen over de mate waarin zij kwaliteitsbeleid en –verbeteringen geïmplementeerd hadden. Hieruit werden de 21 commissies geselecteerd die toezicht hielden op opleidingen die in 2012 het opleidingsklimaat evalueerden met behulp van de D-RECT. In totaal verzamelden we 812 ingevulde D-RECT vragenlijsten (ter evaluatie van 99 opleidingen). Analyse met behulp van ‘linear mixed models’ toonde geen significante associaties tussen het functioneren van de commissies en het opleidingsklimaat van medische vervolgopleidingen. Wel ontdekten we dat het kwaliteitsbeleid zoals geïmplementeerd door de commissies nog erg prematuur was (variërend van een 1.6 tot een 2.6 op een 5 punt Likertschaal). Dit is mogelijk een plausibele verklaring voor de afwezige associaties. Vandaar dat wij het belang van een goed ontwikkeld kwaliteitsbeleid (bijvoorbeeld het hebben van volledige plan-do-check-act cycli) en de betrokkenheid van (afdelings)leiderschap bij verbeterinitiatieven, onderstreepten.
We vervolgden onze zoektocht naar verklarende factoren voor het opleidingsklimaat in hoofdstuk 7. Op de eerste plaats wilden we graag weten of opleidingen gegroepeerd konden worden op basis van verschillen in hun scores op de 9 D-RECT domeinen. Indien dit het geval zou zijn, dan zou dit kunnen betekenen dat voor iedere opleidingsklimaatgroep een andere aanpak nuttig zou kunnen zijn om te komen tot verbetering van het opleidingsklimaat. Op de tweede plaats waren we geïnteresseerd in de vraag of de verschillen tussen D-RECT scores van medische vervolgopleidingen verklaard konden worden door contextuele factoren op ziekenhuis- en afdelingsniveau. Zodoende beantwoordden wij de volgende onderzoeksvraag: “In welke profielen kunnen medische vervolgopleidingen op basis van hun opleidingsklimaat geclassificeerd worden en in welke mate verklaren ziekenhuis- en afdelingsfactoren de opleidingsklimaatprestatie van vervolgopleidingen?” Hiertoe verzamelden we 1730 ingevulde D-RECT vragenlijsten (ter evaluatie van 211 opleidingen) in 2014 en 2015. Met behulp van latente profiel analyse classificeerden we opleidingen in 4 groepen: ondermaatse presteerders, adequate presteerders, goede presteerders en excellente presteerders. Verder toonde de toepassing van ‘multilevel models’ aan dat het opleidingsklimaat van medische vervolgopleidingen een positievere beoordeling kreeg van aios indien opleidingen werden aangeboden in een Samenwerkend Topklinisch opleidingsZiekenhuis (STZ) in plaats van een academisch ziekenhuis (b = 0.21; 95% CI: 0.09 tot 0.34; p <0.01). Ook bleken opleidingsklimaten beter beoordeeld indien afdelingen opleiders hadden met betere opleiderskwaliteiten (b = 0.70; 95% CI: 0.51 tot 0.90; p <0.01) en opleiders hadden die minder tijd spendeerden aan onderwijstaken (b = -0.01; 95% CI: -0.02 tot -0.00; p <0.05). We concludeerden dat opleidingen zouden moeten investeren in gerichte verbeteringsactiviteiten voor het opleidingsklimaat.
In hoofdstuk 8 hebben wij ons verdiept in de relatie tussen het opleidingsklimaat en patiëntveiligheid. In de wetenschappelijke literatuur wordt beschreven dat er in de medische vervolgopleiding niet altijd aandacht is voor patiëntveiligheid. Daarom onderzochten wij of een ondersteunend opleidingsklimaat zou kunnen bijdragen aan het patiëntveiligheidsgedrag van aios met behulp van de volgende onderzoeksvraag: “In welke mate kan het patiëntveiligheidsgedrag van aios worden verklaard door het opleidingsklimaat en het patiëntveiligheidsklimaat van medische vervolgopleidingen?” Om deze vraag te beantwoorden, zetten wij in 2015 en 2016 de D-RECT en een aanvullende vragenlijst over het patiëntveiligheidsklimaat en patiëntveiligheidsgedrag van Nederlandse aios uit. In totaal vulden 1006 aios (afkomstig uit 143 opleidingen) beide vragenlijsten in. Met ‘generalized linear mixed models’ en ‘multivariate general linear models’ konden we aantonen dat een ondersteunend opleidingsklimaat positief geassocieerd was met een ondersteunend patiëntveiligheidsklimaat (b = 0.73; 95% CI = 0.69 tot 0.77; P <0.01), maar niet met het patiëntveiligheidsgedrag van aios. Een ondersteunend patiëntveiligheidsklimaat was positief geassocieerd met het patiëntveiligheidsgedrag van aios (b = 0.33; 95% CI = 0.14 tot 0.52; p <0.01). We vonden geen significante interacties. Onze conclusie luidde dat medische vervolgopleidingen op de eerste plaats zouden moeten werken aan een ondersteunend patiëntveiligheidsklimaat om het patiëntveiligheidsgedrag van aios te faciliteren. Voor het realiseren van een ondersteunend patiëntveiligheidsklimaat kan het helpen om te investeren in een ondersteunend opleidingsklimaat.
In hoofdstuk 9 reflecteren we op de verkregen resultaten in dit proefschrift om zo te komen tot nieuwe perspectieven op het opleidingsklimaat van medische vervolgopleidingen. Wat betreft de meetbaarheid van het opleidingsklimaat stelden we dat het opleidingsklimaat onderzocht zou moeten worden op het afdelingsniveau, omdat het klimaat beschouwd kan worden als een afdelingskenmerk. Voor dit doel bleek de D-RECT een valide en betrouwbaar instrument. Ook bleken de 9 domeinen gebruikt in de D-RECT te generaliseren naar een gezondheidszorgsysteem buiten Nederland: Spaans sprekend Colombia. We bevolen het longitudinaal gebruik van D-RECT evaluaties aan voor het continue verbeteren van het opleidingsklimaat. Bij het onderzoeken van opleidingsklimaatverbetering zou dan niet alleen rekening gehouden moeten worden met absolute scores, maar ook met de homogeniteit van het opleidingsklimaat (de mate van variabiliteit tussen percepties van aios binnen een afdeling). Wat betreft verklarende factoren voor het opleidingsklimaat bediscussieerden we dat centrale opleidingscommissies een sterke strategische positie in het opleidingsziekenhuis en een goed ontwikkeld kwaliteitsbeleid nodig hebben om de kwaliteit van medische vervolgopleidingen te kunnen sturen. Het bleek cruciaal om het thema opleiden prominenter op de agenda van ziekenhuizen te plaatsen. Voor het verklaren van het opleidingsklimaat op afdelingsniveau gold dat de opleiderskwaliteiten van opleiders een grote rol speelden. Vandaar dat wij medische vervolgopleidingen adviseerden te investeren in de professionele ontwikkeling van opleiders. Wat betreft de relatie tussen het opleidingsklimaat en patiëntveiligheid concludeerden wij dat het onderzoeken van specifieke klimaten (zoals het patiëntveiligheidsklimaat) naast het construct ‘opleidingsklimaat’ kan bijdragen aan kennis over de mogelijke gevolgen van opleidingsklimaten. Wij stelden dan ook vast dat een ondersteunend opleidingsklimaat bij zou kunnen dragen aan het gewenste patiëntveiligheidsklimaat. Ook waren wij van mening dat een ondersteunend opleidingsklimaat verbeterinitiatieven voor het patiëntveiligheidsklimaat zou kunnen ondersteunen en zo indirect kan bijdragen aan patiëntveiligheidsgedrag van aios. Deze nieuwe perspectieven leidden tot verscheidene implicaties voor de praktijk en onderzoek waaruit bleek dat het opleidingsklimaat van medische vervolgopleidingen verdere uitdieping verdient om de professionele ontwikkeling van aios te garanderen, maar vooral ook om bij te kunnen dragen aan de veiligheid van de patiëntenzorg.