La trascrizione dell’intervista e l’analisi del focus group hanno prodotto due categorie centrali (a e b) e dodici sottocategorie associate (1-12). Le dodici sottocategorie che hanno rivelato le percezioni accademiche e degli studenti dei cambiamenti educativi (1-6) e i driver dei cambiamenti (7-12) sono state combinate in un quadro per comprendere come l’NLE influenzi l’educazione anestesiologica (Figura 1). ).

Il modello di impatto spiega il processo di cambiamento sistemico nell’educazione anestesiologica come risultato diretto dell’NLE

Nota: Simboli: +, forza motrice positiva; -, forza motrice negativa; +/-, effetti di guida sia positivi che negativi

I cambiamenti nella qualità della formazione in anestesiologia come risultato diretto della NLE sono stati influenzati dall’impegno dei leader accademici a tradurre il feedback in azione attraverso una maggiore responsabilità e follow-up ai capi programma, istruttori e studenti, migliorando così la loro partecipazione e collaborazione all’interno e al di fuori delle loro istituzioni educative. I sei cambiamenti salienti saranno esplorati a fondo, seguiti da un riassunto delle sei dinamiche.

L’esame di licenza come agente di cambio

Sono emersi tre cambiamenti fondamentali relativi a studenti, docenti e curriculum, insieme a tre ricadute nella valutazione, nell’apprendimento e nella garanzia della qualità. Cinque di questi cambiamenti sono apparsi come temi comuni sia nel FG che nelle analisi della trascrizione delle interviste, mentre il sesto, in Garanzia di qualitàapparso solo nel testo dell’intervista.

L’esame come motivatore per lo studente

Quasi tutti gli intervistati hanno sottolineato i positivi cambiamenti comportamentali osservati negli studenti. Aumentare le aspettative del programma fissando obiettivi di percentuale di superamento NLE più elevati e ricordando regolarmente agli studenti la necessità di superare l’esame NLE per l’occupazione sono stati visti come driver comportamentali. Sebbene questa aspettativa sia ampiamente comunicata agli studenti dell’ultimo anno, si dice che migliori l’interazione degli studenti, il lavoro di squadra, la dedizione alla professione, il tempo dedicato alla lettura di risorse aggiuntive e la frequenza alle lezioni.

Studente 08: Con l’esame di licenza in mente, ora ci poniamo domande basate su casi ovunque, anche in aule e dormitori… Usiamo i nostri telefoni cellulari per fare riferimento a documenti di apprendimento, porre domande e discutere argomenti mentre lavoriamo in sala operatoria. Prima studiavamo solo quando eravamo al campus, ma ora studiamo anche durante le vacanze scolastiche.

I programmi hanno registrato un aumento del numero di studenti idonei che si candidano al programma. Alcuni intervistati hanno affermato che l’alto tasso di successo tra gli studenti di anestesiologia ha attratto gli studenti più preparati per il programma, anche se i partecipanti al focus group hanno affermato di avere familiarità con la NLE solo al terzo anno. I programmi hanno anche descritto un migliore sostegno agli studenti rivolto principalmente agli studenti dell’ultimo anno, quelli con i voti più bassi a scuola e quelli che frequentano corsi in cui il gruppo precedente aveva punteggi NLE inferiori.

L’esame ha migliorato il reclutamento e il rendimento dei docenti

La maggior parte dei programmi ha riportato miglioramenti nella registrazione e negli incarichi della facoltà, poiché i test sono serviti come giustificazione per l’assunzione di più personale accademico e tecnico. Gli intervistati dei programmi con le migliori prestazioni hanno riportato un aumento del coinvolgimento dei docenti in varie posizioni amministrative, con i docenti di anestesiologia che rappresentano più della metà del consiglio accademico di una singola istituzione. La maggior parte dei partecipanti al FG ha anche riportato cambiamenti positivi nel comportamento dei docenti, tra cui un maggiore impegno nel fare uno sforzo extra nella preparazione degli studenti per la NLE, la preparazione e la partecipazione a discussioni accademiche, l’interazione con gli studenti, la gestione dei reclami e l’impegno per l’apprendimento.

Laureato 02: Le nostre sessioni mattutine, seminari e altre discussioni accademiche sono ben frequentate e supportate dalla maggior parte dei nostri istruttori. Se hai commesso un errore in sala operatoria in passato, ti verrà chiesto di lasciare immediatamente la stanza… Ma ora ci sono discussioni e discussioni attive con gli insegnanti ovunque, anche nelle sale operatorie. Insulti e licenziamenti sono ormai molto rari.

I rapporti di valutazione dei docenti hanno mostrato un miglioramento complessivo delle prestazioni degli insegnanti professionisti, con la competenza professionale che mostra il miglioramento maggiore, seguita dalla valutazione e dal feedback degli studenti. Tuttavia, parecchi intervistati hanno affermato che questi cambiamenti sono limitati agli istruttori che insegnano direttamente corsi valutati dall’NLE.

L’esame ha incoraggiato il miglioramento del curriculum

La maggior parte dei partecipanti e degli intervistati di FG ha riconosciuto che i bassi punteggi delle prestazioni NLE costringono i programmi a rivedere l’obiettivo del programma, i contenuti di apprendimento e gli approcci di consegna.

Insegnante 04: L’esame di licenza ci dice su quali aree dovremmo concentrarci. L’esame è servito da modello perché l’anestesia è un campo ampio e, come si diceva, “Chi insegue dieci non può raggiungerne uno”. Ad esempio, abbiamo rafforzato l’insegnamento e la valutazione delle cure postoperatorie… e dell’unità di terapia intensiva… estendendo la durata del corso da due mesi a due semestri interi [8 months]. Anche il nuovo programma di studi nazionale integrato riflette questi cambiamenti.

Le revisioni del curriculum hanno rivelato risultati concordanti in cui le competenze, i risultati, il contenuto, la valutazione e la durata della pratica clinica sono stati modificati e standardizzati. L’assistenza critica, la gestione del dolore e l’assistenza postoperatoria sono state al centro della revisione delle aree di interesse. Alcuni programmi hanno anche riconosciuto gli sforzi per standardizzare l’implementazione del curriculum utilizzando documenti di orientamento sviluppati da un’associazione professionale locale. Curricula basati sui corsi e meno integrati sono attualmente utilizzati in tutti gli istituti tranne uno, mentre solo di recente è stato introdotto un curricolo integrato.

L’esame migliora le valutazioni a scuola

In questo studio, la sottocategoria più significativa descritta da tutti i partecipanti allo studio è stata il passaggio nella pratica di valutazione all’interno della scuola a metodi più incisivi con migliori proprietà psicometriche che indirizzano gli studenti e li ispirano a lavorare sodo. La maggior parte degli intervistati ha descritto una maggiore frequenza e varietà di test e un meccanismo consolidato per la revisione della qualità dei test. Un piccolo numero di partecipanti FG ha anche affermato che il feedback delle nuove valutazioni sul posto di lavoro all’interno della scuola li ha aiutati a dimostrare la pratica basata sull’evidenza. Alumni citati:

Laureato 05: Siamo stati assegnati a lavorare presso la mia struttura esistente in gruppi di cinque; Tutti si sono diplomati e testati nello stesso anno ma da istituzioni diverse. Abbiamo stabilito il follow-up postoperatorio nella struttura sanitaria. Inoltre, tutti gli interventi chirurgici addominali sono stati precedentemente eseguiti in anestesia generale, ma recentemente abbiamo iniziato a utilizzare l’anestesia locale. Questi miglioramenti nell’assistenza clinica derivano dall’incorporazione e dalla valutazione di queste nuove competenze nel nostro curriculum di formazione per prepararci all’esame di licenza.

Durante le visite in loco, abbiamo notato che la qualità delle prove scritte è migliorata in modo significativo poiché l’attenzione si è spostata sulla creazione di elementi basati sul contesto. Abbiamo anche notato gli strumenti di valutazione sul posto di lavoro e le liste di controllo dell’OSCE archiviate nella maggior parte delle organizzazioni.

Tuttavia, i partecipanti allo studio hanno identificato le principali sfide della valutazione, tra cui un aumento del carico di lavoro della facoltà e una tendenza prevalente della facoltà a utilizzare ogni risultato della valutazione per determinare i voti finali del corso piuttosto che lasciare le valutazioni senza valutazione e utilizzarle come opportunità per il miglioramento continuo delle prestazioni con feedback. Un’altra sfida è stata garantire che gli studenti non diventassero orientati ai test piuttosto che mirare a una conoscenza completa e all’acquisizione di abilità cliniche che comprendessero tutte le aree essenziali richieste per un’assistenza anestetica sicura, indipendentemente dal fatto che fossero valutati NLE.

L’esame stimola l’apprendimento

I programmi hanno riportato l’erogazione di vari metodi di insegnamento attivo come lezioni private, seminari con pre e post test, discussioni basate su casi, sessioni mattutine estese, riunioni su morbilità e mortalità, sessioni di breakout con pazienti e sessioni congiunte con studenti post-laurea. Tali pratiche sembrano variare tra i dipartimenti, con la maggior parte dei cambiamenti riportati negli studi degli anni superiori, dove si prevede che il contenuto dell’esame di licenza si concentri.

Capo programma 03: In passato, né gli studenti di anestesiologia né il loro dipartimento ricevevano l’attenzione che meritavano dai corsi di sanità pubblica. A causa dell’esame di licenza, ora prestano particolare attenzione all’area. Il test ci ha aiutato a implementare il corso di salute pubblica come indicato nel programma, con sufficiente attenzione alla pratica comunitaria.

Esame come sostenitore della qualità

La maggior parte degli intervistati ha riferito che il NLE ha agito come una ruota per guidare il miglioramento della qualità e le attività di garanzia istituzionale attraverso la creazione o il rafforzamento di unità, comitati e coordinatori. I programmi hanno anche segnalato l’avvio di auto-revisioni del programma, nonostante le lacune nella regolarità e completezza e gli sforzi per utilizzare i risultati della revisione per il miglioramento.

Comandante Supremo 03: Sono stati compiuti sforzi per migliorare la qualità dell’istruzione. dopo il primo [licensing] Il risultato dell’esame è stato annunciato e abbiamo riorganizzato sei comitati di garanzia della qualità con la partecipazione di diversi dipartimenti. Monitoriamo regolarmente il lavoro di ciascun comitato che aiuta ad avviare regolari attività di miglioramento della qualità nella nostra organizzazione.

Le revisioni dei documenti hanno trovato risultati coerenti poiché tutti i programmi partecipanti hanno condotto almeno due auto-revisioni utilizzando lo standard del programma nazionale di istruzione tra il 2017 e il 2021. Tuttavia, non è giustificato attribuire il numero di revisioni e modifiche delle prestazioni al solo esame di licenza. Dalle autovalutazioni, quattro delle dieci aree principali dell’istruzione hanno mostrato miglioramenti significativi rispetto al 2017, raggiungendo ciascuna oltre il 70% degli standard educativi di base: obiettivi e risultati del programma (A1), curriculum (A6), insegnamento, apprendimento e valutazione ( A7), Progressione degli studenti (A8). Sebbene siano stati compiuti alcuni progressi nelle restanti sei aree standard, le percentuali di standard fondamentali soddisfatti sono ancora molto basse e richiedono un’attenzione immediata.

Ruote del cambiamento

Tre dei sei driver dei cambiamenti educativi erano sostanziali, relativi alla partecipazione dei docenti al processo NLE, maggiore responsabilità e migliore collaborazione. Le restanti tre forze erano forze esterne legate al feedback istituzionale, all’attuazione del progetto pilota dell’OSCE, al COVID 19 e all’instabilità politica (tabella 3). Cinque di questi sei driver sono apparsi come sottocategorie comuni sia nell’FG che nelle corrispondenti analisi della trascrizione, mentre il sesto, Partecipazione dei docenti al processo NLEapparso nella trascrizione dell’intervista.

Percezioni sull’esame di licenza

Tutti i partecipanti allo studio hanno espresso opinioni positive sullo scopo di un NLE ben progettato. In particolare, gli intervistati che avevano partecipato al processo NLE hanno dimostrato una forte titolarità. D’altra parte, alcuni partecipanti FG hanno messo in dubbio l’adeguatezza delle decisioni prese sulla base del punteggio NLE nella sua forma attuale:

Come può lo studente essere considerato l’unico responsabile? [for failures] Senza soddisfare gli standard di insegnamento richiesti? Ad esempio, ciò che hai imparato e messo in pratica è molto diverso da ciò in cui sei cresciuto [licensing] Esame. La maggior parte delle domande dell’esame erano poco pratiche e meno rilevanti per la professione di anestesista. Pertanto, il superamento o il fallimento di questo esame non ha nulla a che fare con la mia competenza… Vedo l’esame come un pezzo di carta che mi dà una licenza piuttosto che una misura delle mie capacità.” Laureato 14