Evalvacija kurikuluma in fakultete je ključnega pomena za vse visokošolske ustanove, vključno z medicinskimi šolami.Študentske ocene poučevanja (SET) so običajno v obliki anonimnih vprašalnikov in čeprav so bile prvotno razvite za ocenjevanje predmetov in programov, so se sčasoma uporabljale tudi za merjenje učinkovitosti poučevanja in posledično sprejemanje pomembnih odločitev v zvezi s poučevanjem.Profesionalni razvoj učiteljev.Vendar lahko nekateri dejavniki in pristranskosti vplivajo na rezultate SET in učinkovitosti poučevanja ni mogoče objektivno izmeriti.Čeprav je literatura o vrednotenju predmetov in fakultet v splošnem visokošolskem izobraževanju dobro uveljavljena, obstajajo pomisleki glede uporabe istih orodij za evalvacijo predmetov in fakultet v medicinskih programih.Zlasti SET v splošnem visokošolskem izobraževanju ni mogoče neposredno uporabiti pri oblikovanju in izvajanju učnih načrtov na zdravstvenih fakultetah.Ta pregled ponuja pregled nad tem, kako je mogoče izboljšati SET na ravni instrumenta, upravljanja in interpretacije.Poleg tega ta članek poudarja, da z uporabo različnih metod, kot so medsebojni pregledi, fokusne skupine in samoocenjevanje za zbiranje in triangulacijo podatkov iz več virov, vključno s študenti, vrstniki, vodji programov in samozavedanjem, lahko celovit sistem ocenjevanja biti zgrajena.Učinkovito izmerite učinkovitost poučevanja, podprite strokovni razvoj medicinskih pedagogov in izboljšajte kakovost poučevanja v medicinskem izobraževanju.
Evalvacija predmetov in programov je notranji proces nadzora kakovosti na vseh visokošolskih ustanovah, tudi na medicinskih fakultetah.Študentska evalvacija poučevanja (SET) je običajno v obliki anonimnega papirnatega ali spletnega vprašalnika z uporabo ocenjevalne lestvice, kot je Likertova lestvica (običajno pet, sedem ali več), ki ljudem omogoča, da izrazijo svoje strinjanje ali stopnjo strinjanja.Ne strinjam se z določenimi trditvami) [1,2,3].Čeprav so bili SET prvotno razviti za evalvacijo predmetov in programov, so se sčasoma uporabljali tudi za merjenje učinkovitosti poučevanja [4, 5, 6].Učinkovitost poučevanja se šteje za pomembno, ker se domneva, da obstaja pozitiven odnos med učinkovitostjo poučevanja in učenjem učencev [7].Čeprav literatura ne opredeljuje jasno učinkovitosti usposabljanja, je običajno opredeljena skozi specifične značilnosti usposabljanja, kot so »skupinska interakcija«, »priprava in organizacija«, »povratna informacija študentom« [8].
Informacije, pridobljene pri SET, lahko zagotovijo koristne informacije, na primer, ali je treba prilagoditi učna gradiva ali učne metode, ki se uporabljajo v določenem predmetu.SET se uporablja tudi za sprejemanje pomembnih odločitev v zvezi s strokovnim razvojem učiteljev [4,5,6].Vendar pa je ustreznost tega pristopa vprašljiva, ko visokošolske institucije sprejemajo odločitve v zvezi s fakulteto, kot je napredovanje v višje akademske nazive (pogosto povezano z delovno dobo in povišanjem plače) in ključni upravni položaji znotraj institucije [4, 9].Poleg tega institucije pogosto od novih fakultet zahtevajo, da vključijo SET iz prejšnjih institucij v svoje prijave za nova delovna mesta, s čimer vplivajo ne le na napredovanja fakultet v instituciji, ampak tudi na potencialne nove delodajalce [10].
Čeprav je literatura o kurikulumu in vrednotenju učiteljev dobro uveljavljena na področju splošnega visokega šolstva, to ne velja za področje medicine in zdravstva [11].Kurikulum in potrebe medicinskih pedagogov se razlikujejo od tistih v splošnem visokošolskem izobraževanju.Na primer, timsko učenje se pogosto uporablja v integriranih medicinskih izobraževalnih tečajih.To pomeni, da je učni načrt medicinske šole sestavljen iz niza predmetov, ki jih poučujejo številni člani fakultete, ki so usposobljeni in imajo izkušnje v različnih medicinskih disciplinah.Čeprav imajo učenci v tej strukturi koristi od poglobljenega znanja strokovnjakov na tem področju, se pogosto soočajo z izzivom prilagajanja različnim stilom poučevanja vsakega učitelja [1, 12, 13, 14].
Čeprav obstajajo razlike med splošnim visokošolskim izobraževanjem in medicinskim izobraževanjem, se SET, ki se uporablja v prvem, včasih uporablja tudi v tečajih medicine in zdravstvene nege.Vendar pa uvedba SET v splošnem visokošolskem izobraževanju predstavlja številne izzive v smislu kurikuluma in evalvacije fakultet v programih zdravstvenih delavcev [11].Zlasti zaradi razlik v učnih metodah in kvalifikacijah učiteljev rezultati ocenjevanja tečaja morda ne vključujejo mnenj študentov vseh učiteljev ali razredov.Raziskava, ki sta jo izvedla Uytenhaage in O'Neill (2015) [5] nakazuje, da je zahteva od študentov, da ocenijo vse posamezne učitelje na koncu tečaja, morda neprimerna, ker je skoraj nemogoče, da bi si študenti zapomnili in komentirali ocene več učiteljev.kategorije.Poleg tega so številni učitelji medicinske vzgoje tudi zdravniki, za katere je poučevanje le majhen del njihovih obveznosti [15, 16].Ker se ukvarjajo predvsem z oskrbo pacientov in v mnogih primerih z raziskavami, imajo pogosto malo časa za razvoj svojih učnih sposobnosti.Vendar bi morali zdravniki kot učitelji prejeti čas, podporo in konstruktivne povratne informacije svojih organizacij [16].
Študenti medicine so ponavadi visoko motivirani in marljivi posamezniki, ki se uspešno vpišejo na medicinsko fakulteto (skozi konkurenčen in zahteven mednarodni proces).Poleg tega se od študentov medicine pričakuje, da bodo med študijem medicine v kratkem času pridobili veliko znanja in razvili veliko število veščin ter uspešno opravili kompleksna interna in celovita državna preverjanja znanja [17,18,19]. ,20].Tako so lahko zaradi visokih standardov, ki se pričakujejo od študentov medicine, študenti medicine bolj kritični in imajo višja pričakovanja glede visoke kakovosti poučevanja kot študenti drugih disciplin.Tako imajo lahko študentje medicine nižje ocene svojih profesorjev v primerjavi s študenti drugih disciplin zaradi zgoraj navedenih razlogov.Zanimivo je, da so prejšnje študije pokazale pozitivno povezavo med motivacijo učencev in ocenami posameznih učiteljev [21].Poleg tega je v zadnjih 20 letih večina učnih načrtov medicinskih šol po vsem svetu postala vertikalno integrirana [22], tako da so študenti izpostavljeni klinični praksi že od najzgodnejših let svojega programa.Tako so se v zadnjih nekaj letih zdravniki vedno bolj vključili v izobraževanje študentov medicine in že na začetku svojih programov potrdili pomen razvoja SET, prilagojenih specifični populaciji fakultet [22].
Zaradi posebne narave medicinskega izobraževanja, omenjenega zgoraj, je treba SET, ki se uporabljajo za vrednotenje splošnih visokošolskih predmetov, ki jih poučuje en sam član fakultete, prilagoditi za vrednotenje integriranega kurikuluma in kliničnih fakultetnih medicinskih programov [14].Zato je treba razviti učinkovitejše modele SET in celovite sisteme ocenjevanja za učinkovitejšo uporabo v medicinskem izobraževanju.
Trenutni pregled opisuje nedavni napredek pri uporabi SET v (splošnem) visokošolskem izobraževanju in njegove omejitve, nato pa opisuje različne potrebe SET za tečaje medicinskega izobraževanja in fakulteto.Ta pregled ponuja posodobitev o tem, kako je mogoče SET izboljšati na instrumentalni, administrativni in interpretativni ravni, in se osredotoča na cilje razvoja učinkovitih modelov SET in celovitih sistemov ocenjevanja, ki bodo učinkovito merili učinkovitost poučevanja, podpirali razvoj poklicnih zdravstvenih izobraževalcev in izboljšali kakovost poučevanja v medicinskem izobraževanju.
Ta študija sledi študiji Greena et al.(2006) [23] za nasvet in Baumeister (2013) [24] za nasvet o pisanju pripovednih ocen.Odločili smo se, da na to temo napišemo pripovedno recenzijo, ker ta vrsta recenzije pomaga predstaviti širši pogled na to temo.Poleg tega, ker narativni pregledi temeljijo na metodološko različnih študijah, pomagajo odgovoriti na širša vprašanja.Poleg tega lahko pripovedni komentar pomaga spodbuditi razmišljanje in razpravo o temi.
Kako se SET uporablja v medicinskem izobraževanju in kakšni so izzivi v primerjavi s SET, ki se uporablja v splošnem visokošolskem izobraževanju,
V bazah podatkov Pubmed in ERIC so iskali s kombinacijo iskalnih izrazov »evalvacija poučevanja študentov«, »učinkovitost poučevanja«, »medicinska izobrazba«, »visokošolsko izobraževanje«, »evalvacija kurikuluma in fakultete« in za Peer Review 2000 logični operatorji .članki, objavljeni med letoma 2021 in 2021. Vključitvena merila: Vključene študije so bile izvirne študije ali pregledni članki, študije pa so bile pomembne za področja treh glavnih raziskovalnih vprašanj.Merila za izključitev: Študije, ki niso bile v angleškem jeziku, ali študije, v katerih ni bilo mogoče najti člankov s polnim besedilom ali niso bile pomembne za tri glavna raziskovalna vprašanja, so bile izključene iz trenutnega pregleda.Po izboru publikacij so bile razvrščene v naslednje teme in povezane podteme: (a) uporaba SET v splošnem visokošolskem izobraževanju in njene omejitve, (b) uporaba SET v medicinskem izobraževanju in njen pomen za obravnavanje vprašanj, povezanih s primerjavo SET (c ) Izboljšanje SET na instrumentalni, vodstveni in razlagalni ravni za razvoj učinkovitih modelov SET.
Slika 1 prikazuje diagram poteka izbranih člankov, vključenih in obravnavanih v trenutnem delu pregleda.
SET se tradicionalno uporablja v visokem šolstvu in tema je dobro raziskana v literaturi [10, 21].Vendar pa je veliko število študij preučilo njihove številne omejitve in prizadevanja za odpravo teh omejitev.
Raziskave kažejo, da obstaja veliko spremenljivk, ki vplivajo na rezultate SET [10, 21, 25, 26].Zato je pomembno, da skrbniki in učitelji razumejo te spremenljivke pri interpretaciji in uporabi podatkov.Naslednji razdelek ponuja kratek pregled teh spremenljivk.Slika 2 prikazuje nekatere dejavnike, ki vplivajo na rezultate SET, ki so podrobno opisani v naslednjih razdelkih.
V zadnjih letih se je uporaba spletnih kompletov povečala v primerjavi s papirnatimi kompleti.Vendar pa dokazi v literaturi kažejo, da je spletno SET mogoče dokončati, ne da bi učenci posvetili potrebno pozornost procesu dokončanja.V zanimivi študiji Uitdehaagea in O'Neilla [5] so bili v SET dodani neobstoječi učitelji in številni učenci so posredovali povratne informacije [5].Poleg tega dokazi v literaturi kažejo, da študentje pogosto verjamejo, da zaključek SET ne vodi k izboljšanju izobrazbe, kar lahko v kombinaciji z zasedenim urnikom študentov medicine povzroči nižje stopnje odziva [27].Čeprav raziskave kažejo, da se mnenja učencev, ki opravljajo test, ne razlikujejo od mnenj celotne skupine, lahko učitelji zaradi nizke stopnje odziva rezultate jemljejo manj resno [28].
Večina spletnih SET-ov se opravi anonimno.Ideja je omogočiti študentom svobodno izražanje mnenj brez predpostavke, da bo njihovo izražanje vplivalo na njihove prihodnje odnose z učitelji.V študiji Alfonsa et al. [29] so raziskovalci uporabili anonimne ocene in ocene, v katerih so morali ocenjevalci navesti svoja imena (javne ocene), da bi ocenili učinkovitost poučevanja medicinske fakultete s strani stanovalcev in študentov medicine.Rezultati so pokazali, da so učitelji na splošno dosegli nižje rezultate pri anonimnih ocenah.Avtorji trdijo, da so učenci bolj pošteni pri anonimnih ocenah zaradi določenih ovir pri odprtih ocenah, kot so poškodovani delovni odnosi s sodelujočimi učitelji [29].Vendar pa je treba tudi opozoriti, da lahko anonimnost, ki je pogosto povezana s spletnim SET, povzroči, da so nekateri študenti nespoštljivi in maščevalni do inštruktorja, če rezultati ocenjevanja ne izpolnjujejo pričakovanj študentov [30].Raziskave pa kažejo, da učenci le redko dajejo nespoštljive povratne informacije, slednje pa lahko še dodatno omejimo tako, da študente učimo dajati konstruktivne povratne informacije [30].
Številne študije so pokazale, da obstaja povezava med rezultati študentov SET, njihovimi pričakovanji glede uspešnosti testov in njihovim zadovoljstvom pri testih [10, 21].Na primer, Strobe (2020) [9] je poročal, da učenci nagrajujejo lahke tečaje, učitelji pa slabe ocene, kar lahko spodbudi slabo poučevanje in povzroči inflacijo ocen [9].V nedavni študiji so Looi et al.(2020) [31] Raziskovalci so poročali, da so ugodnejši SET povezani in jih je lažje oceniti.Poleg tega obstajajo zaskrbljujoči dokazi, da je SET obratno sorazmeren z uspešnostjo študentov pri naslednjih predmetih: višja kot je ocena, slabša je uspešnost študentov pri naslednjih predmetih.Cornell et al.(2016) [32] je izvedel študijo, da bi preveril, ali so se študenti naučili relativno več od učiteljev, katerih SET so visoko ocenili.Rezultati kažejo, da učitelji z najvišjimi ocenami ob koncu tečaja tudi prispevajo k učenju največ študentov.Ko pa se učenje meri z uspešnostjo v naslednjih ustreznih predmetih, so učitelji z relativno nizkimi rezultati najučinkovitejši.Raziskovalci so domnevali, da bi lahko tečaj, ki bi bil bolj zahteven na produktiven način, znižal ocene, a izboljšal učenje.Ocene učencev torej ne bi smele biti edina osnova za vrednotenje poučevanja, ampak bi jih bilo treba priznati.
Več študij kaže, da na uspešnost SET vpliva sam tečaj in njegova organizacija.Ming in Baozhi [33] sta v svoji študiji ugotovila, da obstajajo pomembne razlike v rezultatih SET med učenci pri različnih predmetih.Na primer, klinične vede imajo višje ocene SET kot osnovne vede.Avtorji so pojasnili, da je to zato, ker študente medicine zanima, da bi postali zdravniki, in imajo zato osebni interes in večjo motivacijo za večjo udeležbo na tečajih klinične znanosti v primerjavi s tečaji osnovnih znanosti [33].Tako kot pri izbirnih predmetih tudi motivacija učencev za predmet pozitivno vpliva na rezultate [21].Več drugih študij prav tako podpira, da lahko vrsta tečaja vpliva na rezultate SET [10, 21].
Poleg tega so druge študije pokazale, da manjši ko je razred, višjo raven SET dosežejo učitelji [10, 33].Ena od možnih razlag je, da manjši razredi povečajo možnosti za interakcijo med učiteljem in učencem.Poleg tega lahko pogoji, v katerih se izvaja ocenjevanje, vplivajo na rezultate.Zdi se na primer, da na rezultate SET vplivata čas in dan poučevanja predmeta ter dan v tednu, ko je SET opravljen (npr. ocenjevanja, opravljena ob koncih tedna, ponavadi povzročijo več pozitivnih rezultatov) kot opravljena ocenjevanja. v začetku tedna.[10].
Zanimiva študija Hesslerja in drugih prav tako postavlja pod vprašaj učinkovitost SET.[34].V tej študiji je bilo izvedeno randomizirano kontrolirano preskušanje na tečaju nujne medicine.Študentje tretjega letnika medicine so bili naključno razporejeni v kontrolno skupino ali skupino, ki je prejela brezplačne čokoladne piškote (skupina piškotkov).Vse skupine so poučevali isti učitelji, vsebina usposabljanja in učna gradiva pa so bili enaki za obe skupini.Po tečaju so bili vsi učenci naprošeni, da dokončajo sklop.Rezultati so pokazali, da je skupina piškotkov ocenila učitelje znatno bolje kot kontrolna skupina, kar je postavilo pod vprašaj učinkovitost SET [34].
Dokazi v literaturi prav tako podpirajo, da lahko spol vpliva na rezultate SET [35,36,37,38,39,40,41,42,43,44,45,46].Nekatere študije so na primer pokazale povezavo med spolom študentov in rezultati ocenjevanja: študentke so dosegle višje rezultate kot študenti [27].Večina dokazov potrjuje, da učenci učiteljice ocenjujejo nižje kot učitelje [37, 38, 39, 40].Na primer, Boring et al.[38] je pokazalo, da tako študentje kot študentke menijo, da so moški bolj razgledani in imajo močnejše vodstvene sposobnosti kot ženske.Dejstvo, da spol in stereotipi vplivajo na SET, podpira tudi študija MacNell et al.[41], ki je poročal, da so študentje v njegovi študiji ocenili učiteljice nižje kot učitelje glede različnih vidikov poučevanja [41].Poleg tega so Morgan et al [42] predložili dokaze, da so zdravnice prejele nižje ocene poučevanja v štirih glavnih kliničnih rotacijah (kirurgija, pediatrija, porodništvo in ginekologija ter interna medicina) v primerjavi z moškimi zdravniki.
V študiji Murrayja et al. (2020) [43] so raziskovalci poročali, da sta bila privlačnost fakultete in zanimanje študentov za predmet povezana z višjimi rezultati SET.Nasprotno pa je težavnost proge povezana z nižjimi rezultati SET.Poleg tega so študenti dali višje ocene SET mladim belim moškim učiteljem humanističnih ved in fakulteti z rednimi profesorji.Med ocenami poučevanja SET in rezultati ankete učiteljev ni bilo korelacije.Tudi druge študije potrjujejo pozitiven vpliv fizične privlačnosti učiteljev na rezultate ocenjevanja [44].
Clayson et al.(2017) [45] so poročali, da čeprav obstaja splošno soglasje, da SET daje zanesljive rezultate in da so povprečja razredov in učiteljev skladna, še vedno obstajajo nedoslednosti v odgovorih posameznih učencev.Če povzamemo, rezultati tega ocenjevalnega poročila kažejo, da se učenci niso strinjali s tem, kar so morali oceniti.Mere zanesljivosti, ki izhajajo iz študentskih ocen poučevanja, ne zadoščajo za osnovo za ugotavljanje veljavnosti.Zato lahko SET včasih zagotovi informacije o učencih in ne o učiteljih.
Zdravstvena vzgoja SET se razlikuje od tradicionalne SET, vendar vzgojitelji pogosto uporabljajo SET, ki je na voljo v splošnem visokošolskem izobraževanju, namesto SET, ki je specifičen za programe zdravstvenih poklicev, o katerih poroča literatura.Vendar so študije, opravljene v preteklih letih, odkrile več težav.
Jones et al (1994).[46] je izvedel študijo, da bi ugotovil, kako oceniti fakulteto medicinske fakultete z vidika fakultete in administratorjev.Na splošno so najpogosteje omenjena vprašanja povezana z evalvacijo poučevanja.Najpogostejše so bile splošne pritožbe glede neustreznosti sedanjih metod ocenjevanja uspešnosti, anketiranci pa so podali tudi posebne pritožbe glede SET in premajhnega priznavanja poučevanja v sistemih akademskega nagrajevanja.Druge težave, o katerih so poročali, so vključevale nedosledne postopke ocenjevanja in merila za napredovanje v oddelkih, pomanjkanje rednih ocenjevanj in nepovezanost rezultatov ocenjevanja s plačami.
Royal et al (2018) [11] opisujejo nekatere omejitve uporabe SET za evalvacijo kurikuluma in fakultete v programih zdravstvenih delavcev v splošnem visokošolskem izobraževanju.Raziskovalci poročajo, da se SET v visokošolskem izobraževanju sooča z različnimi izzivi, ker ga ni mogoče neposredno uporabiti pri oblikovanju učnih načrtov in poučevanju predmetov na medicinskih fakultetah.Pogosto zastavljena vprašanja, vključno z vprašanji o inštruktorju in tečaju, so pogosto združena v en vprašalnik, zato jih študenti pogosto težko razlikujejo.Poleg tega tečaje v medicinskih programih pogosto poučuje več članov fakultete.To sproža vprašanja o veljavnosti glede na potencialno omejeno število interakcij med študenti in učitelji, ki so jih ocenili Royal et al.(2018)[11].V študiji Hwang et al.(2017) [14] so raziskovalci preučili koncept, kako retrospektivne ocene tečajev celovito odražajo dojemanje študentov o tečajih različnih inštruktorjev.Njihovi rezultati kažejo, da je individualizirano ocenjevanje v razredu potrebno za vodenje večoddelčnih tečajev v integriranem kurikulumu medicinske šole.
Uitdehaage in O'Neill (2015) [5] sta proučila, v kolikšni meri so študenti medicine namerno opravili SET v učilnici z več fakultetami.Vsak od obeh predkliničnih tečajev je imel navideznega inštruktorja.Študenti morajo vsem inštruktorjem (vključno s fiktivnimi inštruktorji) posredovati anonimne ocene v dveh tednih po zaključku tečaja, vendar lahko zavrnejo oceno inštruktorja.Naslednje leto se je ponovilo, vendar je bil vključen portret fiktivnega predavatelja.Šestinšestdeset odstotkov študentov je virtualnega inštruktorja ocenilo brez podobnosti, manj študentov (49 %) pa je ocenilo virtualnega inštruktorja s prisotno podobnostjo.Te ugotovitve kažejo, da veliko študentov medicine na slepo opravi SET, tudi če jih spremljajo fotografije, brez natančnega premisleka o tem, koga ocenjujejo, kaj šele o uspešnosti inštruktorja.To ovira izboljšanje kakovosti programa in lahko škoduje akademskemu napredku učiteljev.Raziskovalci predlagajo okvir, ki ponuja radikalno drugačen pristop k SET, ki aktivno in aktivno vključuje študente.
Obstaja še veliko drugih razlik v izobraževalnem kurikulumu zdravstvenih programov v primerjavi z drugimi splošnimi visokošolskimi programi [11].Medicinska izobrazba je tako kot strokovna zdravstvena vzgoja izrazito usmerjena v razvoj jasno definiranih strokovnih vlog (klinične prakse).Posledično postanejo učni načrti medicinskih in zdravstvenih programov bolj statični, z omejeno izbiro predmetov in fakultet.Zanimivo je, da so tečaji medicinskega izobraževanja pogosto na voljo v kohortni obliki, pri čemer vsi študenti vsak semester ob istem času opravljajo isti predmet.Zato lahko vpis velikega števila študentov (običajno n = 100 ali več) vpliva na obliko poučevanja in tudi na odnos učitelj-učenec.Poleg tega v mnogih medicinskih šolah psihometrične lastnosti večine instrumentov niso ocenjene ob začetni uporabi in lastnosti večine instrumentov lahko ostanejo neznane [11].
Več študij v zadnjih nekaj letih je zagotovilo dokaze, da je SET mogoče izboljšati z obravnavanjem nekaterih pomembnih dejavnikov, ki lahko vplivajo na učinkovitost SET na instrumentalni, administrativni in interpretativni ravni.Slika 3 prikazuje nekaj korakov, ki jih je mogoče uporabiti za ustvarjanje učinkovitega modela SET.Naslednji razdelki nudijo podrobnejši opis.
Izboljšati SET na instrumentalni, vodstveni in interpretativni ravni za razvoj učinkovitih modelov SET.
Kot smo že omenili, literatura potrjuje, da lahko spolna pristranskost vpliva na ocene učiteljev [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson et al.(2019) [40] je izvedla študijo, ki je preučevala, ali spol študentov vpliva na odziv študentov na prizadevanja za ublažitev pristranskosti.V tej študiji je bil SET uporabljen v štirih razredih (dva so poučevali učitelji, dva pa učiteljice).Znotraj vsakega tečaja so bili študenti naključno razporejeni, da prejmejo standardno ocenjevalno orodje ali isto orodje, vendar z uporabo jezika, zasnovanega za zmanjšanje pristranskosti glede na spol.Študija je pokazala, da so učenci, ki so uporabljali orodja za ocenjevanje proti pristranskosti, dali učiteljicam znatno višje ocene SET kot učenci, ki so uporabljali standardna orodja za ocenjevanje.Poleg tega med obema skupinama ni bilo razlik v ocenah moških učiteljev.Rezultati te študije so pomembni in kažejo, kako lahko razmeroma preprost jezikovni poseg zmanjša spolno pristranskost pri ocenjevanju poučevanja študentov.Zato je dobra praksa skrbno preučiti vse SET in uporabiti jezik za zmanjšanje spolne pristranskosti pri njihovem razvoju [40].
Da bi dobili uporabne rezultate katerega koli SET, je pomembno, da vnaprej skrbno razmislite o namenu ocenjevanja in besedilu vprašanj.Čeprav večina anket SET jasno navaja razdelek o organizacijskih vidikih tečaja, tj. »Ocenjevanje tečaja«, in del o fakulteti, tj. »Ocenjevanje učiteljev«, v nekaterih anketah razlika morda ni očitna ali pa je med študenti morda zmeda. o tem, kako oceniti vsako od teh področij posebej.Zato mora biti zasnova vprašalnika ustrezna, razjasniti dva različna dela vprašalnika in študente seznaniti, kaj je treba na posameznem področju ocenjevati.Poleg tega je priporočljivo pilotno testiranje, da se ugotovi, ali študenti razlagajo vprašanja na predviden način [24].V raziskavi Oermanna in sod.(2018) [26] so raziskovalci iskali in sintetizirali literaturo, ki opisuje uporabo SET v številnih disciplinah v dodiplomskem in podiplomskem izobraževanju, da bi učiteljem zagotovili smernice o uporabi SET v programih zdravstvene nege in drugih zdravstvenih poklicih.Rezultati kažejo, da je treba instrumente SET oceniti pred uporabo, vključno s pilotnim testiranjem instrumentov s študenti, ki morda ne bodo mogli razlagati predmetov ali vprašanj instrumentov SET, kot je predvidel inštruktor.
Več študij je preučevalo, ali model upravljanja SET vpliva na angažiranost študentov.
Daumier et al.(2004) [47] je primerjal ocene študentov o usposabljanju inštruktorjev, opravljenem v razredu, z ocenami, zbranimi na spletu, s primerjavo števila odgovorov in ocen.Raziskave kažejo, da imajo spletne ankete običajno nižje stopnje odziva kot ankete v razredu.Vendar pa je študija pokazala, da spletno ocenjevanje ni povzročilo bistveno drugačnih povprečnih ocen od tradicionalnih ocenjevanj v razredu.
Poročali so o pomanjkanju dvosmerne komunikacije med učenci in učitelji med izpolnjevanjem spletnih (vendar pogosto tiskanih) SET, kar je povzročilo pomanjkanje možnosti za pojasnila.Zato pomen vprašanj SET, komentarjev ali ocen učencev morda ni vedno jasen [48].Nekatere ustanove so to težavo rešile tako, da so študente združile za eno uro in jim dodelile določen čas za dokončanje SET na spletu (anonimno) [49].V svoji študiji so Malone et al.(2018) [49] je imel več sestankov, na katerih so s študenti razpravljali o namenu SET, o tem, kdo bo videl rezultate SET in kako se bodo rezultati uporabljali, ter o vseh drugih vprašanjih, ki so jih postavili študenti.SET se izvaja podobno kot fokusna skupina: kolektivna skupina odgovarja na odprta vprašanja z neformalnim glasovanjem, razpravo in pojasnjevanjem.Stopnja odgovora je bila več kot 70–80 %, kar je učiteljem, skrbnikom in odborom za kurikulum zagotovilo obsežne informacije [49].
Kot je bilo omenjeno zgoraj, so v študiji Uitdehaageja in O'Neilla [5] raziskovalci poročali, da so učenci v njihovi študiji ocenjevali neobstoječe učitelje.Kot smo že omenili, je to pogosta težava pri tečajih medicinske fakultete, kjer lahko vsak predmet poučuje veliko članov fakultete, vendar se študentje morda ne spomnijo, kdo je prispeval k posameznemu predmetu ali kaj je naredil vsak član fakultete.Nekatere ustanove so se tega vprašanja lotile tako, da so zagotovile fotografijo vsakega predavatelja, njegovo/njeno ime in predstavljeno temo/datum, da bi osvežile spomine študentov in se izognile težavam, ki ogrožajo učinkovitost SET [49].
Morda je najpomembnejša težava, povezana s SET, ta, da učitelji ne morejo pravilno interpretirati kvantitativnih in kvalitativnih rezultatov SET.Nekateri učitelji bodo morda želeli narediti statistične primerjave med leti, nekateri bodo morda menili, da so manjša povečanja/zmanjšanja povprečnih rezultatov pomembne spremembe, nekateri želijo verjeti vsaki raziskavi, drugi pa so popolnoma skeptični do katere koli raziskave [45, 50, 51].
Nepravilna razlaga rezultatov ali obdelava povratnih informacij učencev lahko vpliva na odnos učiteljev do poučevanja.Rezultati Lutovca in sod.(2017) [52] Podporno usposabljanje učiteljev je potrebno in koristno za zagotavljanje povratnih informacij učencem.Medicinsko izobraževanje nujno potrebuje usposabljanje za pravilno interpretacijo rezultatov SET.Zato bi se morala fakulteta medicinske fakultete usposabljati o tem, kako vrednotiti rezultate in pomembna področja, na katera se morajo osredotočiti [50, 51].
Tako opisani rezultati kažejo, da je treba SET skrbno načrtovati, upravljati in razlagati, da se zagotovi, da imajo rezultati SET pomemben vpliv na vse pomembne deležnike, vključno s fakulteto, upravniki zdravstvenih fakultet in študenti.
Zaradi nekaterih omejitev SET bi si morali še naprej prizadevati za ustvarjanje celovitega sistema ocenjevanja, da bi zmanjšali pristranskost pri učinkovitosti poučevanja in podprli strokovni razvoj medicinskih izobraževalcev.
Bolj popolno razumevanje kakovosti poučevanja kliničnih fakultet je mogoče doseči z zbiranjem in triangulacijo podatkov iz več virov, vključno s študenti, sodelavci, skrbniki programov in samoocenami fakultet [53, 54, 55, 56, 57].Naslednji razdelki opisujejo možna druga orodja/metode, ki jih je mogoče uporabiti poleg učinkovitega SET za pomoč pri razvoju ustreznejšega in popolnejšega razumevanja učinkovitosti usposabljanja (slika 4).
Metode, s katerimi lahko razvijemo celovit model sistema za ocenjevanje učinkovitosti poučevanja na medicinski fakulteti.
Fokusna skupina je opredeljena kot »skupinska razprava, organizirana za raziskovanje določenega sklopa vprašanj« [58].V zadnjih nekaj letih so medicinske fakultete ustvarile ciljne skupine, da bi pridobile kakovostne povratne informacije od študentov in obravnavale nekatere pasti spletnega SET.Te študije kažejo, da so fokusne skupine učinkovite pri zagotavljanju kakovostnih povratnih informacij in povečanju zadovoljstva študentov [59, 60, 61].
V študiji Brundle et al.[59] Raziskovalci so uvedli skupinski proces ocenjevanja študentov, ki je direktorjem tečajev in študentom omogočil razpravo o tečajih v fokusnih skupinah.Rezultati kažejo, da razprave v fokusnih skupinah dopolnjujejo spletno ocenjevanje in povečujejo zadovoljstvo študentov s celotnim procesom ocenjevanja predmeta.Študenti cenijo možnost neposrednega komuniciranja z direktorji predmetov in verjamejo, da lahko ta proces prispeva k izboljšanju izobraževanja.Menili so tudi, da lahko razumejo stališče direktorja tečaja.Poleg študentov so tudi vodje predmetov ocenili, da fokusne skupine omogočajo učinkovitejšo komunikacijo s študenti [59].Tako lahko uporaba fokusnih skupin zagotovi medicinskim šolam popolnejše razumevanje kakovosti vsakega predmeta in učinkovitosti poučevanja posamezne fakultete.Vendar je treba opozoriti, da imajo same fokusne skupine nekatere omejitve, kot je na primer le majhno število študentov, ki sodelujejo v njih v primerjavi s spletnim programom SET, ki je na voljo vsem študentom.Poleg tega je vodenje fokusnih skupin za različne tečaje lahko dolgotrajen proces za svetovalce in študente.To predstavlja precejšnje omejitve, zlasti za študente medicine, ki imajo zelo natrpane urnike in lahko opravljajo klinično prakso na različnih geografskih lokacijah.Poleg tega fokusne skupine zahtevajo veliko število izkušenih moderatorjev.Vendar pa lahko vključitev ciljnih skupin v proces ocenjevanja zagotovi podrobnejše in specifične informacije o učinkovitosti usposabljanja [48, 59, 60, 61].
Schiekierka-Schwacke et al.(2018) [62] je preučil dojemanje študentov in profesorjev o novem orodju za ocenjevanje uspešnosti fakultet in učnih rezultatov študentov na dveh nemških medicinskih fakultetah.Opravljeni so bili pogovori v fokusnih skupinah in individualni intervjuji s študenti fakultete in medicine.Učitelji so cenili osebne povratne informacije, ki jih je zagotovilo orodje za ocenjevanje, učenci pa so poročali, da je treba ustvariti povratno zanko, vključno s cilji in posledicami, da se spodbudi poročanje podatkov o ocenjevanju.Tako rezultati te študije podpirajo pomen zapiranja zanke komunikacije s študenti in njihovega obveščanja o rezultatih ocenjevanja.
Programi kolegialnega pregleda poučevanja (PRT) so zelo pomembni in se v visokem šolstvu izvajajo že vrsto let.PRT vključuje sodelovalni proces opazovanja poučevanja in zagotavljanja povratnih informacij opazovalcu za izboljšanje učinkovitosti poučevanja [63].Poleg tega lahko vaje samorefleksije, strukturirane nadaljnje razprave in sistematično dodeljevanje usposobljenih kolegov pomagajo izboljšati učinkovitost PRT in kulturo poučevanja oddelka [64].Poročajo, da imajo ti programi številne prednosti, saj lahko pomagajo učiteljem, da prejmejo konstruktivne povratne informacije od vrstnikov, ki so se v preteklosti morda soočali s podobnimi težavami, in lahko zagotovijo večjo podporo z zagotavljanjem koristnih predlogov za izboljšave [63].Poleg tega lahko strokovni pregled, če se uporablja konstruktivno, izboljša vsebino tečaja in metode izvajanja ter podpira medicinske pedagoge pri izboljšanju kakovosti njihovega poučevanja [65, 66].
Nedavna študija Campbella in sod.(2019) [67] zagotavljajo dokaze, da je model vrstniške podpore na delovnem mestu sprejemljiva in učinkovita strategija razvoja učiteljev za klinične zdravstvene vzgojitelje.V drugi študiji so Caygill et al.[68] je izvedel študijo, v kateri je bil posebej oblikovan vprašalnik poslan zdravstvenim vzgojiteljem na Univerzi v Melbournu, da bi jim omogočili, da delijo svoje izkušnje z uporabo PRT.Rezultati kažejo, da med zdravstvenimi izobraževalci obstaja zadržano zanimanje za PRT in da se prostovoljna in informativna oblika strokovnega pregleda šteje za pomembno in dragoceno priložnost za strokovni razvoj.
Treba je omeniti, da morajo biti programi PRT skrbno zasnovani, da se prepreči ustvarjanje obsojajočega, »vodstvenega« okolja, ki pogosto vodi do povečane tesnobe med opazovanimi učitelji [69].Zato bi moral biti cilj skrbno razviti načrte PRT, ki bodo dopolnjevali in olajšali ustvarjanje varnega okolja ter zagotavljali konstruktivne povratne informacije.Zato je potrebno posebno usposabljanje za usposabljanje recenzentov, programi PRT pa bi morali vključevati le resnično zainteresirane in izkušene učitelje.To je še posebej pomembno, če se informacije, pridobljene iz PRT, uporabljajo pri odločitvah fakultete, kot so napredovanja na višje stopnje, povišanja plač in napredovanja na pomembne upravne položaje.Opozoriti je treba, da PRT zahteva veliko časa in tako kot fokusne skupine zahteva sodelovanje velikega števila izkušenih članov fakultete, zaradi česar je ta pristop težko izvajati na medicinskih šolah z nizkimi sredstvi.
Newman et al.(2019) [70] opisujejo strategije, uporabljene pred, med in po usposabljanju, opažanja, ki poudarjajo najboljše prakse in identificirajo rešitve za učne težave.Raziskovalci so recenzentom podali 12 predlogov, med drugim: (1) pametno izbirajte besede;(2) omogočiti opazovalcu, da določi smer razprave;(3) ohraniti zaupne in oblikovane povratne informacije;(4) ohraniti zaupne in oblikovane povratne informacije;Povratne informacije se osredotočajo na spretnosti poučevanja in ne na posameznega učitelja;(5) Spoznajte svoje kolege (6) Bodite obzirni do sebe in drugih (7) Ne pozabite, da imajo zaimki pomembno vlogo pri zagotavljanju povratnih informacij, (8) Uporabite vprašanja, da osvetlite perspektivo poučevanja, (10) Vzpostavite zaupanje procesov in povratne informacije pri vrstniških opazovanjih, (11) narediti opazovanje učenja koristnega, (12) ustvariti akcijski načrt.Raziskovalci raziskujejo tudi vpliv pristranskosti na opazovanja in kako lahko proces učenja, opazovanja in razpravljanja o povratnih informacijah zagotovi dragocene učne izkušnje za obe strani, kar vodi do dolgoročnih partnerstev in izboljšane kakovosti izobraževanja.Gomaly et al.(2014) [71] poroča, da bi morala kakovost učinkovite povratne informacije vključevati (1) razjasnitev naloge z zagotavljanjem navodil, (2) večjo motivacijo za spodbujanje večjega truda in (3) prejemnikovo dojemanje tega kot dragocenega procesa.zagotovil ugleden vir.
Čeprav profesorji medicinske fakultete prejemajo povratne informacije o PRT, je pomembno, da jih usposobimo za interpretacijo povratnih informacij (podobno kot pri priporočilu za usposabljanje za interpretacijo SET) in damo fakulteti dovolj časa za konstruktiven razmislek o prejetih povratnih informacijah.
Čas objave: 24. nov. 2023