Vrednotenje učnega načrta in fakultete je ključnega pomena za vse visokošolske ustanove, vključno z medicinskimi fakultetami. Študentske ocene poučevanja (SET) so običajno v obliki anonimnih vprašalnikov in čeprav so bile prvotno razvite za vrednotenje tečajev in programov, so se sčasoma uporabljale tudi za merjenje učinkovitosti poučevanja in posledično za sprejemanje pomembnih odločitev, povezanih s poučevanjem. Strokovni razvoj učiteljev. Vendar pa lahko na rezultate SET vplivajo nekateri dejavniki in pristranskosti, učinkovitosti poučevanja pa ni mogoče objektivno meriti. Čeprav je literatura o vrednotenju tečajev in fakultete v splošnem visokošolskem izobraževanju dobro uveljavljena, obstajajo pomisleki glede uporabe istih orodij za vrednotenje tečajev in fakultete v medicinskih programih. SET v splošnem visokošolskem izobraževanju še posebej ni mogoče neposredno uporabiti za načrtovanje in izvajanje učnega načrta na medicinskih fakultetah. Ta pregled ponuja pregled, kako je mogoče izboljšati SET na ravni instrumentov, upravljanja in interpretacije. Poleg tega članek poudarja, da je mogoče z uporabo različnih metod, kot so medsebojni pregled, fokusne skupine in samoocenjevanje, za zbiranje in triangulacijo podatkov iz več virov, vključno s študenti, vrstniki, vodji programov in samozavedanjem, zgraditi celovit sistem ocenjevanja. Učinkovito merjenje učinkovitosti poučevanja, podpora strokovnemu razvoju zdravstvenih pedagogov in izboljšanje kakovosti poučevanja v medicinski vzgoji.
Vrednotenje predmetov in programov je notranji proces nadzora kakovosti v vseh visokošolskih zavodih, vključno z medicinskimi fakultetami. Študentsko vrednotenje poučevanja (SET) običajno poteka v obliki anonimnega vprašalnika ali spletnega vprašalnika z uporabo ocenjevalne lestvice, kot je Likertova lestvica (običajno pet, sedem ali več), ki ljudem omogoča, da navedejo svoje strinjanje ali stopnjo strinjanja. Ne strinjam se z določenimi trditvami) [1,2,3]. Čeprav so bili SET-i prvotno razviti za vrednotenje predmetov in programov, so se sčasoma začeli uporabljati tudi za merjenje učinkovitosti poučevanja [4, 5, 6]. Učinkovitost poučevanja velja za pomembno, ker se domneva, da obstaja pozitivna povezava med učinkovitostjo poučevanja in učenjem študentov [7]. Čeprav literatura ne opredeljuje jasno učinkovitosti usposabljanja, je običajno določena s specifičnimi značilnostmi usposabljanja, kot so »interakcija v skupini«, »priprava in organizacija«, »povratne informacije študentom« [8].
Informacije, pridobljene iz SET, lahko zagotovijo koristne informacije, na primer o tem, ali je treba prilagoditi učno gradivo ali učne metode, ki se uporabljajo v določenem tečaju. SET se uporablja tudi za sprejemanje pomembnih odločitev v zvezi s profesionalnim razvojem učiteljev [4,5,6]. Vendar pa je ustreznost tega pristopa vprašljiva, ko visokošolske ustanove sprejemajo odločitve glede fakultete, kot je napredovanje v višje akademske nazive (pogosto povezano s povišanjem delovne dobe in plače) in ključne upravne položaje znotraj ustanove [4, 9]. Poleg tega ustanove pogosto zahtevajo, da novi fakultetni delavci v svoje prijave za nova delovna mesta vključijo SET-e iz prejšnjih ustanov, kar vpliva ne le na napredovanja fakultetnih delavcev znotraj ustanove, temveč tudi na potencialne nove delodajalce [10].
Čeprav je literatura o učnem načrtu in evalvaciji učiteljev na področju splošnega visokošolskega izobraževanja dobro uveljavljena, to ne velja za področje medicine in zdravstva [11]. Učni načrt in potrebe medicinskih pedagogov se razlikujejo od tistih v splošnem visokošolskem izobraževanju. Na primer, timsko učenje se pogosto uporablja v integriranih tečajih medicinskega izobraževanja. To pomeni, da učni načrt medicinske fakultete sestavlja vrsta predmetov, ki jih poučuje več članov fakultete z usposabljanjem in izkušnjami na različnih medicinskih področjih. Čeprav imajo študenti v okviru te strukture koristi od poglobljenega znanja strokovnjakov na tem področju, se pogosto soočajo z izzivom prilagajanja različnim učnim slogom vsakega učitelja [1, 12, 13, 14].
Čeprav obstajajo razlike med splošnim visokošolskim izobraževanjem in medicinskim izobraževanjem, se SET, ki se uporablja v prvem, včasih uporablja tudi v medicinskih in zdravstvenih tečajih. Vendar pa izvajanje SET v splošnem visokošolskem izobraževanju predstavlja številne izzive glede učnega načrta in evalvacije fakultete v programih za zdravstvene delavce [11]. Zlasti zaradi razlik v metodah poučevanja in kvalifikacijah učiteljev rezultati evalvacije tečajev morda ne vključujejo mnenj študentov o vseh učiteljih ali predmetih. Raziskava Uytenhaagea in O'Neilla (2015) [5] kaže, da je morda neprimerno od študentov zahtevati, da na koncu tečaja ocenijo vse posamezne učitelje, saj si je študenti skoraj nemogoče zapomniti in komentirati več kategorij ocen učiteljev. Poleg tega so mnogi učitelji medicinskega izobraževanja tudi zdravniki, za katere je poučevanje le majhen del njihovih odgovornosti [15, 16]. Ker se ukvarjajo predvsem z oskrbo pacientov in v mnogih primerih z raziskavami, imajo pogosto malo časa za razvoj svojih učiteljskih veščin. Vendar pa bi morali zdravniki kot učitelji prejeti čas, podporo in konstruktivne povratne informacije od svojih organizacij [16].
Študenti medicine so običajno zelo motivirani in pridni posamezniki, ki se uspešno vpišejo na medicinsko fakulteto (prek konkurenčnega in zahtevnega mednarodnega postopka). Poleg tega se od študentov medicine med študijem medicine pričakuje, da si v kratkem času pridobijo veliko znanja in razvijejo veliko število veščin ter da bodo uspešni pri kompleksnih internih in celovitih nacionalnih ocenjevanjih [17,18,19,20]. Zaradi visokih standardov, ki se pričakujejo od študentov medicine, so lahko študenti medicine bolj kritični in imajo višja pričakovanja glede visokokakovostnega poučevanja kot študenti drugih disciplin. Tako imajo lahko študenti medicine zaradi zgoraj navedenih razlogov nižje ocene profesorjev v primerjavi s študenti drugih disciplin. Zanimivo je, da so prejšnje študije pokazale pozitivno povezavo med motivacijo študentov in individualnimi ocenami učiteljev [21]. Poleg tega je v zadnjih 20 letih večina učnih načrtov medicinskih fakultet po svetu postala vertikalno integrirana [22], tako da so študenti izpostavljeni klinični praksi že od najzgodnejših let študija. Tako so se zdravniki v zadnjih nekaj letih vse bolj vključili v izobraževanje študentov medicine in že na začetku svojih programov potrdili pomen razvoja programov za usposabljanje na podlagi izkušenj (SET), prilagojenih specifičnim populacijam fakultete [22].
Zaradi zgoraj omenjene specifične narave medicinske izobrazbe je treba modele SET, ki se uporabljajo za ocenjevanje splošnih visokošolskih predmetov, ki jih poučuje en sam član fakultete, prilagoditi za ocenjevanje integriranega učnega načrta in klinične fakultete medicinskih programov [14]. Zato je treba razviti učinkovitejše modele SET in celovite sisteme ocenjevanja za učinkovitejšo uporabo v medicinski izobrazbi.
Trenutni pregled opisuje nedavni napredek pri uporabi SET v (splošnem) visokošolskem izobraževanju in njegove omejitve, nato pa opisuje različne potrebe SET za tečaje in fakulteto v medicinski izobrazbi. Ta pregled ponuja posodobitev o tem, kako je mogoče SET izboljšati na instrumentalni, administrativni in interpretativni ravni, ter se osredotoča na cilje razvoja učinkovitih modelov SET in celovitih sistemov ocenjevanja, ki bodo učinkovito merili učinkovitost poučevanja, podpirali razvoj profesionalnih zdravstvenih pedagogov in izboljšali kakovost poučevanja v medicinski izobrazbi.
Ta študija sledi študiji Greena in sodelavcev (2006) [23] za nasvet in Baumeisterja (2013) [24] za nasvet o pisanju pripovednih pregledov. Odločili smo se, da na to temo napišemo pripovedni pregled, ker ta vrsta pregleda pomaga predstaviti širok pogled na temo. Poleg tega, ker pripovedni pregledi temeljijo na metodološko raznolikih študijah, pomagajo odgovoriti na širša vprašanja. Poleg tega lahko pripovedni komentar spodbudi razmišljanje in razpravo o določeni temi.
Kako se SET uporablja v medicinskem izobraževanju in kakšni so izzivi v primerjavi s SET, ki se uporablja v splošnem visokošolskem izobraževanju,
Podatkovni zbirki Pubmed in ERIC sta bili preiskani z uporabo kombinacije iskalnih izrazov »ocenjevanje študentskega poučevanja«, »učinkovitost poučevanja«, »medicinsko izobraževanje«, »visokošolsko izobraževanje«, »ocenjevanje učnega načrta in fakultete« ter za Peer Review 2000 logičnih operatorjev. Članki, objavljeni med letoma 2021 in 2021. Vključitveni kriteriji: Vključene študije so bile izvirne študije ali pregledni članki, ki so bili relevantni za področja treh glavnih raziskovalnih vprašanj. Izključitveni kriteriji: Študije, ki niso bile v angleškem jeziku, ali študije, v katerih ni bilo mogoče najti člankov s polnim besedilom ali niso bili relevantni za tri glavna raziskovalna vprašanja, so bile izključene iz trenutnega preglednega dokumenta. Po izbiri publikacij so bile organizirane v naslednje teme in povezane podteme: (a) Uporaba SET v splošnem visokošolskem izobraževanju in njene omejitve, (b) Uporaba SET v medicinski izobrazbi in njen pomen za obravnavanje vprašanj, povezanih s primerjavo SET (c) Izboljšanje SET na instrumentalni, vodstveni in interpretativni ravni za razvoj učinkovitih modelov SET.
Slika 1 prikazuje diagram poteka izbranih člankov, ki so vključeni in obravnavani v trenutnem delu pregleda.
SET se tradicionalno uporablja v visokošolskem izobraževanju in tema je bila v literaturi dobro raziskana [10, 21]. Vendar pa je veliko število študij preučilo njihove številne omejitve in prizadevanja za odpravo teh omejitev.
Raziskave kažejo, da na rezultate SET vpliva veliko spremenljivk [10, 21, 25, 26]. Zato je pomembno, da administratorji in učitelji te spremenljivke razumejo pri interpretaciji in uporabi podatkov. Naslednji razdelek ponuja kratek pregled teh spremenljivk. Slika 2 prikazuje nekatere dejavnike, ki vplivajo na rezultate SET in so podrobneje opisani v naslednjih razdelkih.
V zadnjih letih se je uporaba spletnih kompletov v primerjavi s papirnatimi povečala. Vendar pa dokazi v literaturi kažejo, da je mogoče spletni SET opraviti, ne da bi študenti posvetili potrebno pozornost postopku izpolnjevanja. V zanimivi študiji Uitdehaagea in O'Neilla [5] so bili v SET dodani neobstoječi učitelji, mnogi študenti pa so podali povratne informacije [5]. Poleg tega dokazi v literaturi kažejo, da študenti pogosto verjamejo, da dokončanje SET ne vodi do boljše izobrazbene uspešnosti, kar lahko v kombinaciji z natrpanim urnikom študentov medicine povzroči nižje stopnje odziva [27]. Čeprav raziskave kažejo, da se mnenja študentov, ki opravljajo test, ne razlikujejo od mnenj celotne skupine, lahko nizke stopnje odziva še vedno povzročijo, da učitelji rezultate jemljejo manj resno [28].
Večina spletnih SET-ov se opravi anonimno. Namen je študentom omogočiti svobodno izražanje mnenj brez predpostavke, da bo njihovo izražanje kakor koli vplivalo na njihove prihodnje odnose z učitelji. V študiji Alfonsa in sodelavcev [29] so raziskovalci uporabili anonimne ocene in ocene, pri katerih so morali ocenjevalci navesti svoja imena (javne ocene), da bi ocenili učinkovitost poučevanja profesorjev na medicinski fakulteti s strani specializantov in študentov medicine. Rezultati so pokazali, da so učitelji na anonimnih ocenah na splošno dosegli nižje ocene. Avtorji trdijo, da so študenti pri anonimnih ocenah bolj iskreni zaradi določenih ovir pri odprtih ocenah, kot so na primer poškodovani delovni odnosi s sodelujočimi učitelji [29]. Vendar je treba opozoriti tudi, da lahko anonimnost, ki je pogosto povezana s spletnimi SET-i, nekatere študente privede do nespoštljivosti in maščevanja do predavatelja, če ocene ne izpolnjujejo pričakovanj študentov [30]. Vendar pa raziskave kažejo, da študenti redko dajejo nespoštljive povratne informacije, slednje pa je mogoče dodatno omejiti z učenjem študentov, da dajejo konstruktivne povratne informacije [30].
Več študij je pokazalo korelacijo med rezultati SET-ov študentov, njihovimi pričakovanji glede uspešnosti testov in njihovim zadovoljstvom s testi [10, 21]. Strobe (2020) [9] je na primer poročal, da študenti nagrajujejo lahke predmete, učitelji pa slabe ocene, kar lahko spodbudi slabo poučevanje in povzroči inflacijo ocen [9]. V nedavni študiji so Looi in sod. (2020) [31] raziskovalci poročali, da so ugodnejši SET-i povezani in jih je lažje oceniti. Poleg tega obstajajo zaskrbljujoči dokazi, da je SET obratno sorazmeren z uspešnostjo študentov v naslednjih predmetih: višja kot je ocena, slabša je uspešnost študentov v naslednjih predmetih. Cornell in sod. (2016) [32] so izvedli študijo, da bi preučili, ali so se študenti naučili relativno več od učiteljev, katerih SET so visoko ocenili. Rezultati kažejo, da učitelji z najvišjimi ocenami pri ocenjevanju učenja na koncu predmeta prispevajo tudi k učenju večine študentov. Ko pa se učenje meri z uspešnostjo v naslednjih ustreznih predmetih, so učitelji z relativno nizkimi ocenami najučinkovitejši. Raziskovalci so postavili hipotezo, da bi lahko produktivna oteževitev predmeta znižala ocene, vendar izboljšala učenje. Zato ocene študentov ne bi smele biti edina osnova za ocenjevanje poučevanja, temveč bi jih bilo treba priznati.
Več študij kaže, da na uspešnost pri SET vpliva sam predmet in njegova organizacija. Ming in Baozhi [33] sta v svoji študiji ugotovila, da obstajajo znatne razlike v rezultatih SET med študenti pri različnih predmetih. Na primer, klinične znanosti imajo višje rezultate SET kot temeljne znanosti. Avtorja sta pojasnila, da je to zato, ker študente medicine zanima, da bi postali zdravniki, in imajo zato osebni interes in večjo motivacijo za večje sodelovanje pri predmetih kliničnih znanosti v primerjavi s predmeti temeljnih znanosti [33]. Tako kot pri izbirnih predmetih ima tudi motivacija študentov za predmet pozitiven vpliv na rezultate [21]. Tudi več drugih študij podpira, da lahko vrsta predmeta vpliva na rezultate SET [10, 21].
Poleg tega so druge študije pokazale, da manjši kot je razred, višja je raven SET, ki jo dosežejo učitelji [10, 33]. Ena možna razlaga je, da manjši razredi povečajo možnosti za interakcijo med učiteljem in učenci. Poleg tega lahko na rezultate vplivajo tudi pogoji, v katerih se ocenjevanje izvaja. Na primer, na rezultate SET vplivata čas in dan poučevanja, pa tudi dan v tednu, ko se SET opravi (npr. ocenjevanja, opravljena ob vikendih, običajno privedejo do bolj pozitivnih rezultatov) kot ocenjevanja, opravljena prej v tednu [10].
Zanimiva študija Hesslerja in sodelavcev prav tako postavlja pod vprašaj učinkovitost metode SET. [34] V tej študiji je bila izvedena randomizirana kontrolirana študija v okviru tečaja nujne medicine. Študenti medicine tretjega letnika so bili naključno dodeljeni bodisi kontrolni skupini bodisi skupini, ki je prejela brezplačne piškote s čokoladnimi koščki (skupina s piškoti). Vse skupine so poučevali isti učitelji, vsebina usposabljanja in gradiva tečaja pa so bila za obe skupini enaka. Po tečaju so bili vsi študenti pozvani, naj izpolnijo sklop. Rezultati so pokazali, da je skupina s piškoti učitelje ocenila bistveno bolje kot kontrolno skupino, kar je postavilo pod vprašaj učinkovitost metode SET [34].
Dokazi v literaturi prav tako podpirajo, da lahko spol vpliva na rezultate SET [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Nekatere študije so na primer pokazale povezavo med spolom študentov in rezultati ocenjevanja: študentke so dosegle višje rezultate kot študenti [27]. Večina dokazov potrjuje, da študenti učiteljice ocenjujejo nižje kot učitelje [37, 38, 39, 40]. Boring in sod. [38] so na primer pokazali, da tako študenti kot študentke verjamejo, da so moški bolj izobraženi in imajo močnejše vodstvene sposobnosti kot ženske. Dejstvo, da spol in stereotipi vplivajo na SET, podpira tudi študija MacNella in sod. [41], ki je poročal, da so študenti v njegovi študiji učiteljice ocenili nižje kot učitelje pri različnih vidikih poučevanja [41]. Poleg tega so Morgan in sod. [42] predložili dokaze, da so zdravnice prejele nižje ocene poučevanja v štirih glavnih kliničnih rotacijah (kirurgija, pediatrija, porodništvo in ginekologija ter interna medicina) v primerjavi z zdravniki.
V študiji Murrayja in sodelavcev (2020) [43] so raziskovalci poročali, da sta privlačnost profesorjev in zanimanje študentov za predmet povezana z višjimi rezultati SET. Nasprotno pa je težavnost predmeta povezana z nižjimi rezultati SET. Poleg tega so študenti dali višje rezultate SET mladim belim moškim učiteljem humanistike in profesorjem z rednimi profesorskimi nazivi. Med ocenami poučevanja SET in rezultati ankete med učitelji ni bilo korelacij. Tudi druge študije potrjujejo pozitiven vpliv fizične privlačnosti učiteljev na rezultate ocenjevanja [44].
Clayson in sodelavci (2017) [45] so poročali, da čeprav obstaja splošno soglasje, da SET daje zanesljive rezultate in da so povprečja razredov in učiteljev skladna, še vedno obstajajo nedoslednosti v odgovorih posameznih učencev. Skratka, rezultati tega poročila o ocenjevanju kažejo, da se učenci niso strinjali s tem, kar so morali oceniti. Meritve zanesljivosti, pridobljene iz učenčevih ocen poučevanja, niso zadostne, da bi zagotovile podlago za ugotavljanje veljavnosti. Zato lahko SET včasih zagotovi informacije o učencih in ne o učiteljih.
SET za zdravstveno vzgojo se razlikuje od tradicionalnega SET, vendar vzgojitelji pogosto uporabljajo SET, ki je na voljo v splošnem visokošolskem izobraževanju, namesto SET, specifičnih za programe zdravstvenih poklicev, o katerih poroča literatura. Vendar pa so študije, izvedene v preteklih letih, odkrile več težav.
Jones in sodelavci (1994) [46] so izvedli študijo, s katero so želeli ugotoviti, kako oceniti profesorje na medicinski fakulteti z vidika profesorjev in administratorjev. Na splošno so se najpogosteje omenjena vprašanja nanašala na ocenjevanje poučevanja. Najpogostejše so bile splošne pritožbe glede neustreznosti trenutnih metod ocenjevanja uspešnosti, anketiranci pa so se pritoževali tudi nad SET in pomanjkanjem priznavanja poučevanja v akademskih sistemih nagrajevanja. Druge poročane težave so vključevale nedosledne postopke ocenjevanja in merila za napredovanje med oddelki, pomanjkanje rednih ocenjevanj in nezmožnost povezovanja rezultatov ocenjevanja s plačami.
Royal in sod. (2018) [11] opisujejo nekatere omejitve uporabe SET za ocenjevanje učnega načrta in fakultete v programih za zdravstvene delavce v splošnem visokošolskem izobraževanju. Raziskovalci poročajo, da se SET v visokošolskem izobraževanju sooča z različnimi izzivi, ker ga ni mogoče neposredno uporabiti za oblikovanje učnega načrta in poučevanje predmetov na medicinskih fakultetah. Pogosto zastavljena vprašanja, vključno z vprašanji o predavatelju in predmetu, so pogosto združena v en vprašalnik, zato imajo študenti pogosto težave z razlikovanjem med njimi. Poleg tega predmete v medicinskih programih pogosto poučuje več članov fakultete. To sproža vprašanja o veljavnosti glede na potencialno omejeno število interakcij med študenti in učitelji, ki so jih ocenili Royal in sod. (2018) [11]. V študiji Hwanga in sod. (2017) [14] so raziskovalci preučili koncept, kako retrospektivne evalvacije predmetov celovito odražajo dojemanje študentov o predmetih različnih predavateljev. Njihovi rezultati kažejo, da je individualizirano ocenjevanje predmetov potrebno za upravljanje večoddelčnih predmetov znotraj integriranega učnega načrta medicinske fakultete.
Uitdehaage in O'Neill (2015) [5] sta preučevala, v kolikšni meri so študenti medicine namerno opravljali SET v okviru večfakultetnega tečaja. Vsak od obeh predkliničnih tečajev je imel izmišljenega predavatelja. Študenti morajo vsem predavateljem (vključno s izmišljenimi predavatelji) v dveh tednih po zaključku tečaja posredovati anonimne ocene, vendar lahko predavatelja zavrnejo ocenjevanje. Naslednje leto se je to ponovilo, vendar je bil vključen portret izmišljenega predavatelja. Šestinšestdeset odstotkov študentov je virtualnega predavatelja ocenilo brez podobnosti, manj študentov (49 %) pa je virtualnega predavatelja ocenilo s prisotnimi podobnostmi. Te ugotovitve kažejo, da mnogi študenti medicine izpolnjujejo SET-e na slepo, tudi če so opremljeni s fotografijami, ne da bi skrbno premislili, koga ocenjujejo, kaj šele o uspešnosti predavatelja. To ovira izboljšanje kakovosti programa in lahko škoduje akademskemu napredku učiteljev. Raziskovalci predlagajo okvir, ki ponuja radikalno drugačen pristop k SET-u, ki aktivno in zavzeto vključuje študente.
V učnem načrtu medicinskih programov v primerjavi z drugimi splošnimi visokošolskimi programi obstaja veliko drugih razlik [11]. Medicinska vzgoja je, tako kot strokovna zdravstvena vzgoja, očitno osredotočena na razvoj jasno opredeljenih poklicnih vlog (klinična praksa). Posledično učni načrti medicinskih in zdravstvenih programov postanejo bolj statični, z omejeno izbiro predmetov in fakultete. Zanimivo je, da se tečaji medicinske vzgoje pogosto ponujajo v kohortni obliki, kjer vsi študenti vsak semester obiskujejo isti predmet hkrati. Zato lahko vpis velikega števila študentov (običajno n = 100 ali več) vpliva na obliko poučevanja in na odnos med učiteljem in študentom. Poleg tega se na mnogih medicinskih fakultetah psihometrične lastnosti večine instrumentov ob začetni uporabi ne ocenjujejo, lastnosti večine instrumentov pa lahko ostanejo neznane [11].
Več študij v zadnjih nekaj letih je dokazalo, da je mogoče SET izboljšati z obravnavo nekaterih pomembnih dejavnikov, ki lahko vplivajo na učinkovitost SET na instrumentalni, administrativni in interpretativni ravni. Slika 3 prikazuje nekatere korake, ki jih je mogoče uporabiti za ustvarjanje učinkovitega modela SET. Naslednji razdelki vsebujejo podrobnejši opis.
Izboljšati SET na instrumentalni, upravljavski in interpretativni ravni za razvoj učinkovitih SET modelov.
Kot smo že omenili, literatura potrjuje, da lahko spolna pristranskost vpliva na ocenjevanje učiteljev [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson in sod. (2019) [40] so izvedli študijo, ki je preučevala, ali spol učencev vpliva na odzive učencev na prizadevanja za ublažitev pristranskosti. V tej študiji je bil test SET izveden v štirih razredih (dva sta poučevala učitelja moškega spola, dva pa učiteljice). Znotraj vsakega predmeta so bili učenci naključno dodeljeni standardnemu orodju za ocenjevanje ali istemu orodju, vendar z uporabo jezika, zasnovanega za zmanjšanje spolne pristranskosti. Študija je pokazala, da so učenci, ki so uporabljali orodja za ocenjevanje proti pristranskosti, dali učiteljicam bistveno višje ocene SET kot učenci, ki so uporabljali standardna orodja za ocenjevanje. Poleg tega ni bilo razlik v ocenah učiteljev moškega spola med obema skupinama. Rezultati te študije so pomembni in kažejo, kako lahko relativno preprost jezikovni poseg zmanjša spolno pristranskost pri učencih pri ocenjevanju poučevanja. Zato je dobra praksa, da se vse teste SET skrbno preuči in pri njihovem razvoju uporabi jezik za zmanjšanje spolne pristranskosti [40].
Za pridobitev koristnih rezultatov katerega koli SET-a je pomembno, da vnaprej skrbno preučite namen ocenjevanja in besedilo vprašanj. Čeprav večina anket SET jasno navaja razdelek o organizacijskih vidikih predmeta, tj. »Ocenjevanje predmeta«, in razdelek o fakulteti, tj. »Ocenjevanje učiteljev«, v nekaterih anketah razlika morda ni očitna ali pa lahko med študenti pride do zmede glede tega, kako posebej oceniti vsako od teh področij. Zato mora biti zasnova vprašalnika ustrezna, pojasniti oba različna dela vprašalnika in študente seznaniti s tem, kaj je treba oceniti na vsakem področju. Poleg tega je priporočljivo pilotno testiranje, da se ugotovi, ali študenti vprašanja interpretirajo na predviden način [24]. V študiji Oermanna in sodelavcev (2018) [26] so raziskovalci poiskali in sintetizirali literaturo, ki opisuje uporabo SET-a v številnih disciplinah dodiplomskega in podiplomskega izobraževanja, da bi pedagogom zagotovili smernice o uporabi SET-a v programih zdravstvene nege in drugih zdravstvenih delavcev. Rezultati kažejo, da je treba instrumente SET pred uporabo oceniti, vključno s pilotnim testiranjem instrumentov s študenti, ki morda ne bodo mogli interpretirati postavk ali vprašanj instrumenta SET, kot je nameraval predavatelj.
Več študij je preučilo, ali model upravljanja SET vpliva na angažiranost študentov.
Daumier in sodelavci (2004) [47] so primerjali ocene študentov o usposabljanju inštruktorjev, opravljenem v razredu, z ocenami, zbranimi na spletu, tako da so primerjali število odgovorov in ocen. Raziskave kažejo, da imajo spletne ankete običajno nižje stopnje odziva kot ankete v razredu. Vendar pa je študija ugotovila, da spletne ocene niso prinesle bistveno drugačnih povprečnih ocen od tradicionalnih ocen v razredu.
Poročali so o pomanjkanju dvosmerne komunikacije med študenti in učitelji med izpolnjevanjem spletnih (vendar pogosto tiskanih) izpitov SET, kar je povzročilo pomanjkanje možnosti za pojasnila. Zato pomen vprašanj, komentarjev ali študentskih ocen SET morda ni vedno jasen [48]. Nekatere institucije so to težavo rešile tako, da so študente za eno uro zbrale skupaj in jim dodelile določen čas za spletno (anonimno) izpolnjevanje izpita SET [49]. Malone in sodelavci (2018) [49] so v svoji študiji organizirali več sestankov, na katerih so s študenti razpravljali o namenu SET, kdo bo videl rezultate SET in kako bodo uporabljeni, ter o vseh drugih vprašanjih, ki jih študenti izpostavijo. SET se izvaja podobno kot fokusna skupina: kolektivna skupina odgovarja na odprta vprašanja z neformalnim glasovanjem, razpravo in pojasnili. Stopnja odziva je bila več kot 70–80 %, kar je učiteljem, administratorjem in odborom za učne načrte zagotovilo obsežne informacije [49].
Kot je bilo že omenjeno, so raziskovalci v študiji Uitdehaagea in O'Neilla [5] poročali, da so študenti v njihovi študiji ocenjevali neobstoječe učitelje. Kot smo že omenili, je to pogosta težava pri predmetih na medicinskih fakultetah, kjer lahko vsak predmet poučuje veliko članov fakultete, vendar se študenti morda ne spomnijo, kdo je prispeval k posameznemu predmetu ali kaj je posamezen član fakultete počel. Nekatere institucije so to težavo rešile tako, da so zagotovile fotografijo vsakega predavatelja, njegovo/njeno ime in predstavljeno temo/datum, da bi osvežile spomin študentov in se izognile težavam, ki ogrožajo učinkovitost programa SET [49].
Morda najpomembnejša težava, povezana s SET, je, da učitelji ne morejo pravilno interpretirati kvantitativnih in kvalitativnih rezultatov SET. Nekateri učitelji morda želijo izvajati statistične primerjave med leti, nekateri lahko manjša povečanja/zmanjšanja povprečnih rezultatov vidijo kot pomembne spremembe, nekateri želijo verjeti vsaki anketi, drugi pa so do katere koli ankete povsem skeptični [45, 50, 51].
Če rezultati niso pravilno interpretirani ali študentske povratne informacije obdelane, lahko to vpliva na odnos učiteljev do poučevanja. Rezultati Lutovca in sodelavcev (2017) [52], je podporno usposabljanje učiteljev potrebno in koristno za zagotavljanje povratnih informacij študentom. Medicinska vzgoja nujno potrebuje usposabljanje za pravilno interpretacijo rezultatov SET. Zato bi morali biti profesorji na medicinski fakulteti usposobljeni za ocenjevanje rezultatov in pomembna področja, na katera se morajo osredotočiti [50, 51].
Opisani rezultati torej kažejo, da je treba SET-e skrbno zasnovati, izvajati in interpretirati, da se zagotovi pomemben vpliv rezultatov SET-ov na vse ustrezne deležnike, vključno s fakulteto, vodstvom medicinskih fakultet in študenti.
Zaradi nekaterih omejitev programa SET si moramo še naprej prizadevati za vzpostavitev celovitega sistema ocenjevanja, da bi zmanjšali pristranskost pri učinkovitosti poučevanja in podprli strokovni razvoj zdravstvenih pedagogov.
Popolnejše razumevanje kakovosti poučevanja kliničnih profesorjev je mogoče pridobiti z zbiranjem in triangulacijo podatkov iz več virov, vključno s študenti, kolegi, administratorji programov in samoocenami profesorjev [53, 54, 55, 56, 57]. V naslednjih razdelkih so opisana možna druga orodja/metode, ki jih je mogoče uporabiti poleg učinkovitega SET, da bi pomagali razviti ustreznejše in popolnejše razumevanje učinkovitosti usposabljanja (slika 4).
Metode, ki jih je mogoče uporabiti za razvoj celovitega modela sistema za ocenjevanje učinkovitosti poučevanja na medicinski fakulteti.
Fokusna skupina je opredeljena kot »skupinska razprava, organizirana za raziskovanje določenega sklopa vprašanj« [58]. V zadnjih nekaj letih so medicinske fakultete ustvarile fokusne skupine za pridobivanje kakovostnih povratnih informacij od študentov in odpravljanje nekaterih pasti spletnega SET. Te študije kažejo, da so fokusne skupine učinkovite pri zagotavljanju kakovostnih povratnih informacij in povečanju zadovoljstva študentov [59, 60, 61].
V študiji Brundleja in sodelavcev [59] so raziskovalci uvedli postopek evalvacije študentskih skupin, ki je vodjem predmetov in študentom omogočil razpravo o predmetih v fokusnih skupinah. Rezultati kažejo, da razprave v fokusnih skupinah dopolnjujejo spletna ocenjevanja in povečujejo zadovoljstvo študentov s celotnim postopkom ocenjevanja predmetov. Študenti cenijo možnost neposredne komunikacije z vodji predmetov in verjamejo, da lahko ta postopek prispeva k izboljšanju izobraževanja. Menili so tudi, da so lahko razumeli stališče vodje predmetov. Poleg študentov so tudi vodje predmetov ocenili, da fokusne skupine omogočajo učinkovitejšo komunikacijo s študenti [59]. Tako lahko uporaba fokusnih skupin medicinskim fakultetam zagotovi popolnejše razumevanje kakovosti vsakega predmeta in učinkovitosti poučevanja posameznega fakultetnega osebja. Vendar je treba opozoriti, da imajo same fokusne skupine nekatere omejitve, kot je na primer majhno število študentov, ki sodelujejo v njih, v primerjavi s spletnim programom SET, ki je na voljo vsem študentom. Poleg tega je lahko izvajanje fokusnih skupin za različne predmete dolgotrajen postopek za svetovalce in študente. To predstavlja znatne omejitve, zlasti za študente medicine, ki imajo zelo natrpan urnik in se lahko klinično usposabljajo na različnih geografskih lokacijah. Poleg tega fokusne skupine zahtevajo veliko število izkušenih moderatorjev. Vendar pa lahko vključitev fokusnih skupin v proces evalvacije zagotovi podrobnejše in natančnejše informacije o učinkovitosti usposabljanja [48, 59, 60, 61].
Schiekierka-Schwacke in sodelavci (2018) [62] so preučevali dojemanje študentov in fakultete o novem orodju za ocenjevanje uspešnosti fakultete in učnih izidov študentov na dveh nemških medicinskih fakultetah. Z fakulteto in študenti medicine so bile izvedene fokusne skupine in individualni intervjuji. Učitelji so cenili osebne povratne informacije, ki jih je zagotovilo orodje za ocenjevanje, študenti pa so poročali, da bi bilo treba ustvariti zanko povratnih informacij, vključno s cilji in posledicami, da bi spodbudili poročanje o podatkih ocenjevanja. Rezultati te študije tako podpirajo pomen sklenitve zanke komunikacije s študenti in njihovega obveščanja o rezultatih ocenjevanja.
Programi medsebojnega pregleda poučevanja (PRT) so zelo pomembni in se v visokem šolstvu izvajajo že vrsto let. PRT vključuje sodelovalni proces opazovanja poučevanja in zagotavljanja povratnih informacij opazovalcu za izboljšanje učinkovitosti poučevanja [63]. Poleg tega lahko vaje samorefleksije, strukturirane nadaljnje razprave in sistematično dodeljevanje usposobljenih kolegov pomagajo izboljšati učinkovitost PRT in učno kulturo oddelka [64]. Poroča se, da imajo ti programi številne koristi, saj lahko učiteljem pomagajo pridobiti konstruktivne povratne informacije od vrstnikov, ki so se v preteklosti morda soočali s podobnimi težavami, in jim lahko nudijo večjo podporo z zagotavljanjem koristnih predlogov za izboljšave [63]. Poleg tega lahko medsebojni pregled, če se uporablja konstruktivno, izboljša vsebino tečajev in metode izvajanja ter podpira medicinske pedagoge pri izboljšanju kakovosti njihovega poučevanja [65, 66].
Nedavna študija Campbella in sodelavcev (2019) [67] dokazuje, da je model medsebojne podpore na delovnem mestu sprejemljiva in učinkovita strategija za razvoj učiteljev kliničnih zdravstvenih vzgojiteljev. V drugi študiji so Caygill in sodelavci [68] izvedli študijo, v kateri so zdravstvenim vzgojiteljem na Univerzi v Melbournu poslali posebej zasnovan vprašalnik, da bi jim omogočili, da delijo svoje izkušnje z uporabo PRT. Rezultati kažejo, da med medicinskimi vzgojitelji obstaja veliko zanimanje za PRT in da prostovoljna in informativna oblika medsebojnega pregleda velja za pomembno in dragoceno priložnost za strokovni razvoj.
Omeniti velja, da morajo biti programi PRT skrbno zasnovani, da se izognemo ustvarjanju obsojajočega, »vodstvenega« okolja, ki pogosto vodi v povečano tesnobo med opazovanimi učitelji [69]. Zato bi moral biti cilj skrbno razviti načrte PRT, ki bodo dopolnjevali in olajšali ustvarjanje varnega okolja ter zagotavljali konstruktivne povratne informacije. Zato je potrebno posebno usposabljanje za usposabljanje ocenjevalcev, programi PRT pa bi morali vključevati le resnično zainteresirane in izkušene učitelje. To je še posebej pomembno, če se informacije, pridobljene iz PRT, uporabljajo pri odločitvah fakultete, kot so napredovanja na višje ravni, povišanje plač in napredovanja na pomembne upravne položaje. Treba je opozoriti, da je PRT dolgotrajen in tako kot fokusne skupine zahteva sodelovanje velikega števila izkušenih članov fakultete, zaradi česar je ta pristop težko izvedljiv na medicinskih fakultetah z omejenimi viri.
Newman in sodelavci (2019) [70] opisujejo strategije, ki se uporabljajo pred, med in po usposabljanju, opazovanja, ki poudarjajo najboljše prakse in opredeljujejo rešitve za učne težave. Raziskovalci so ocenjevalci podali 12 predlogov, vključno z: (1) pametno izbirajte besede; (2) dovolite opazovalcu, da določi smer razprave; (3) ohranite zaupnost in formatirane povratne informacije; (4) ohranite zaupnost in formatirane povratne informacije; povratne informacije se osredotočajo na učne spretnosti in ne na posameznega učitelja; (5) spoznajte svoje sodelavce, (6) bodite obzirni do sebe in drugih, (7) ne pozabite, da imajo zaimki pomembno vlogo pri zagotavljanju povratnih informacij, (8) uporabite vprašanja, da osvetlite perspektivo poučevanja, (10) vzpostavite zaupanje v procese in povratne informacije pri vrstniških opazovanjih, (11) naredite opazovanje učenja obojestransko koristno, (12) ustvarite akcijski načrt. Raziskovalci raziskujejo tudi vpliv pristranskosti na opazovanja in kako lahko proces učenja, opazovanja in razpravljanja o povratnih informacijah zagotovi dragocene učne izkušnje za obe strani, kar vodi do dolgoročnih partnerstev in izboljšane kakovosti izobraževanja. Gomaly in sodelavci (2014) [71] je poročal, da mora kakovost učinkovitih povratnih informacij vključevati (1) pojasnitev naloge z dajanjem navodil, (2) večjo motivacijo za spodbujanje večjega truda in (3) prejemnikovo dojemanje le-te kot dragocenega procesa, ki ga zagotavlja ugleden vir.
Čeprav profesorji na medicinski fakulteti prejemajo povratne informacije o PRT, je pomembno, da jih usposobijo za interpretacijo povratnih informacij (podobno kot je priporočeno usposabljanje za interpretacijo SET) in da jim omogočijo dovolj časa za konstruktiven razmislek o prejetih povratnih informacijah.
Čas objave: 24. november 2023