Když koronavirus znemožnil prezenční přijímací řízení k navazujícímu studiu, Katedra psychologie brněnské Fakulty sociálních studií MU se rozhodla magisterské studenty a studentky přijímat podle analýzy bakalářských prací. O detailech hodnocení bakalářek pak autoři napsali odbornou studii, v níž postup doporučují i dalším školám.
„Vyrojila se řada dohadů, podle čeho jsme uchazeče vybírali a jestli jsme si třeba nezvolili ty, které jsme tu chtěli z nějakých jiných důvodů. Tak to ale nebylo: hledali jsme skutečně solidní, férový a poctivý proces hodnocení. Případné pochybnosti tak vyvracíme právě publikací toho postupu, který může zároveň sloužit jako inspirace pro jiné ústavy a školy. Shrnujeme v něm zvažovaná kritéria, statistický model použitý pro vyvažování přísnosti jednotlivých hodnotitelů nebo argumentaci, proč je hodnotitelů víc,“ vysvětluje psychometrik Hynek Cígler, který se na vývoji postupu hodnocení bakalářských prací podílel.
Tento formát výběru studentů a studentek možná zachovají i po odeznění koronavirové epidemie, jako alternativu ke stávajícímu přijímacímu řízení založenému na znalostním testu. „Protože dobré přijímací zkoušky se zakládají na více různých způsobech testování uchazečů, aby ke studiu vybraly různé typy studentů,“ vysvětluje.
Pokud správně rozumím publikovanému článku, jste s výběrem studentů a studentek podle analýzy jejich bakalářek spokojeni?
Hodnocení bakalářských prací považujeme za perspektivní. Nejlepším prediktorem budoucího chování je totiž chování současné, takže nejlepším prediktorem kvalitního průběhu studia je dřívější kvalitně odvedená práce. Podobný způsob výběru navíc probíhá už při přijímačkách do bakalářského studia, když mnohé školy uchazeče přijímají třeba na základě středoškolské odborné činnosti. Objektivní závěry ale budeme mít až později, akademický rok 2020/2021 je kvůli distanční výuce jiný, takže výsledky nemůžeme validizovat.
Co analýza bakalářské práce o uchazečích a uchazečkách prozradí?
Můžeme zjistit, jestli je student na dostatečné metodologické úrovni, má dostatečné teoretické zázemí a je dostatečně dobře ukotvený v oboru, aby dokázal těžit z informací, které mu nabízíme v magisterském studiu. Jinak by pro něj pokračování ve studiu bylo velmi obtížné, zejména ve srovnání s někým, kdo s informacemi dokáže zacházet adekvátně. Studium psychologie také zahrnuje časté samostudium, čtení literatury, takže je důležité, aby se člověk dokázal v oboru sám orientovat, což bakalářská práce indikuje dobře.
Jaká kritéria jste hodnotili?
Kritéria jsme stavěli jako co nejobjektivnější, aby hodnotitelé mohli jednoznačně určit, jestli něco bylo, nebo nebylo splněno. Kvůli časové náročnosti jsme začali screeningovými podmínkami. U těch mohl hodnotitel ve velmi krátkém čase poznat, jestli jsou splněny: třeba jestli se nejedná o plagiát, jestli se jedná o práci z oboru psychologie, je dokončená a disponuje relevantní literaturou. Kdyby šlo o plagiát, neodbornou nebo neúplnou práci, další posuzování by bylo ztrátou času, protože by uchazeč dost bodů stejně nezískal.
Následně jsme se zabývali kvalitou literatury, smysluplností teoretického úvodu, designem té studie, kvalitou zpracování dat, ať už kvantitativních, nebo kvalitativních, a kvalitou zpracování diskuse. Drželi jsme se formátu běžného výzkumného článku a kritéria vytvářeli tak, aby odpovídala požadavkům na bakalářskou práci, včetně třeba formální úpravy, která ale takovou roli zase nehrála.
Je potřeba ale zmínit, že naše hodnocení nebylo založené na pouhém součtu bodů. Každou práci posuzovali dva náhodně vylosovaní hodnotitelé, případné neshody kontrolovala přijímací komise. Použitý statistický model z oblasti tzv. teorie odpovědi na položku bral v úvahu rozdílnou přísnost posuzovatelů i rozdílnou náročnost dílčích kritérií. Výsledné skóre bylo velmi reliabilní – jinými slovy dobře rozlišovalo uchazeče s kvalitní prací od těch s méně kvalitní. Protože takový postup nemusí být na první pohled úplně transparentní, kromě jeho podrobného popisu v článku na webu fakulty jsme dali k dispozici i anonymizovaná data včetně použitého analytického skriptu. Náš postup si tak může kdokoli zkontrolovat.
Jaká negativa má takový přístup? Na první dobrou mě napadá, jestli nemůže hrát zásadní roli i osoba vedoucího či vedoucí?
Se skvělým vedoucím nejspíš napíšu lepší práci, to do procesu opravdu vnáší jistý prvek neférovosti. A asi s tím nejde nic moc udělat. Lze hypotetizovat, že člověk, který přesvědčí lepšího vedoucího, aby mu práci vedl, může být lépe připravený, ale takové hypotézy budou vždycky pokulhávat. A vedoucí práce bude hrát roli na úrovni samotného textu i na hodnocení. Tomu jsme se ale snažili předejít: aby vedoucí ani oponent bakalářskou práci nehodnotil.
Mimochodem, berete v úvahu i možnost, že si student bakalářskou práci koupí?
Neumím si představit, že by koupená bakalářská práce naším hodnocením prošla. Sám jsem si nikdy práci nekupoval, ani jsem nikdy neměl podezření u někoho ze studentů, takže netuším, jak taková práce může být dobrá. Myslím ale, že koupená bakalářka nebude splňovat standardy kvalitní práce ani při obhajobě, natož aby stačila k přijetí uchazeče do dalšího studia.
Zpět k původní otázce: Nese s sebou tedy váš přístup i nějaká negativa?
Jediným problémem je, že tu práci nelze zopakovat. Pokud umím napsat dobrou práci, ale neudělám to, protože jsem třeba měl zrovna osobní problémy, musel pracovat nebo byl nemocný, už bakalářskou práci neopravím. Takže by nám za běžných okolností nepřipadalo fér přijímat výhradně na jejím základě. I proto, že se kvalita bakalářek rok od roku zlepšuje, práce obhájené před patnácti lety jako skvělé by dneska obstály stěží – a navazující studium je zapotřebí umožnit i lidem, kteří to bakalářské ukončili před lety.
Prozradí bakalářská práce, jestli budu dobrý psycholog? Ti přece nepotřebují ovládat formáty citování v odborných studiích…
Naším cílem bylo vybrat studenty, u nichž předpokládáme, že se jim náš obor bude dobře studovat. Nechceme ověřovat, jaké schopnosti má daný student k výkonu psychologického povolání, protože těch je velké množství: psychologové mohou pracovat ve výzkumu, v terapii, v klinické oblasti nebo se uplatnit někde úplně jinde. Nemáme konkrétní požadovaný typ absolventů, takže nemůžeme definovat, jak se pozná dobrý psycholog. Můžeme ale definovat, komu studium půjde a kdo si z něj nejvíc odnese. A právě takové uchazeče se snažíme vybrat.
Proto je pro nás důležité, že uchazeč dokáže dodržet zvolený formát a styl vědeckého textu – a způsob citace je jeho nedílnou součástí. Netrvali jsme na konkrétním formátu, ale jednotnosti citací: aby informace byly ocitované jasně a správně. V následných analýzách přitom toto kritérium nijak nevybočovalo z dalšího hodnocení. Všechna kritéria spolu souvisela velmi podobně, celá ta hodnoticí struktura se zpětně ukázala být jednodimenzionální, jak jsme plánovali. Na základě získaných dat tak můžeme konstatovat, že různá hodnocení svorně měří totéž – nazvěme to kvalitou diplomové práce – a je jedno, jestli jako konkrétní kritérium uvažujeme literaturu, kvalitu teoretického úvodu nebo design výzkumu.
Z hlediska fakulty mi dává smysl vybírat studenty a studentky, kteří píšou dobré akademické texty, takže vyprodukují dobré seminární a diplomové práce. Váhám ale z hlediska společnosti: potřebujeme, aby psychologii studovali zrovna lidé, kteří píšou kvalitní akademické texty?
Pro společnost je důležité, aby absolventi – ať už psychologie, nebo jiných oborů – byli dobře vzděláni v tom, co vystudovali, aby měli dobré teoretické a praktické zázemí. Jedním z klíčových požadavků na psychologa je i metodologická připravenost. To vyplývá i z mezinárodního konsenzu, z požadavků na „europsychologa“: má se jednat o teoreticky a výzkumně dobře připraveného člověka. Tedy člověka, který mimo jiné umí sepsat kvalitní text.
Samozřejmě existuje i spousta jiných důležitých charakteristik, které by měl absolvent psychologie splňovat. Ty ale nejsou univerzální: mnozí psychologové by třeba měli umět dobře jednat s lidmi, ale člověk může také působit ve výzkumu, kde to zapotřebí tolik není. Schopnost nakládat s informacemi a kriticky je hodnotit se prolíná s největším možným množstvím potenciálních uplatnění psychologů.
Když se přesuneme od psychologie do obecné roviny: měly by vysoké školy nabírat budoucí dobré studenty, nebo budoucí dobré profesionály?
Myslím, že podle toho, jestli bude člověk v životě úspěšný, by se studenti přijímat neměli. To není starostí vzdělávací instituce. Naším cílem je předat znalosti a poznatky odpovídající danému oboru. Jak je pak člověk využije, zůstává na něm, případně – třeba u medicíny, klinické psychologie nebo práv – na zodpovědnosti profesních organizací. Naší odpovědností je dobře studentům předat poznatky. Proto si vybíráme lidi, kterým se bude poznání snadno předávat. Pokud někomu poznatky předat nedokážu a dost možná bych ho v průběhu studia vyhodil, nemá cenu ho přijímat. Přesně to predikovat nejde, ale vzhledem ke kapacitním limitům oboru musíme uchazeče nějak protřídit.
Nedostávají se potom kvůli určitému způsobu přijímacího řízení ke vzdělání spíš určité typy lidí?
Důležité je, aby studující byli pestrou skupinou, což odpovídá mezinárodním standardům pro pedagogické a psychologické testování, které vydává několik amerických psychologických a vzdělávacích asociací. Jakékoli přijímací zkoušky by se měly skládat z dílčích částí tak, aby uchazeč mohl dílčí nedostatek vykompenzovat něčím jiným. Protože je evidentní, že potřebujeme znalostmi oboru vybavit různé typy lidí, kteří pak budou působit v různých oblastech.
Kdybychom třeba na psychologii přijímali výhradně lidi, kteří budou dobrými psychoterapeuty, de facto bychom ukončili vývoj oboru jako vědy. Nebo kdybychom přijímali jen lidi, z nichž budou dobří výzkumníci, nepřipravili bychom dostatek psychoterapeutů. Proto chceme přijmout každého, kdo ten obor může vystudovat – a co s tím pak budou dělat, je na nich. To by neměla definovat přijímací zkouška, ale obor jako takový: studium je koncipované tak, aby připravovalo lidi na všechny dílčí oblasti, kde naši absolventi chtějí působit.
I výsledky v relativně obecných testech studijních předpokladů souvisejí s postavením rodičů: vysokoškolské vzdělání otce například zvyšuje šanci na přijetí podle takového testu asi o čtvrtinu. Proč?
Přesná data k zodpovězení takové otázky nemáme, korelaci mezi sociálně ekonomickým statusem a výsledky u přijímacích zkoušek nejspíš způsobuje mix různých vztahů. V první řadě lidé z bohatších rodin investují víc peněz do přípravy. A dost možná absolvují víc termínů přijímacích zkoušek, takže při absolvování pěti testů spíš dosáhnou lepšího výsledku, než kdyby absolvovali jen jeden. A konečně jsou zvýhodněni už tím, že pochází z lepšího zázemí, podnětnějšího prostředí, mají větší kulturně-společenský přehled, což se asi nedá úplně odmazat. Opakování testů ale vnímám jako skutečný problém, protože se jedná o přímé znevýhodnění lidí, kteří nemají peníze.
Na FSS MU dáváte uchazečům o bakalářské studium vybrat ze dvou různých testů studijních předpokladů: Testu studijních předpokladů (TSP) Masarykovy univerzity nebo Obecných studijních předpokladů (OSP) společnosti Scio. Líbí se mi praktičnost řešení, které uchazeče nežene na další testy, pokud už má některé za sebou. Vaše aplikace ale ukazuje, že je to nefér…
Důvodů je víc. Zaprvé percentily z OSP a TSP nejsou úplně srovnatelné, protože lze předpokládat, že oba testy absolvuje trochu jiná, víc, nebo míň schopná skupina uchazečů, takže mezi jejich výsledky budou systematické rozdíly.
Zadruhé lze testy OSP opakovat a v úvahu se bere nejlepší z pokusů. Ve chvíli, kdy budu házet kostkou opakovaně, mám výrazně vyšší pravděpodobnost, že hodím vyšší hodnotu. A stejně to je v měření, při pěti opakovaných pokusech mám výrazně vyšší pravděpodobnost, že mi vyjde dobrý výsledek v důsledku prosté náhody, chyby měření daného testu. TSP lze oproti tomu absolvovat jen jednou.
A konečně třetí bod: tyhle nuance nejsou běžnému uchazeči zřejmé. Jeho volba tak není informovaná. Tyto zádrhele se špatně komunikují i v odborné komunitě, na úrovni fakulty nebo univerzity, a pro běžného uchazeče, který se testováním nezabývá, nejsou pochopitelné. Takže zvolí TSP, nebo OSP, aniž by měl k dispozici všechny informace, což je neetické. Všechny uvedené body jsou dokonce v přímém rozporu s již zmíněnými standardy na podobný druh testování.
Jak velký rozdíl v pravděpodobnosti přijetí může rozdíl mezi na první pohled velmi podobnými testy způsobit?
Konkrétně u přijímaček na psychologii: Pokud náhodný uchazeč absolvuje jak testy společenských věd, tak OSP nebo TSP pětkrát, pravděpodobnost jeho přijetí je asi třicet procent. Pokud by absolvoval každý test jen jednou, jedná se o čtrnáct procent. Opakování testů tak šanci navýší velmi výrazně. Největší navýšení je přitom u lidí, jejichž skutečný výkon leží právě na hraně mezi přijetím a nepřijetím, takže jejich úspěch závisí na tom, jak se jim povede test. Pokud testy absolvují jen jednou, mají pravděpodobnost přijetí asi 40 procent, zatímco pokud by je opakovali pětkrát, mají pravděpodobnost přijetí třeba 98 procent, přestože jejich znalosti a dovednosti jsou stále stejné. To je efekt opakování. Jde samozřejmě jen o simulaci na základě odhadovaných parametrů obou testů, reálná data bohužel nemáme k dispozici.
Samotný rozdíl mezi TSP a OSP je přitom taky značný: průměrný rozdíl úspěchu uchazečů u obou testů dosahuje vyšších jednotek procent, až třeba k deseti percentilovým bodům. Nemůžu ale vědět, jestli je příčinou rozdíl v obtížnosti testů, nebo ve schopnostech lidí, kteří volí jeden, nebo druhý test, takže nechci uvádět konkrétní číslo.
Jak by potom měly vypadat ideální přijímací zkoušky?
Test s tužkou a papírem ve stresujícím prostředí někomu vyhovuje víc než někomu jinému, takže je dobré přidat další kritéria: třeba onu středoškolskou odbornou činnost nebo pohovor, kdybychom dokázali férově vyvážit hodnocení jednotlivých komisí.
Kdybych dostal neomezený rozpočet k zajištění ideálních přijímacích zkoušek, určitě bych se nespokojil s písemnými testy. Kromě studijních předpokladů bych zahrnoval posouzení nějaké písemné práce toho člověka, posuzoval jeho dlouhodobější výsledky a další věci. Na některých oborech by mohly být i ústní pohovory, ne tolik kvůli motivaci ke studiu, ale třeba schopnosti argumentovat. Někde může být důležité předvést nějaké dovednosti, které se obtížně získávají, třeba u budoucích učitelů můžeme chtít, aby dokázal dobře mluvit a netrpěl přehnanou trémou. Zároveň můžeme uvažovat i o tom, jestli každé dílčí zkoušce přidělíme nějakou bodovou hodnotu a všechny je sečteme, nebo jestli přijímací řízení bude vícekrokové: některé uchazeče třeba přijmeme na základě známek a zbylá místa obsadíme pomocí písemného testu.
Problém ale přináší už samotný koncept přijímacího řízení. Efektivnější je přijmout víc studentů a následně je protřídit v průběhu studia, jak to dělají mnohé technické obory, to je mnohem férovějším ukazatelem než příprava člověka na jednorázovou zkoušku. Anebo kombinace obojího.
To ale znamená zmařenou investici státu a rok života neúspěšného studenta nebo studentky.
Nejde ale o ztracený rok. Pokud budu rok studovat nějaký obor, sice nedostanu diplom, ale něco jsem se naučil, rozhodně mi to něco dá. Bude to stát peníze, ale investice do vzdělávání se nám vrátí. Hranice, za kterou se vracet přestanou, je daleko dál, než kde jsme dneska. Takže by se jednalo o výhodnou strategii i ekonomicky, nejen co do výběru vysokoškoláků.