Vybírají vítězné grantové projekty experti a expertky s detailním porozuměním světovému výzkumu ve svých oborech? Nebo mezi projekty předních českých vědců a vědkyň vybírají lidé, jejichž vědecký rozhled končí na českých hranicích nebo, ještě hůře, před dvaceti lety? A pokud v některých panelech platí i to druhé, čím to je a co se s tím dá dělat? Čtěte resumé studie Matěje Bajgara (CERGE-EI) o publikační výkonnosti panelistů a panelistek Grantové agentury České republiky.
Snad každý, kdo dělá v Česku vědu, si dříve či později zažádá o grant u Grantové agentury České republiky (známé jako GAČR), ať už jako řešitel projektu, nebo jako člen řešitelského týmu. Zda jeho projekt v tuhé konkurenci nakonec financování získá, závisí především na tom, jak projekt ohodnotí členové příslušného oborového panelu. Hodnotících panelů je 39 a v každém z nich sedí kolem deseti vědců působících v daném oboru. Ti projekty přihlášené do dané výzvy oznámkují, získají pro ně posudky od zahraničních expertů a stanoví jejich pořadí. Podle něj nakonec GAČR rozhodne o tom, které projekty podpoří a které zamítne.
Cílem GAČR je podporovat projekty „s vysokým potenciálem pro dosažení výsledků světové úrovně“. Aby panely dokázaly takové projekty rozpoznat, jejich členové musí svou práci brát zodpovědně, rozhodovat férově a vyvarovat se konfliktů zájmu. To ale samo o sobě nestačí. Členové panelů se také musí skvěle vyznat v současném výzkumu ve svých oborech. Mají-li vybrané projekty posouvat hranici poznání, potřebují panelisté vědět, kde tato hranice leží.
Nabízí se důležité otázky. Vybírají projekty experti s detailním porozuměním světovému výzkumu ve svých oborech? Nebo mezi projekty předních českých vědců vybírají lidé, jejichž vědecký rozhled končí na českých hranicích nebo, ještě hůře, před dvaceti lety? A pokud v některých panelech platí i to druhé, čím to je a co se s tím dá dělat?
Právě tyto a podobné otázky se snažím zodpovědět ve studii, kterou vydal loni na podzim think-tank IDEA při CERGE-EI. Vycházím přitom z předpokladu, že nejlepší přehled o špičkovém výzkumu ve vědeckém oboru budou mít lidé, kteří sami takový výzkum provozují. Porovnávám proto kvalitu výzkumu členů panelů a vědců, jejichž projekty panelisté hodnotí.
Hodnotitelé a hodnocení očima bibliometrie
Jak mohu zhodnotit kvalitu něčího výzkumu, tím spíš v oborech, kterým vůbec nerozumím? Mohu se podívat na to, zda daný výzkumník dokázal výsledky svého výzkumu publikovat ve významných vědeckých časopisech, protože než byly přijaty k publikaci, prošly pečlivým zhodnocením ze strany editora a několika recenzentů. Tito odborníci usoudili, že výzkum přináší dostatečně nová, důležitá a průkazná zjištění, aby si zasloužil otištění v tak kvalitním časopise.
Hodnocením výsledků vědy se zabývá obor zvaný bibliometrie. Nabízí mnoho způsobů, jak publikace hodnotit. Pro potřeby studie jsem zvolil tři z nich. Zaprvé pozoruji, v jak významném časopise dokázal vědec nejlépe publikovat. Zadruhé sleduji, jak často vědec publikuje v nadprůměrně významném časopise. Zatřetí se dívám na to, jak často jsou články autora citovány jinými vědci. První způsob se zaměřuje na to nejlepší z výzkumu daného vědce, druhý zachycuje schopnost produkovat kvalitní výsledky pravidelně a třetí místo citovanosti časopisů přímo zkoumá citovanost článků autora. Přístupy se výrazně liší a každý z nich má své výhody i nevýhody. Pokud ale všechny dají podobný obrázek, bude o to větší naděje, že výsledek zhruba odpovídá skutečnosti.
Jak „dobrými“ vědci musí být členové panelů, aby byli schopní vybrat projekty s nejvyšším potenciálem? Těžko asi můžeme chtít, aby všichni panelisté byli úspěšnějšími vědci než i ten nejúspěšnější z řešitelů hodnocených projektů. Kde bychom takové panelisty hledali a kdo by koneckonců hodnotil jejich projekty, pokud by si chtěli zažádat o grant? Rozumnější je očekávat, že úroveň jejich výzkumu bude alespoň zhruba srovnatelná s úrovní řešitelů většiny úspěšných projektů. „Zhruba srovnatelná“ přitom znamená, že může být vyšší i trochu nižší, ale nikoli řádově nižší. Pokud má jeden řešitel dvanáct článků v nadprůměrných časopisech a panelista devět, jejich publikační výkonnost je srovnatelná. Pokud ale tento poměr je 12:1, či dokonce panelista nikdy v žádném nadprůměrném časopise nepublikoval, je namístě se ptát, zda má adekvátní publikační výkonnost k tomu, aby hodnotil projekt daného řešitele.
Není panel jako panel
Ve studii porovnávám členy panelů GAČR v letech 2019–2021 s řešiteli projektů, které každý panel hodnotil a které byly nakonec podpořené. Porovnávám tak vždy jen vědce v rámci stejného oboru, vymezeného panelem. Koukám na publikační výkonnost každého vědce za předchozích 10 let. Do srovnání nejsou zařazené humanitní vědy, protože u nich články v mezinárodně významných odborných časopisech nemusí být nejdůležitějším způsobem publikování vědeckých výsledků.
A co ukazují čísla? V průměru je vědecká úroveň panelistů velmi podobná jako u řešitelů úspěšných projektů. Co je důležitější, ve většině panelů jsou členové s publikační výkonností řádově slabší, než mají autoři hodnocených projektů, spíše výjimkou. Výsledky analýzy jsou přitom podobné bez ohledu na použité měřítko publikační výkonnosti.
Zároveň ale ve zhruba třetině z 35 panelů zahrnutých do analýzy je takových členů významný počet. V těchto panelech více než třetina, či dokonce více než polovina panelistů ani zdaleka nedosahuje vědecké úrovně řešitelů hodnocených projektů. Takový podíl méně úspěšných vědců přitom už má vliv na kvalitu rozhodování celého panelu.
Mezi „problematickými panely“ jsou všechny společenské vědy, velká část technických oborů a dva nebo tři přírodovědné obory. A asi nikoho nepřekvapí, že se jedná právě o tyto obory. Společenskovědní a některé technické obory jsou v Česku dlouhodobě slabší, a je proto obtížnější najít v nich špičkové vědce pro sestavení panelů.
Ale zdroje tu jsou!
To ale neznamená, že se v těchto oborech nedají najít vhodní kandidáti na členy panelů. I v oborech, kde dnes výrazná část panelistů nedosahuje úrovně řešitelů hodnocených projektů, působí několik desítek úspěšných vědců, kteří se těmto řešitelům vyrovnají. Byli by tak – alespoň z odborné stránky – dobrými kandidáty na roli panelistů, ovšem většina z nich nikdy v žádném panelu nepůsobila.
Nabízí se pak otázka, proč tomu tak je. Zčásti proto, že práce v panelu stojí čas, který řada vědců raději investuje do vlastního výzkumu. To je jistě pochopitelné, ale zároveň je to škoda. Hodnocení projektů je důležitá veřejná služba, a pokud právě špičkoví vědci nepomůžou státu rozpoznat a následně podpořit vynikající projekty, bude česká věda jako celek vzkvétat jen ztěžka. Od stávajících a minulých členů panelů přitom slýchám, že je tato služba naplňuje a vidí v ní smysl.
Pokud se vhodní kandidáti rozhodnou do panelu zapojit, neměla by jim pak v tom bránit zbytečná administrativa či zastydlá hierarchie na jejich mateřských institucích, jak se tomu někdy v minulosti dělo. V tomto směru je vítaným krokem, že GAČR nedávno zrušila povinnost, aby panelisty nominovala jejich domovská instituce. Zároveň je důležité dále mezi vědci šířit povědomí o tom, že práce v panelech je jim otevřená a zároveň potřebná a naplňující. GAČR například pravidelně oslovuje minulé řešitele podpořených projektů. Stejné ambice má i uvedená studie a tento článek.