Prvé výsledky nového prístupu k hodnoteniu výskumu zavedeného ako súčasť reforiem na zosúladenie systému vysokoškolského vzdelávania s normami EÚ viedli k mnohým výzvam. Začiatkom tohto mesiaca sa skupina expertov stretla s ministrom školstva Przemysławom Czarnekom, aby zvážili zlepšenia.

V roku 2018 Poľsko prijalo Ústavu pre vedu, významnú reformu vysokoškolského systému s cieľom priblížiť ho k štandardom EÚ. V rámci reformy boli zavedené nové kritériá hodnotenia výskumu.

To viedlo k zverejneniu výsledkov prvého hodnotenia uskutočneného v štvorročnom cykle v auguste 2022. Postavenie každej disciplíny v každej inštitúcii bolo hodnotené na základe troch hlavných kritérií: kvalita výstupov výskumu; zabezpečenie externého financovania výskumu; a dopad na spoločnosť a ekonomiku.

Výsledky sú klasifikované od A+ po C. Zatiaľ čo hodnotenie vykonáva komisia pre vedecké hodnotenie, o tom, do ktorej klasifikácie konkrétna disciplína patrí, rozhoduje ministerstvo školstva.

To je dôležité, pretože klasifikácia ovplyvňuje mieru slobody inštitúcií pri vytváraní vlastných študijných programov, právo udeľovať doktoráty, kvalifikáciu akademickej inštitúcie alebo odbornej inštitúcie a výšku financovania. To všetko sa odvíja od postavenia inštitúcie a jej vnímania širokou verejnosťou.

Keď ministerstvo školstva a vedy v auguste 2022 zverejnilo prvé výsledky hodnotenia podľa nového systému, takmer polovica hodnotených nebola s výsledkom spokojná.

Ministerstvo udelilo 65 A+; 323 A; 582 B+; 139 B; a 36 C, v rámci jednotlivých disciplín.

Podľa Marcina Pałysa, bývalého rektora Varšavskej univerzity, ktorý je členom akademickej expertnej skupiny, ktorá sa stretla s ministrom školstva Przemysławom Czarnekom, z celkového počtu 1 145 hodnotených odborov podalo žiadosť o prehodnotenie pridelenej kategórie približne 500 ľudí.

Opodstatnené odvolania

Pałys uviedol, že výsledok počiatočného hodnotenia bol dosť neočakávaný. „Najmarkantnejšie na tom bolo, že medzi najvyššími kategóriami bola podstatná skupina inštitúcií, ktoré majú veľmi málo ľudí, ktorí pracujú v danej oblasti. Napríklad disciplína práva na technických univerzitách bola hodnotená veľmi vysoko,“ uviedol pre Science|Business.

Ale pri zaradení do kategórie, o ktorej sa dá spochybniť, „z akéhokoľvek dôvodu, ktorý prijímateľ sa považuje za významný“, bez rizika, že by mohli byť označené, a Czarnek povzbudzoval všetkých, ktorí pochybovali o výsledkoch, aby požiadali o prehodnotenie, nebolo veľa dôvodov nežiadať o prehodnotenie.

V polovici septembra 2022 Czarnek pre noviny Dziennik Gazeta Prawna uviedol, že „prevažná väčšina“ týchto žiadostí je veľmi opodstatnená a očakáva, že budú vyriešené kladne.

Ministerstvo vo vyhlásení po januárovom rokovaní zdôraznilo, že systém hodnotenia by mal byť transparentný, zrozumiteľný pre všetkých účastníkov a odrážať charakter hodnotených inštitúcií.

Pałys uviedol, že existuje priestor na zlepšenie, ale zdôraznil, že akékoľvek zmeny sa zamerajú skôr na evolúciu systému ako na jeho úplné nahradenie. Keď už hovoríme o možných zmenách, poznamenal, že súčasný hodnotiaci algoritmus sa opiera o sofistikované výpočty, ktoré by sa mali zjednodušiť, aby účastníci mohli lepšie predpovedať výsledky.

Ďalšou dôležitou otázkou je prispôsobenie kvality výstupných kritérií výskumu potrebám rôznych odborov. V humanitných vedách majú vedci tendenciu vydávať knihy a monografie, zatiaľ čo v technike sú častejšie vedecké práce. Zatiaľ čo štvorročný hodnotiaci cyklus je dostatočne dlhý pre práce, pre knihy nemusí stačiť, uviedol Pałys. Vyzval tiež na väčšiu rovnováhu medzi bibliometrickými údajmi, ako je publikovanie v časopisoch s vysokým vplyvom a počet citácií článku, s odborným hodnotením a spoločenským vplyvom výskumu.

Ako ďalej poznamenal Palys: „Mnohé diskusie v Poľsku sa silne zameriavajú na bibliometrickú časť, ale je to len jedno kritérium a ďalšie dve sú tiež dôležité. Takže musíme mať rovnováhu.“

Navrhol tiež preskúmať, ako počet ľudí zapojených do konkrétneho súboru výskumu ovplyvňuje výsledok hodnotenia. Ako uviedol: „Momentálne sa zdá, že ak je objem produkcie umelo priradený menšej skupine ľudí, než na ktorej sa skutočne podieľali, skóre je vyššie.“ Tento problém je pravdepodobne dôvodom vysokého hodnotenia vedľajších disciplín na vysokých školách, dodal Pałys.

Náhodné výkyvy

Stretnutie sa zameralo aj na obmedzenie vplyvu náhodných výkyvov pri zadávaní finálnej kategórie. Ako uviedol Palys: „Ak inštitúcia dostane kategóriu A v jednom hodnotiacom období a kategóriu C v nasledujúcom období alebo naopak, bolo by to nekonzistentné.“

Nakoniec skupina zvážila vplyv publikácií v predátorských časopisoch, ktoré publikujú akýkoľvek príspevok predložený bez odborného hodnotenia, pokiaľ autor zaplatí poplatky za spracovanie článku, na výsledok hodnotenia.

V novembri 2022 Włodzimierz Bernacki, námestník ministra školstva a vedy, uviedol poľskej tlačovej agentúre, že zmenené kritériá hodnotenia budú zverejnené do polovice roku 2023. Zdôraznil, že cieľom je zlepšiť postup hodnotenia bez zmeny jeho základnej štruktúry.

Bernacki však zdôraznil aj potrebu zohľadniť, ako univerzity prispievajú k priebežnému vzdelávaniu vedeckých pracovníkov. V súčasnosti takéto kritérium neexistuje.

Bernacki tiež navrhol upraviť kritériá hodnotenia spoločenského vplyvu prideľovaním skóre za publikácie v populárno-vedeckých časopisoch, okrem skóre za publikovanie vo vedeckých časopisoch.

Ministerstvo školstva po vyriešení odvolaní zverejní konečné výsledky prvého hodnotenia výskumu podľa novej schémy. Hodnotenie 2022 – 2025 sa uskutoční v roku 2026.

Napriek mnohým sťažnostiam na to, ako doteraz prebiehal „upgrade“ hodnotenia výskumu, existuje všeobecná zhoda, že takéto hodnotenia sú potrebné.

Pałys tiež poznamenal, že poľskí akademici majú záujem prispieť k iniciatíve Európskej komisie na hodnotenie výskumu a zúčastniť sa diskusií o tom, ako zlepšiť metódy hodnotenia výskumu.

V decembri 2022, keď bola založená Koalícia pre pokrok v hodnotení výskumu (CoARA), aby prevzala iniciatívu, boli inštitúcie z Poľska druhou najväčšou skupinou po talianskych inštitúciách. Rektori nemeckých univerzít sa naopak rozhodli nevstúpiť do CoARA.

Zdroj: https://sciencebusiness.net, zverejnené: 30. 1. 2023, autor: rpa