Hodnotenie výskumu: Nemecká výskumná nadácia vzbudzuje obavy, keď sa rozhovory o reforme EÚ chýlia ku koncu

Nemecké výskumné inštitúcie varujú pred centralizovanou reformou hodnotenia výskumu v Európe, keďže Európska komisia a zainteresované strany sa chystajú podpísať návrh dohody o nových usmerneniach pre hodnotenie výskumníkov.

Nemecká výskumná nadácia (DFG) v stanovisku zverejnenom 18. mája 2022 uviedla, že je proti reforme systému hodnotenia výskumu v Európe zhora nadol, dva týždne po tom, čo aliancia deviatich nemeckých výskumných organizácií vrátane DFG varovala, že nepodpíšu návrh dohody pripravený spoločne členskými štátmi EÚ, zainteresovanými stranami a Komisiou, ak sa navrhované reformy ukážu ako záväzné.

Ako uviedla prezidentka DFG Katja Becker vo vyhlásení oznamujúcom zverejnenie stanoviska: „DFG sa zaviazala k otvorenému publikačnému systému a kultúre hodnotenia, ktoré je zamerané na obsah.“

DFG tvrdí, že je potrebná zmena v kultúre hodnotenia výskumných inštitúcií, ale reforma nemôže byť úspešná, ak manažéri výskumu nebudú plne dôverovať novému systému, ktorý by zahodil publikačnú metriku. Ako ďalej uviedla Becker: „Chceme podporiť dôveru v túto zmenu, aby sme akademickým pracovníkom uľahčili klásť kvalitu na prvé miesto, pokiaľ ide o zverejňovanie a hodnotenie vedy.“

Komisia a viaceré výskumné združenia v celej Európe tvrdia, že súčasný systém hodnotenia výskumu je zastaralý a je potrebná reforma, aby bol efektívnejší. Namiesto odmeňovania výskumníkov za počet publikovaných prác, citácie a prestíž príslušných časopisov by mal nový systém hľadieť na kvalitu výskumu a zároveň znižovať spoliehanie sa na metriky časopisov.

Tieto obavy nie sú nové a neobmedzujú sa len na EÚ. V roku 2013 podpísala medzinárodná koalícia deklaráciu DORA o hodnotení výskumu v San Franciscu v nádeji, že zníži váhu publikačných metrík pri hodnotení výskumníkov.

Komisia zaradila reformu hodnotenia výskumu do politického programu obnoveného plánu Európskeho výskumného priestoru pre jednotný trh pre výskum v EÚ. Komisia teraz zhromažďuje podporu od koalície organizácií na implementáciu reformy hodnotenia a na začatie jej testovania v tomto roku.

Hoci súhlasí s tým, že kariéra výskumníkov sa stala „príliš systematicky prepojená s kvantifikovaným hodnotením veľmi špecifických formátov publikácií ako akceptovaného dôkazu akademického úspechu“, DFG tvrdí, že je na výskumných inštitúciách, aby sa rozhodli, ako tento problém riešiť, pričom tvrdí, že reformy by mali vychádzať priamo z univerzít, výskumných inštitúcií, akadémií a verejných výskumníkov, ktorí financujú výskum. Ako sa uvádza v stanovisku: „Úlohou týchto zainteresovaných strán je zabezpečiť zodpovedné hodnotenie výskumu a zaručiť primeraný rozvoj publikačného systému v budúcnosti.“

DFG uznáva, že hodnotenie výskumu, ktorý sa výrazne opiera o publikačnú metriku, môže mať negatívny vplyv na vedu a humanitné vedy. Metriky, ako je celkový počet publikácií a citácií, ako aj bibliometrické ukazovatele, ako je h-index, metrika na hodnotenie kumulatívneho vplyvu autorovho vedeckého výstupu a výkonu, sú čoraz problematickejšie. Výskumníci môžu využiť systém a napredovať vo svojej kariére tým, že sa budú snažiť získať vyššie body v publikačnej hre namiesto toho, aby sa sústredili na obsah výskumu.

DFG odporúča, aby výskumné organizácie a financujúce agentúry prišli s novými spôsobmi hodnotenia kvality publikácií. Podľa jej stanoviska je zodpovednosťou financujúcich agentúr a nadácií akceptovať širší rozsah publikácií. Ako ďalej uvádza: „Reputácia miest vydávania a bibliometrické ukazovatele, ak existujú, by sa mali vyňať z kánonu oficiálnych hodnotiacich kritérií a mali by sa pri praktickom používaní obmedziť na minimum.“

Tobias Grimm, vedúci jednej z divízií biologických vied DFG, uviedol, že reforma hodnotenia výskumu je v Nemecku prebiehajúcou diskusiou, ale len veľmi málo univerzitných sietí podpísalo dohodu EÚ. Ako dodal: „Diskusia na miestnej úrovni je nezávislá od tejto iniciatívy Komisie.“

Podľa Grimma by sa výskumné organizácie mali menej spoliehať na metriky publikácií, pretože „ľudia sa ich snažia manipulovať“. Poznamenal, že DFG sa chystá zmeniť svoj systém hodnotenia, podpísala deklaráciu DORA a čoskoro zverejní novú šablónu životopisu a pokyny na podávanie žiadostí pre výskumníkov, ktoré kladú väčší dôraz na obsah projektov.

Ako uviedol Grimm: „Zároveň je dosť dôležité, aby Komisia ponechala [reformu] vo vlastníctve vedy. Nepotrebujeme zosúladenie pre jeho vlastné dobro.“

Nemecký výskumný systém má mnoho veľmi rôznorodých hráčov, od univerzít a finančných agentúr až po siete výskumníkov, ktorí sa zameriavajú na špecifické oblasti štúdia, zatiaľ čo federálna vláda má okrajovú zodpovednosť za vzdelávanie a vedu. Jurisdikcia je rozdelená medzi 16 krajín a komplexnú sieť univerzít a výskumných organizácií, financujúcich výskumníkov a charitatívnych organizácií so silným záväzkom k inštitucionálnej autonómii.

Reforma pod vedením EÚ

Komisia začala začiatkom roka 2021 zhromažďovať stanoviská od zainteresovaných strán s cieľom posunúť reformu vpred, no nemecké výskumné ústavy veľmi nechceli naskočiť do rozbehnutého vlaku bruselskej politiky a začali sa obávať potenciálnej záväznej dohody zhora nadol.

Minulý mesiac Komisia poslala e-mail hlavnej skupine zainteresovaných strán z oblasti výskumu, ktoré sa zúčastňujú na rokovaniach, a požiadala ich, aby do 26. apríla 2022 poskytli svoj príspevok k návrhu dohody. Odpovede budú informovať o rozhovoroch, ktoré sa uskutočnili 19. mája 2022  na online zhromaždení zainteresovaných strán.

Dohodu pripravuje tím predstaviteľov Európskej asociácie univerzít (EUA) a Science Europe spolu s Karen Stroobants, bývalou výskumníčkou v oblasti chémie, ktorá je teraz politickou poradkyňou pre rôzne výskumné inštitúcie v Európe. Komisia prevzala úlohu „sprostredkovateľa“.

Okrem redakčného tímu Komisia pomohla vytvoriť základnú skupinu 20 organizácií na úrovni EÚ a na vnútroštátnej úrovni. Komisia tiež zostavila zoznam takmer 300 organizácií, ktoré si želali podpísať dohodu o reforme.

Tento proces má pomôcť zainteresovaným stranám a tvorcom politiky zistiť, aký je účel reformy, ako bude vysvetlená výskumníkom a aké ukazovatele budú dopĺňať metriky časopisov.

Podľa Jana Palmowského, generálneho tajomníka Guild European Research-Intensive Universities, ktorý je jedným z 20 členov základnej vyjednávacej skupiny, by dohoda mohla byť dokončená veľmi skoro. Ako uviedol Palmowski: „Plány sú také, že to bude dokončené ešte v lete, takže to bude hotové začiatkom jesene.“

Keď sa proces prípravy reformnej dohody chýli ku koncu, Grimm tvrdí, že DFG dohodu nepodpísala, pretože chce vidieť výsledok rokovaní skôr, ako dá prázdny podpis. Ako uviedol Grimm, ktorý je tiež členom základnej skupiny: „Mali ste signatárov dokumentu, ktorý sa mal vypracovať, mali ste prázdnu stranu, ktorú ste museli podpísať.“  Aliancia deviatich nemeckých výskumných organizácií vrátane DFG sa zatiaľ rozhodla odložiť rozhodnutie o podpise dohody.

Palmowski je presvedčený, že viac inštitúcií podpíše dohodu po jej dokončení, ale potom sa Komisia a zainteresované strany budú musieť rozhodnúť, ako budú monitorovať svoj pokrok pri implementácii dohodnutých reforiem. Zabezpečiť, aby členské štáty postupovali, bude ťažké, hovorí, pretože EÚ má desiatky národných a regionálnych jurisdikcií v oblasti vysokoškolského vzdelávania a výskumu s rôznymi usmerneniami a zákonmi, kde sa inštitúcie stále vo veľkej miere spoliehajú na kvantitatívne ukazovatele.

Hlavnou otázkou teraz je, ako koncipovať dohodu tak, aby nebola obmedzujúca a umožňovala inštitúciám prispôsobiť sa a zároveň zachovať zmysel pre smerovanie, uviedol Palmowski.

Pokiaľ ide o nemeckú otázku, Palmowski hovorí, že veľká väčšina fakúlt na členských univerzitách Cechu už pracuje na tom, aby sa metriky nepoužívali nezávisle od kvalitatívnych hodnotení výskumníkov a ich práce. Ako dodal na záver: „Ak povieme, že všetko, čo sme doteraz robili, nie je dobré, nemecké inštitúcie sa k tomu nepridajú.“

Zdroj: https://sciencebusiness.net, zverejnené: 20. 5. 2022, autor: rpa