O způsobech hodnocení výzkumu

O způsobech hodnocení výzkumu

Tue Nov 29 09:03:00 CET 2016

Oddělené hodnocení základního a aplikovaného výzkumu či transformace financování výzkumných organizací směrem k výraznější finanční jistotě jejich rozvoje – takové zásadní změny současného systému přináší Metodika hodnocení výzkumných organizací od roku 2017, kterou Rada vlády pro výzkum, vývoj a inovace (RVVI) schválila 25. listopadu 2016. Dokument míří do meziresortního připomínkového řízení, posléze jej projedná Vláda České republiky. Jak uvedl místopředseda vlády pro výzkum, vývoj a inovace Pavel Bělobrádek, klíčoví aktéři vědeckovýzkumného prostředí se dlouhodobě shodují, že je třeba změnit systém hodnocení výzkumných organizací, který dosud oceňoval především kvantitu výsledků výzkumu: „Nové zásady hodnocení povedou k efektivnějšímu a transparentnějšímu rozdělování veřejných peněz, ocenění kvality a rovněž přispějí ke zvýšení odpovědnosti.“

Dokument RVVI je výsledkem jednání se zástupci hlavních aktérů vědy a výzkumu: tj. vysokých škol, ústavů Akademie věd, rezortních výzkumných organizací a organizací průmyslového výzkumu, s nimiž bude RVVI hodnocení realizovat. Vzniknuvší kvalitativní systém hodnocení odpovídá mezinárodním standardům a budou do něj postupně zapojováni i zahraniční odborníci. Nový systém bude zaváděn postupně v následujících třech letech, kdy se uskuteční pravidelné každoroční hodnocení výzkumných organizací; od roku 2020 bude pravidelné, cyklické a úplné s periodou opakování každých pět let.

Problematice hodnocení a financování výzkumu v České republice ve vztahu k bibliometrii a peer review se v listopadu věnovala mj. konference Mezi bibliometrií a peer review: Jak smysluplně a průhledně hodnotit vědecký výzkum? (viz níže).

JAK HODNOTIT VĚDECKÝ VÝZKUM?

Národní hodnocení a s ním související financování výzkumu v České republice se od roku 2004 realizovalo téměř výhradně na principu bibliometrického měření badatelských výstupů. Nejvýraznější kritika někdejšího způsobu hodnocení, tzv. kafemlejnku, zaznívala především od Akademie věd ČR, jež se od jeho využívání již od počátku distancovala.

Dílčí úprava metodiky hodnocení výzkumu a souvisejícího rozdělování institucionální podpory, kterou zabezpečuje Rada vlády pro výzkum, vývoj a inovace, nastala po dlouhodobých diskusích v roce 2013 a je, navzdory očekávání, platná i pro rok 2016. V reakci na kritiku a nežádoucí dopady stávajícího systému má připravovaná Metodika 2017+ zahrnovat výraznější podíl informovaného peer review a komplexněji zohlednit fungování výzkumných institucí. O nástrahách uvažovaného systému hodnocení diskutovali účastníci konference Mezi bibliometrií a peer review: Jak smysluplně a průhledně hodnotit vědecký výzkum?, kterou 18. listopadu 2016 uspořádal Sociologický ústav AV ČR v sídle Akademie věd na Národní třídě v Praze.

Debatou o bibliometrii a informovaném peer review chtěli účastníci konference přispět ke smysluplnému a empirickými poznatky podloženému nastavení Metodiky 2017+, jež vychází z projektu IPN Metodika a přihlíží ke zkušenostem z hodnocení ústavů Akademie věd. Zvanou přednášku pronesl Paul Wouters, profesor scientometrie a ředitel Centra pro studia vědy a technologií na Leidenské univerzitě a mj. také spoluautor Leidenského manifestu, který definoval 10 základních principů, jež by mělo respektovat smysluplné hodnocení. O manifestu se podrobněji dočtete rovněž v příspěvku Texty bez čtenářů aneb Horečná nehybnost vědy (Host 6/2015), v němž doc. Tereza Stöckelová ze Sociologického ústavu AV ČR a dr. Filip Vostal z Filosofického ústavu AV ČR kritizují kvantitativní hodnocení a poukazují na jeho problematické důsledky.

Připomeňme, že podstatou „kafemlejnku“ je z větší části automatizované rozdělování bodů za jednotlivé vědecké výstupy a následně peněz za obdržené body. Oprávněnou kritiku přidělování institucionální podpory prostřednictvím „kafemlejnku“ potvrdil mj. Mezinárodní audit výzkumu, vývoje a inovací v České republice, jehož výsledná zpráva kritizovala především skutečnost, že stávající hodnocení výzkumu se omezuje na kvantitativní měření vědeckých výstupů bez jejich kvalitativního vyhodnocování, a zdůraznila, že obdobný systém v žádné vědecky vyspělé zemi neexistuje. Jedním z doporučení auditu z roku 2011 je právě využití informovaného peer review – tedy hodnocení vědecké práce jinými odborníky ze stejné oblasti. 


Profesorka Eva Zažímalová

Hodnocení formou informovaného peer review, jak je běžné v zahraničí, využívá Akademie věd při pravidelné evaluaci svých pracovišť, aby získala kvantitativní i kvalitativní přehled o postavení vědy a výzkumu nejen v národním, ale i evropském a světovém kontextu. Naposledy se dosud nejpodrobnější hodnocení nejen v AV ČR, ale i v České republice uskutečnilo za období 2010–2014 (podrobněji viz následující rozhovor s předsedkyní Koordinační rady hodnocení prof. Evou Zažímalovou). 

„SCIENTOMETRIE/BIBLIOMETRIE: DOBRÝ SLUHA, ALE ŠPATNÝ PÁN“

Jako členka Akademické rady AV ČR odpovídáte za hodnocení jednotlivých pracovišť. Zakládá se především na evaluaci prostřednictvím odborných grémií, jež sestávají převážně ze zahraničních akademiků. Jaké jsou zkušenosti ze současné praxe?

Hovoříme-li o posledním hodnocení v AV ČR, odpovídalo dobré praxi v zahraničí. Zakládalo se na informovaném peer review, kdy hodnotitelé měli k dispozici nejen zprávy o činnosti jednotlivých vědeckých týmů i ústavů, jejich plány do budoucna a další informace o jejich aktivitách, ale také jednotně připravené bibliometrické podklady. Jednoznačně jsme však deklarovali (a zdůraznili v návodu pro hodnotitele), že záleží pouze na hodnotitelích, jak a zda vůbec bibliometrické podklady zohlední. Ústavy při hodnocení výborně spolupracovaly, dodržovaly termíny a atmosféra byla při hodnocení velmi dobrá (navzdory tomu, že se nikdo nehodnotí rád). Výzvou bylo obsadit hodnoticí grémia nejkvalitnějšími hodnotiteli; udržet je v optimálním obsazení a v „dobré kondici“ bylo napínavé do poslední minuty. Od účastníků jsme si samozřejmě (v různých rolích – hodnocených, hodnoticích i pozorovatelů) vyžádali zpětnou vazbu. Za důležité považuji, abychom o průběhu hodnocení informovali veřejnost. Co se nevydařilo optimálně, se pokusíme pro příští hodnocení zlepšit.

Hodnocení pracovišť AV ČR formou informovaného peer review se v českém badatelském prostředí využívá stále častěji. Shrnula byste jeho klady a naopak zápory ve srovnání s bibliometrickým měřením vědeckých výsledků?

Podobné hodnocení se dělá také ve Středoevropském technologickém institutu (CEITEC) – Akademie věd tedy není jedinou institucí v České republice, v níž se hodnocení vědeckých a dalších odborných aktivit takto provádí. V AV ČR má však větší rozsah a pokrývá širší škálu vědeckých oborů. Problémy a nástrahy informovaného peer review a jeho srovnání s bibliometrií a dalšími „metrikami“ výborně shrnul v plenární přednášce o hodnocení vědeckého výzkumu ředitel Centra pro studia vědy a technologií Leidenské univerzity a mj. také spoluautor Leidenského manifestu (2015) prof. Paul Wouters. Zmíním jen některé aspekty:

  • Informované peer review je multikriteriální a umožňuje posoudit i nekvantifikovatelné ukazatele;
  • může hodnoceným poskytnout širší zpětnou vazbu, včetně posouzení strategie a plánů do budoucna;
  • organizace a koordinace hodnocení s využitím informovaného peer review je náročná a vyžaduje zkušený profesionální tým;
  • kvalita informací, které informované peer review poskytne, závisí na vhodném výchozím nastavení kritérií (například velikost nejmenší hodnocené jednotky, definice oborů, v jejichž rámci se hodnocení uskutečňuje apod.);
  • kvalita informací, které může informované peer review poskytnout, závisí přímo na výběru (kvalitě) a dostatečném počtu hodnotitelů, rovněž je třeba definovat konflikt zájmů a vždy jej zohlednit;
  • peer review umožňuje navštívit dané pracoviště a nahlédnout do vnitřního života akademického prostředí.

Oproti tomu bibliometrie a scientometrie:

  • umožňuje zařadit jednotlivé vědecké a odborné výstupy (publikace, monografie, patenty, kapitoly v knihách apod.) podle přesně definovaných indikátorů v mezinárodním i oborovém kontextu – podmínkou je ale poučené použití příslušných indikátorů;
  • z principu neumožňuje pohled do budoucnosti;
  • je „strojově“ zpracovatelná;
  • je výborným podkladem pro peer review.

Biblio/scientometrie je tudíž „dobrý sluha, ale špatný pán“!

Jak v souvislosti s připravovanou metodikou hodnocení českých výzkumných institucí účinně provázat výsledky hodnocení a financování?

Připravovaná Metodika 2017+ vychází z výsledků a doporučení projektu IPN Metodika a rovněž ze zkušeností Akademie věd. Jak provázat výsledky hodnocení a financování na úrovni jednotlivých poskytovatelů a typů výzkumných institucí je politické rozhodnutí. Na úrovni AV ČR a jejích ústavů poté rozhoduje o rozdělení institucionální dotace mezi jednotlivé ústavy Akademická rada a její rozhodnutí schvaluje Akademický sněm. Současnou institucionální podporu ústavů jsme upravili s přihlédnutím:

  • ke zprávám hodnoticích komisí z posledního hodnocení s důrazem na hlavní zaměření činnosti týmů, respektive daného ústavu;
  • k obsahu podkladových materiálů pro poslední hodnocení (především tzv. Research Report a plány do budoucna);
  • k návrhu institucionální podpory pro rok 2017 předloženému a zdůvodněnému ředitelem daného pracoviště;
  • k současné úrovni financování,
  • k představě Vědecké a Akademické rady AV ČR o potřebě rozvíjet v Akademii věd určité směry výzkumu vzhledem k současnému vývoji (a potřebám společnosti).

Návrh úprav pro rok 2017 projedná a schválí Akademický sněm, který se koná 15. prosince 2016.

Jaké jsou vaše postřehy z konference?

Mám bohaté zkušenosti s organizováním vědeckých konferencí, a mohu tedy říci, že setkání bylo zorganizováno a vedeno výborně. Nápad přivést dohromady kolegy z různých oblastí akademické sféry a navíc jim umožnit vyslechnout přednášku jednoho z nejlepších světových odborníků na hodnocení vědy prof. Paula Wouterse a diskutovat s ním byl prostě skvělý. Téma bylo aktuální, a setkání tudíž užitečné, vlastní jednání časově vyvážené a „přesně dávkované“, atmosféra přátelská a pracovní – zaznamenala jsem jen pozitivní ohlasy, a to nejen od kolegů z Akademie věd. S organizátory jsme se shodli, že by bylo vhodné v takto zaměřených setkáních pravidelně pokračovat.

POSUN HODNOCENÍ K PEER REVIEW NESTAČÍ

(Rozhovor s doc. Terezou Stöckelovou ze Sociologického ústavu AV ČR)

 
Docentka Tereza Stöckelová

Jaké jsou zásadní výstupy konference?

Ráda bych vyzdvihla dva, podle mě nejdůležitější body, které zazněly od prof. Paula Wouterse. Za prvé, bibliometrie se nadužívá ke zpětnému hodnocení výkonu jednotlivců (h-index, počty článků s impakt faktorem apod.) a naopak málo se užívá k mapování oborových polí a jejich vývojových trendů (vzorce mezinárodní a mezioborové spolupráce apod.). Skutečnost, že se český systém posune od bibliometrie k peer review tedy nestačí. Důležité je, jaké bibliometrické ukazatele se budou brát v úvahu a jak se s nimi bude v různých disciplínách a na různých úrovních pracovat. Konkrétní detaily využití bibliometrie včetně otázky kvality dat, které by měly do vyhodnocování vstupovat v rámci připravované Metodiky 2017+, na konferenci bohužel nezazněly; podobně jako detaily týkající se organizace peer review, jež však budou rozhodující. Za druhé vyzdvihnu, co vyplynulo z Woutersova popisu hodnocení v Nizozemí. Národní hodnocení představuje jen jeden z aspektů evaluace, jež patří k celkové akademické kultuře tamních institucí. Vedoucí pracoviště každoročně hodnotí práci zaměstnanců formou pohovoru, na katedrách se konají interní semináře, na nichž si výzkumníci poskytují kritickou zpětnou vazbu atd. Tato reflexe se pojímá především jako příležitost posunout vlastní práci. V Česku se bohužel hodnocení (ve všech formách včetně například recenzního řízení v časopisech) vnímá především jako hrozba, manažerský nástroj dohledu, zdroj stresu a potenciální sankce, což bylo v případě kafemlejnku do značné míry oprávněné. Důležité je však nečekat na lepší systém hodnocení, který přijde „shora“ (sám o sobě nic nevyřeší), ale aktivně pracovat na vlastní akademické kultuře založené na kritické a konstruktivní pozornosti k práci kolegů a kolegyň.

Shrnula byste názory prof. Paula Wouterse, spoluautora „Leidenského manifestu“, na hodnocení vědy a výzkumu? Jsou jeho principy uplatnitelné i v českém badatelském prostředí?

Základní principy Leidenského manifestu výše uvedla prof. Eva Zažímalová. Mohu dodat, že bych každému doporučila, aby si přečetl plný text v časopise Nature. Proč by tyto principy neměly a nemohly být uplatněny i v českém prostředí? Jako obzvláště relevantní bych vyzdvihla, čím autoři 10 principů hodnocení uvádějí. Manifest chce poskytnout vědcům a vědkyním nástroj, jehož prostřednictvím přimějí skládat účty ty, kteří je hodnotí. V Česku se tzv. vykazatelnost většinou obrací výhradně na ty, kdo jsou předmětem vládnutí. Pokud nakládají s veřejnými prostředky, jde o oprávněný požadavek. Stejně důležité ale je, aby účty skládali i ti, kdo nastavují politiky – tj. nejen politici, ale také často nevolení úředníci, experti a manažeři. V tomto případě jde tedy o tvůrce vědní politiky na různých úrovních vědy a výzkumu.

Výzkumné organizace se v tomto roce hodnotí podle (poupravené) metodiky, která byla původně platná pro léta 2013 až 2015. Lze předpokládat, že se pro příští rok využije nová „IPN Metodika“? Přinese vědcům jistotu pro dlouhodobou a koncepční práci?

Podle toho, co prezentovala dr. Kateřina Miholová z Úřadu vlády ČR a vedoucí Komise pro hodnocení RVVI prof. Jitka Moravcová z Vysoké školy chemicko-technologické v Praze, by se již hodnocení podle nové metodiky mělo částečně uskutečnit a promítnout i do financování. Ovlivní však pouze dělení malé části prostředků na vědu, o které se rozpočet oproti minulým rokům navyšuje. Návrh se ale stále finalizuje a teprve vstoupí do meziresortního připomínkového řízení. Netroufám si odhadovat, na čem se může ještě „zadrhnout“. Stejně tak mi – ani po konferenci – nejsou známy detaily, které by dovolovaly odhadnout jeho potenciál pro dlouhodobou stabilizaci výzkumného prostředí.

Jak jsme již uvedli výše, Akademie věd ČR se vůči tzv. kafemlejnku výrazně vymezovala. Co přinesla reforma hodnocení vědy a výzkumu v roce 2013?

Úpravy z roku 2013 mnoho podstatného nepřinesly. Jak jsme slyšeli od panelistů, hodnocení knih v odborných panelech se organizačně nezvládlo. Komise byly zahlceny a těžko mohly pracovat na základě skutečného hodnocení obsahu předložených publikací; dokonce se zdá, že nebyly v některých oborech schopné se řídit ani vnějšími ukazateli kvality. Hodnocení excelentních výsledků v druhém pilíři je určitě krok správným směrem. Jak na konferenci poznamenal prof. Petr Dvořák z Masarykovy univerzity v Brně, i uvnitř institucí iniciovalo užitečnou debatu, co je kvalitní výstup vědecké práce v oborech, jímž se věnují. Naopak, jako jednoznačně neblahý krok bych hodnotila zrovnoprávnění publikací v databázi Scopus s těmi na Web of Science (WoS). Jak ukázaly aféry s predátorskými publikacemi v minulém roce i analýza Predátorské časopisy ve Scopusu z listopadu 2016, laťka pro přijetí časopisu do databáze Scopus je rozhodně níže, než je v případě WoS. To ovšem ještě neznamená, že bychom se měli slepě spoléhat na WoS, který navíc nedávno změnil vlastníka, a je otázkou, jakými směry se bude nadále ubírat.

Jakým způsobem je vhodné systém hodnocení rozvíjet v následujících letech?  

V obecné rovině je třeba nastolit produktivní rovnováhu mezi stabilitou principů hodnocení a flexibilitou využívaných indikátorů. Je sociologickým faktem, že indikátor, který se stane cílem i sám sobě (ať jde o produkci „RIV bodů“ nebo h-index), přestává být vhodným indikátorem. Potřebujeme pevný a jasný základní rámec hodnocení a dlouhodobý, ve své podstatě politický závazek podpory základního výzkumu v zemi, který poskytne stabilitu pro strategické řízení institucí. Jednotlivé indikátory je naopak potřeba v reakci na konkrétní vývoj (nové formy publikování, politiky databází) měnit – samozřejmě s důslednou argumentací a transparentně, což zamezí obsesivní fixaci na produkci samoúčelných výstupů „pro indikátory“. Taková reflexivita je jedním z principů Leidenského manifestu. K jejímu zajištění je potřeba otevřená politicko-akademická debata a také odpovídající odborné kompetence. Není náhodou, že v Nizozemí, které má v současnosti jeden z nejlepších systémů hodnocení vědy a výzkumu celosvětově, se velmi rozvinula studia vědy a technologií (STS). Centra STS jsou součástí každé tamější univerzity a věnují se jak výzkumu, tak výuce studujících v nejrůznějších oborech. Ostatně i prof. P. Wouters je součástí výzkumného týmu Evaluation Practices in Context, který se zabývá výzkumem sociálního života a efektů evaluačních praktik především za pomoci etnografických metod.

Panuje mezi jednotlivými aktéry vědy a výzkumu (Akademie věd – vysoké školy – průmyslová sféra) na přípravě systému hodnocení výraznější shoda nežli v počátečním období tzv. kafemlejnku?

V období kafemlejnku jsme technicky stále, i když mírně upraveného zásahy z roku 2013. Každopádně veřejných hlasů na jeho podporu zaznívá v současnosti pomálu. Řekla bych, že k tomu výrazně přispěla i loňská aféra s predátorskými publikacemi. Nicméně pravý stav věcí se zřejmě pozná až z meziresortního připomínkového řízení o nové Metodice 2017+.

Připravil: Luděk Svoboda, Odbor akademických médií SSČ AV ČR
Foto: Stanislava Kyselová, AV ČR