New ways of evaluating research and researchers. CoARA in the Norwegian research system.

NyEval - Følgeforskning på reformer i forskningsvurdering De senere årene er det det tatt flere initiativ for å endre hvordan forskning og forskere vurderes. CoARA (Coalition for Advancing Research Assessment) og NOR-CAM søker brede vurderingskriterier og endrede retningslinjer og praksis for forskningsvurdering. I dette prosjektet skal NIFU og samarbeidspartene undersøke hvordan slike reformer fungerer i Norge. Vurdering av forskning og forskere kritiseres å fokusere for mye på resultater publisert i vitenskapelige tidsskrifter og for lite på andre typer bidrag til forskning, undervisning, samfunnsinteraksjon og innovasjon. Dessuten er det bekymring for at kvantitative indikatorer brukes uansvarlig og fører til uønskede incentiver. For å lykkes må reformene motvirke slike tendenser og incentiver: 1) Å hindre at gitte typer publikasjoner er enerådende mål for forskere som ønsker en akademisk karriere og for fagfellene som bedømmer dem. 2) Å motvirke tendensen til å ty til lett tilgjengelige kvantitative indikatorer når forskning og forskere vurderes. Prosjektet skal studere drivere og barrierer for reformer innen to hovedtyper av vurderingsprosesser: vurdering for akademiske stillinger/opprykk og vurdering av søknader om forskningsprosjekter. Prosjektet er har som mål å bidra til bedre kunnskapsgrunnlag for implementering av forskningsvurderingsreformer, og utføres i samarbeid med sentrale aktører i sektoren: Universitets- og høgskolerådet, Forskerforbundet, Stiftelsen Dam og Akademiet for yngre forskere.

Ongoing reforms to science systems are directed at resolving research assessment. Current assessments are perceived to overly focus on publishing in scientific journals, and neglecting other types of contributions to research, teaching, societal interaction, and innovation. Moreover, there are concerns that irresponsible use of quantitative indicators leads to undesirable behaviour and research cultures. This project investigates the drivers and barriers to reforming research assessment based on multiple entry points: how notions of research quality develop and institutionalise, the reward and incentive system in science, norms that research assessments should comply with, and the role of quantitative indicators in peer review. Norway, one of the most active countries in the Coalition for Advancing Research Assessment (CoARA), serves as the empirical base for the study. We will examine changes in research assessment (RQ1), motivations behind these changes (RQ2), and how peer reviewers (RQ3) and assessed researchers (RQ4) experience and respond to these changes. Specifically, we examine changes to reviewer guidelines, assessment criteria, and CV formats/requirements. We will investigate the drivers and barriers of the changes (RQ5), and their potential impact on the Norwegian research system (RQ6). These questions will be addressed for two main types of assessment processes: the employment and promotion of academic staff (WP1) and the assessment of research grant proposals (WP2). Given the dynamics and scope of the current reform movement, we anticipate a growing need for knowledge on the drivers and barriers to reforming research assessment at all levels of academic institutions and funding agencies. To enhance relevance and expedite use, the project is organised as accompanying research to the implementation of research assessment reforms in Norway, involving major stakeholders as project partners.