Julkaisufoorumi kehittää tutkijan ja tutkimuksen sekä yhteiskunnallisen vaikuttavuuden vastuullista arviointia yhteistyössä suomalaisen ja kansainvälisen tutkimusyhteisön kanssa.
Vastuullinen tutkimuksen arviointi on viime aikoina ollut erityisen ajankohtainen aihe niin Suomessa kuin kansainvälisestikin. Eurooppalainen sopimus tutkimuksen arvioinnin uudistamisesta (The Agreement on Reforming Research Assessment, englanniksi) julkaistiin heinäkuussa 2022. Sen keskiössä ovat tutkimustyön ja sen arvioinnin moninaisuutta, avoimuutta ja syrjimättömyyttä edistävät toimet, jotka vahvistavat tieteen ja tutkimuksen laatua ja vaikuttavuutta.
Suomessa työ vastuullisen arvioinnin edistämiseksi on jo pitkällä, sillä tiedeyhteisö tuotti vuonna 2020 Vastuullisen tutkijanarvioinnin kansallisen suosituksen. Suomen kansallisen suosituksen päämäärät noudattavat yhtenäistä linjaa eurooppalaisen sopimuksen kanssa, jossa tutkijanarvioinnin keskiössä on tutkimuksen laatu julkaisumetriikan sijaan.
Sopimuksen on allekirjoittanut jo lähes 500 organisaatiota, Suomesta Tieteellisten seurain valtuuskunta, Suomen Akatemia, Dosenttiliitto, kaikki yliopistot sekä kuusi ammattikorkeakoulua. Allekirjoittaessaan sopimuksen organisaatiot sitoutuvat monimuotoisen ja laadullisen arvioinnin periaatteisiin, ja samalla ne saavat mahdollisuuden liittyä kansainväliseen yhteisöön, jossa vastuullista arviointia kehitetään edelleen.
Vaikka vastuullisen arvioinnin osalta paljon on jo saatu aikaa, on kehitettävää vielä tehtävänä. Yksi keskeinen osa-alue on akateemisen tutkimustyön monimuotoisuuden tunnistaminen ja laaja-alaisempi meritoituminen. Arvioinnin yhteydessä monimuotoisuudella tarkoitetaan sitä, että arvioinnin käytännöt ovat monipuolisia ja että arvioinnissa huomioidaan akateemisen työn tuotoksia laaja-alaisesti. Tämä edellyttää arvioinnin perustamista ensisijaisesti laadullisiin menetelmiin, jossa vertaisarviointi on keskeisessä asemassa, ja jota tukee määrällisten indikaattorien vastuullinen käyttö.
Määrällisten indikaattorien vastuuttomalla käytöllä tarkoitetaan ennen kaikkea sitä, että lehti- ja julkaisupohjaista metriikkaa, erityisesti Journal Impact Factoria ja H-indeksiä, käytetään tutkimuksen laadun ja vaikuttavuuden mittareina.
Tutkimuksen vastuullista arviointia kehitetään yhteistyössä
Suomalainen tutkimusyhteisö on ottanut vahvasti kantaa arvioinnin kehittämiseen. Keväällä 2020 julkaistiin Vastuullisen tutkijanarvioinnin kansallinen suositus, jonka on laatinut TSV:n vuonna 2018 asettama laaja-pohjainen työryhmä. Tutkijoiden edustajat ja etujärjestöt, organisaatiot, rahoittajat ja palveluntuottajat ovat yhdessä pohtineet sitä, miten tutkimusta ja tutkijoita tulisi vastuullisesti arvioida. Suomen suositus on ensimmäisiä kansallisia vastuullisen arvioinnin ohjeita maailmassa.
Vastuullisen arvioinnin edistäminen on TSV:n ja sen yhteydessä toimivien vastuullisen tieteen toimijoiden yhteinen tavoite. Vastuullista arviointia on linjattu TENKin Hyvä tieteellinen käytäntö -ohjeessa ja Tutkijan ansioluettelomallissa sekä Julkaisufoorumi-luokituksen käyttöohjeessa. Vuonna 2019 käynnistetyn Monikielisen tiedeviestinnän Helsinki-aloitteen tavoitteena on kannustaa tutkimustiedon välittämistä tiedeyhteisöä laajemmalle yleisölle, tukea monikielisen julkaisutoiminnan mahdollistavia kansallisia julkaisukanavia ja edistää monikielisyyttä tutkimuksen arviointi- ja rahoitusjärjestelmissä.
Yhteistyö arvioinnin kehittämiseksi Suomessa jatkuu nyt tiiviissä yhteistyössä kansainvälisten kumppaneiden kanssa. Koska tutkimustyö ja muu akateeminen toiminta sekä usein tutkimusrahoituskin liikkuu yli valtioiden rajojen, täytyy vastuullista arviointiakin kehittää kansainvälisesti. Kun kansainvälisesti noudatetaan yhtenäisiä käytäntöjä, tutkijoita arvioidaan samoilla kriteereillä sijainnista riippumatta.
Kehitteillä työkalupakki monimuotoisen tutkijanarvioinnin tueksi
Vastuullisen tutkijanarvioinnin ohjausryhmän nimittämä työryhmä suunnittelee parhaillaan kansallista arviointimatriisia (Finnish Career Assessment Matrix, FIN-CAM), jonka tarkoituksena on mahdollistaa akateemisen toiminnan eri osa-alueiden ja tutkijan meriittien kattava tarkastelu erilaisissa arviointitilanteissa. Toiminnan osa-alueita ovat esimerkiksi tutkimustyö, opetusansiot, ohjaus- ja johtamiskokemus sekä vuorovaikutus yhteiskunnan kanssa.
Arviointimatriisi toimii työkalupakkina sekä arvioitavana olevalle että arvioitsijalle, ja se on suunniteltu tukemaan erityisesti yksittäistä tutkijaa koskevia arviointilanteita. Näitä tilanteita ovat esimerkiksi rekrytointi, urapolulla eteneminen, henkilökohtaisen suoriutumisen arviointi, kehityskeskustelut, palkitseminen ja rahoitushaut. Arvioitsija, kuten esihenkilö, rahoittaja tai henkilöstöhallinnon edustaja voi valita matriisista arviointilanteeseen soveltuvia osioita ja kriteerejä. Esimerkiksi neuvottelutilanteessa arvioitava henkilö voi myös osaltaan nostaa matriisista oman uransa ja osaamisensa kannalta keskeisiä ja tärkeänä pitämiään asioista esille.
Kehitteillä oleva arviointimatriisi ottaa huomioon, että tutkijanuran eri vaiheissa arvostetaan erilaista osaamista, eikä yksittäisen tutkijan odoteta menestyvän kaikilla akateemisen toiminnan osa-alueilla. Työkalupakkina toimiva matriisimallin tavoitteena on lisätä tutkijanarvioinnin avoimuutta, koska se tuo arvioinnin päämäärät, kriteerit ja käytetyt aineistot avoimesti kaikkien osapuolten tietoon.
FIN-CAM arviointimatriisin suunnittelutyö perustuu kansainvälisiin arviontiviitekehyksiin, erityisesti Euroopan komission asettaman työryhmän valmistelemaan OS-CAMiin (Open Science Assessment Matrix, englanniksi) ja norjalaisten yliopistojen NOR-CAMiin, englanniksi (A toolbox for recognition and rewards in academic careers, englanniksi). Lisäksi se huomioi Turun yliopistossa ja Oulun yliopistossa tehdyt tutkimuksen ja tutkijan arvioinnin linjaukset sekä TENKin ansioluettelomallin.
Eurooppalainen infrastruktuuri tukemaan vastuullista ja avoimen tieteen huomioivaa arviointia
Julkaisufoorumi on mukana tammikuussa käynnistyneessä GraspOS-projektissa (Open Science Assessment Dataspace, 2023–2025), jossa kehitetään tutkijan ja tutkimuksen arviointia Euroopassa. Euroopan unionin rahoittaman projektin päämääränä on rakentaa avoimeen ja luotettavaan tietoon pohjautuva infrastruktuuri tulevaisuuden tutkimusmetriikoille ja indikaattoreille. Lisäksi tavoitteena on tarjota työkaluja, ohjausta ja muita palveluja kansainvälisten arviointiuudistusten tueksi. Projekti huomioi arvioinnin eri tasot: yksittäiset tutkijat ja tutkimusryhmät, tutkimusorganisaatiot ja rahoittajat sekä laajemmat kansalliset tarkastelut.
Julkaisufoorumin päävastuu projektissa on nykytilanteen kartoitus, joka tukee projektissa kehitettävän avoimen tieteen arviointikehyksen suunnittelutyötä. Lisäksi Julkaisufoorumi osallistuu projektissa kehitettyjen työkalujen ja palveluiden testaamiseen sekä koulutukseen.
Konsortiossa on mukana yhteensä 18 organisaatiota 11 eri maasta. Tieteellisten seurain valtuuskunnan lisäksi suomalaisista organisaatioista projektissa ovat mukana Itä-Suomen yliopisto ja Tieteen tietotekniikan keskus (CSC).
Kansallinen malli yhteiskunnallisen vaikuttavuuden arviointiin
Julkaisufoorumi on käynnistänyt vuoden 2023 alussa projektin, jossa selvitetään tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin tarpeita ja olemassa olevia käytäntöjä. Tarve tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin kehittämiseen on syntynyt etenkin viime vuosien aikana, kun vaikuttavuus on nostettu yhdeksi arvioinnin kohteeksi muiden tutkimuksen osa-alueiden rinnalle.
Kuten muidenkin tutkimuksen osa-alueiden arvioinnissa, vastuullisen arvioinnin periaatteita tulisi soveltaa myös vaikuttavuutta arvioitaessa. Tämä tarkoittaa esimerkiksi sitä, että todennettavien vaikutusten rinnalla huomioidaan myös tutkimuksen potentiaali. Lisäksi tutkimuksen arvioinnin tulee perustua tutkitulle tiedolle: Vaikuttavuuden arvioinnissa oleellista on olla tietoinen siitä, missä määrin tutkimuksen yhteiskunnallista vaikuttavuutta pystytään todentamaan, sillä kaikki vaikuttavuus ei ole mitattavissa.
Reetta Muhonen on avannut vaikuttavuuden arvioinnin haasteita vastuullisen tieteen artikkelisarjassa julkaistussa artikkelissaan. Muhonen kuvaa, kuinka vaikuttavuus voi ilmetä monimuotoisesti ja usein vasta pitkän ajan kuluessa. Vaikuttavuus on usein myös epäsuoraa. Tämän vuoksi syy-seuraussuhteiden todentaminen ja vaikuttavuuden kohdentaminen juuri tiettyyn tutkimukseen on haastavaa. Muhosen mukaan vastuullinen, tutkittuun tietoon perustuva vaikuttavuuden arviointi edellyttää sen hyväksymistä, että kaikki vaikutukset eivät ole mitattavissa.
Tutkimuksen arvioinnissa vaikuttavuutta tulisikin tarkastella suoria vaikutuksia laajemmin. Määrällisten mittareiden lisäksi tarvitaan laadullista näkökulmaa, joka huomioi laajasti tutkimusprosessin eri vaiheet ja niissä tapahtuvan yhteiskunnallisen vuorovaikutuksen. Tutkimukseen liittyvien tekijöiden ohella arvioinneissa tulisi kiinnittää huomiota myös vaikuttavuuden luomisen edellytyksiin, kuten taustaorganisaatioiden tukeen.
Julkaisufoorumin projektin tavoitteena on kansallisen arviointiviitekehyksen laatiminen, jota organisaatiot voisivat mukauttaa omiin tarpeisiinsa sopivaksi. Yhteiskunnallisen vaikuttavuuden arviointimallin tueksi projektissa kartoitetaan vaikuttavuuden arvioinnin parhaita käytäntöjä kansallisesti ja kansainvälisesti. Lisäksi projektissa tehdään kysely, jossa selvitetään eri tieteenaloja edustavien tutkijoiden näkemyksiä oman tutkimuksensa vaikuttavuudesta ja arvioinnin haasteista. Mallin kehittämisessä on sitouduttu noudattamaan vastuullisen arvioinnin tavoitteita TSV:n allekirjoittaman tutkimuksen arvioinnin uudistamisen sopimuksen mukaisesti.
Tutkimuksen arviointia käsitellään Julkaisufoorumin kevään tapahtumissa
Julkaisufoorumi järjestää tutkimuksen arvioinnin tiimoilta kaksi tapahtumaa kevään aikana. Torstaina 16.3. Tieteiden talolla järjestettävässä Vaikuttavuuden arvioinnin seminaarissa käsitellään vaikuttavuuden arvioinnin käytänteitä eri maissa. Tilaisuudessa kuullaan alan asiantuntijoiden puheenvuorot Isosta-Britanniasta, Puolasta, Norjasta, Alankomaista ja Suomesta. Tilaisuutta on mahdollisuus seurata myös verkossa.
Huhtikuun 20. päivänä järjestettävässä vastuullisen arvioinnin päivässä kuullaan muun muassa CoARA:n (eurooppalainen yhteenliittymä tutkimuksen arvioinnin uudistamiseksi) tuoreen ohjausryhmän kuulumiset ja sekä keskustellaan kansallisista toimista vastuullisen arvioinnin edistämiseksi. Tilaisuudesta tulee lähiaikoina tarkempia tietoja Julkaisufoorumin verkkosivuille.
Lisätietoja: julkaisufoorumi@tsv.fi
Teksti: Anna-Kaisa Hyrkkänen ja Elina Pylvänäinen.
Pääkuva: Skitterphoto, Pexels.
Sinua saattaisi kiinnostaa myös
