JUFO-luokitus vastaa viittauksilla mitattua vaikuttavuutta

Tiedotteet   1.3.2017 10.21   Päivitetty 1.3.2017 13.47

Korkeampiin Julkaisufoorumi-luokkiin kuuluvissa lehdissä julkaistun suomalaisen tutkimuksen tieteellinen vaikuttavuus on kokonaisuutena korkeampi kuin alemman tasoluokan lehdissä julkaistulla tutkimuksella. Tämä käy ilmi Julkaisufoorumin ja CSC – Tieteen tietotekniikan keskus Oy:n toteuttamasta selvityksestä. Selvityksessä laskettiin eri JUFO-tasoluokkiin sijoittuvissa, Web of Science-tietokantaan sisältyvissä lehdissä vuosina 2008–2010 ja 2011–2013 julkaistujen suomalaisten yliopistojen julkaisujen lukumäärä, viittausindeksit, Top10-indeksit sekä viittaamattomien julkaisujen osuus.

Julkaisut ositettiin organisaatioiden ja maiden kesken. Artikkelikohtaiset viittausmäärät suhteutettiin Web of Science-tieteenalaluokkien maailman keskiarvoon, jota edustaa viittausindeksin ja Top10-indeksin arvo 1. Tätä korkeammat arvot kertovat maailman keskitasoa suuremmasta, alemmat arvot puolestaan keskimäärin heikommasta, vaikuttavuudesta. Viittausindeksit kuvaavat sitä, kuinka paljon artikkelit ovat saaneet viittauksia muissa Web of Science-tietokantaan sisältyvissä saman tieteenalan lehdissä.

Laskelmat tehtiin käyttäen sekä vuonna 2014 voimassa ollutta JUFO-luokitusta että vuonna 2015 voimaan tullutta päivitettyä luokitusta. Vuoden 2015 luokituksessa tasoluokkien 2 ja 3 kiintiöt laskettiin julkaisuvolyymin eli sarjoissa ilmestyneiden artikkeleiden lukumäärän eikä sarjanimekkeiden lukumäärän perusteella. Tämä kiristi ja samalla entisestään terävöitti luokitusta. Tulosten perusteella voidaan siis tarkastella vanhan nimekepohjaisen ja uuden julkaisuvolyymipohjaisen tasoluokituksen ominaisuuksia julkaisujen tieteellisen vaikuttavuuden mittarina. Vuoden 2015 luokituksella erot viittausindeksissä ja Top10-indeksissä eri tasoluokkien välillä ovat suuremmat, viittaamattomien osuudessa puolestaan pienemmät kuin vuoden 2014 luokituksella.

Kuva 1. Viittausindeksi eri tasoluokkiin kuuluvilla julkaisuilla.

 

Kuva 2. Top10-indeksi eri tasoluokkiin kuuluvilla julkaisuilla.

 

Kuva 3. Osuus julkaisuista, joihin ei kohdistu lainkaan viittauksia.

 

Määrälliset mittarit sopivat suurten julkaisumäärien arviointiin

On tärkeätä muistaa, että tässä vertailussa on laskettu viittauskeskiarvoja lähes 30 000 ositetun tieteellisen artikkelin aineistosta. Tasoluokan 1 julkaisukanavissa julkaistaan yksittäisiä keskitasoa laadukkaampia ja vaikuttavampia julkaisuja, ja vastaavasti tasoluokan 2 ja 3 julkaisukanavissa julkaistaan myös keskitasoa heikompia tai ilman viittauksia jääviä julkaisuja. Luokitus toimii siis suurten julkaisumäärien tieteellisen vaikuttavuuden osoittimena, mutta yksittäisten julkaisujen tai tutkijoiden arviointiin se on liian karkea mittari.

Vastaava selvitys toteutettiin vuonna 2012 vuosien 2004–2008 Web of Science-julkaisuilla: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina

Lisätietoja:

Janne Pölönen (Julkaisufoorumi-luokitus)
janne.polonen(at)tsv.fi

Yrjö Leino (analyysit ja WoS-aineisto)
yrjo.leino(at)csc.fi