Myös tasoluokan 0 kanavissa voidaan julkaista luotettavaa tutkimustietoa

Suomen Kuvalehden artikkelissa (”Nolla-tasoa”, SK19, 8.5.2020) annetaan harhaanjohtavasti ymmärtää, että tasoluokkaan 0 sijoittuvissa lehdissä ja kirjakustantajilla julkaistut artikkelit ja kirjat eivät ole ”tiedettä”. Virheellisesti artikkeli antaa myös ymmärtää, että JUFO-luokitus toimisi suoraan tiedejulkaisukanavien tai niissä julkaistujen tutkimusten luotettavuuden mittarina.

Suomen Kuvalehti julkaisi 8.5.2020 ilmestyneessä numerossa otsikolla ”Nolla-tasoa” kirjoituksen, jossa tarkastellaan suomalaisten yliopistojen tieteellisen julkaisutoiminnan laatua ja sen arviointiin tarkoitettua Julkaisufoorumi (JUFO)-luokitusta.

Tieteellisten seurain valtuuskunnassa toimiva Julkaisufoorumi arvioi tieteellisiä julkaisukanavia, kuten lehtiä ja kirjakustantajia. Arvioinnista vastaavat 250 eri tieteenalojen asiantuntijaa suomalaisista yliopistoista ja tutkimuslaitoksista. Asiantuntijoiden tärkein tehtävä on tunnistaa vertaisarvioidut tieteelliset lehdet ja kirjakustantajat (taso 1), sekä osoittaa näistä tiedeyhteisön laajimmin arvostamat julkaisukanavat (tasot 2-3).

Kanavien erottelun perusteet tasoluokkien 1 ja 0 välillä

Suomen Kuvalehden kirjoituksessa päähuomio kiinnittyy tasoluokkaan 0, johon sijoitetaan julkaisukanavat, jotka paneelien näkemyksen mukaan eivät täytä kaikkia tasoluokan 1 minimilaatukriteereitä – tai ovat niin uusia, että kriteerien täyttymistä ei ole vielä voitu arvioida: 

• julkaisukanava on erikoistunut tieteellisten tutkimustulosten julkaisemiseen
• julkaisukanavalla on asiantuntijoista koostuva toimituskunta
• tieteelliset artikkelit tai kirjat käyvät läpi koko käsikirjoitukseen kohdistuvan vertaisarvioinnin
• julkaisukanavalla on rekisteröity ISSN- tai ISBN-tunnus

Uusien julkaisukanavien lisäksi lehti tai kirjakustantaja voidaan sijoittaa tasoluokkaan 0 myös edellä mainittujen kriteerien täyttyessä silloin, kun

• yli puolet (1/2) arvioijista ja kirjoittajista edustaa samaa tutkimusorganisaatiota (esim. yliopistojen ja tutkimuslaitosten omat julkaisusarjat ja väitöskirjasarjat)
• tieteellinen taso tai relevanssi on kyseenalainen (esim. saalistajalehdet)

JUFO-luokitus ei ole tutkimustiedon luotettavuuden mittari

Suomen Kuvalehden artikkelin painetussa versiossa on sivulla 23 kuvassa joukko tieteellisiä lehtiä ”arvioituna JUFO-luokituksen mukaan. 3 luotettavin – 0 epäluotettavin”. On kuitenkin harhaanjohtavaa pitää Julkaisufoorumi-luokitusta julkaisukanavien, saati niissä julkaistujen tutkimustulosten luotettavuuden mittarina.

Vaikka Julkaisufoorumin tasojen ja tiettyä tasoa edustavissa julkaisukanavissa julkaistujen tutkimusten keskimääräisellä laadulla on tietty epäsuora yhteys, keskimääräinen laatu ei ole sama asia kuin ”luotettavuus” (sillä esimerkiksi matalampilaatuiseksi kenties katsottava, pienemmän otoskoon tutkimuskin voi olla luotettava) – eikä julkaisukanavan keskimääräinen laatutaso myöskään tarkoita, etteikö yksittäinen tutkimus julkaisukanavassa voisi poiketa laadultaan tai luotettavuudeltaan merkittävästi keskiarvosta ylös- tai alaspäin.

Yleisesti vertaisarvioinnissa asiantuntijat – toiset tutkijat – arvioivat tutkijoiden julkaistavaksi tarjoamien käsikirjoitusten laatua esimerkiksi aineiston kattavuuden, menetelmien soveltuvuuden, teoreettisen viitekehyksen hallinnan, toteutuksen ja raportoinnin luotettavuuden ja tarkkuuden perusteella. Vertaisarvioinnin perustehtävä on auttaa julkaisupäätöksistä vastaavaa julkaisukanavan päätoimittajaa hylkäämään heikompilaatuisia käsikirjoituksia, sekä auttaa tekijöitä parantamaan julkaistavien käsikirjoitusten laatua.

Tieteellisten lehtien ja kirjakustantajien välillä on toki eroja siinä, kuinka huolellisesti ja vaativasti niiden käyttämät asiantuntija-arvioijat toteuttavat laadunvarmistusta. Tieteellisten julkaisukanavien arvostus kansainvälisessä ja kotimaisessa tiedeyhteisössä – ja julkaisukanavissa julkaistujen tutkimusten keskimääräinen laatutaso – perustuukin suurelta osin juuri toimitus- ja vertaisarviointiprosessien huolellisuuteen ja vaativuuteen.

Silti yksittäisen tieteellisen artikkelin tai kirjan laatua saati luotettavuutta ei voida päätellä kanavan kokonaisarviona tehdystä JUFO-luokituksesta. Yksittäisen tieteellisen artikkelin tai kirjan laadun sekä luotettavuuden arviointi edellyttää, että tieteenalan asiantuntijat perehtyvät tuon yksittäisen julkaisun sisältöön.

Saalistajalehdet muodostavat vain murto-osan tason 0 kanavista

Suomen Kuvalehden artikkeli myös antaa ymmärtää, että tasoluokasta 0 suuren osan muodostaisivat ns. saalistajalehdet. Tasoluokassa 0 on kuitenkin tällä hetkellä yli 4800 lehteä/sarjaa, joista vain n. 300 on Cabellsin ylläpitämällä mahdollisten saalistajalehtien mustalla listalla. Valtaosalle tasoluokkaan 0 sijoittuvista julkaisukanavista ei siis ole leimallista tutkimustulosten julkaiseminen maksusta laadunvarmistuksesta piittaamatta, mikä on tyypillistä saalistajalehdille.

Tasoluokan 0 julkaisuja luonnehtii pikemminkin tutkimuseettisesti kestävä perusta, mutta tieteellisen julkaisutoiminnan vakiintumattomuus ja paikallisuus, tai sijoittuminen tieteellisen ja ammatillisen/yleistajuisen julkaisemisen rajapintaan. Syynä tasoluokalle 0 voi myös olla, että lehti tai kirjakustantaja ei kuvaa verkkosivuillaan läpinäkyvästi toimitus- ja vertaisarviointikäytäntöjään.

Kuten Julkaisufoorumi-luokituksen käyttöohjeessa todetaan, ”Tason 0 kanavissa voi siis ilmestyä myös asiallisesti vertaisarvioituja tieteellisiä artikkeleita ja kirjoja”.

Harhaanjohtavat yleistykset tulisi oikaista

Julkaisufoorumi on saanut asianmukaisesti tarkistaa artikkelissa esitetyt Janne Pölösen sitaatit. Artikkelin ingressissä ja kuvatekstissä on kuitenkin esitetty Julkaisufoorumin näkökulmasta harhaanjohtavia ilmauksia, joita olemme pyytäneet Suomen Kuvalehteä oikaisemaan seuraavasti:

• Toisin kuin ingressissä todetaan (”Joka neljäs tiedejulkaisu ei ole tieteellinen, tiedelehtiä arvioiva Julkaisufoorumi on selvittänyt”), Julkaisufoorumi ei ylipäänsä tee selvityksiä tiedejulkaisujen tieteellisyydestä. Julkaisufoorumi on pyynnöstä toimittanut opetushallinnon tilastopalvelu Vipusesta saatavat tilastot eri tasoluokkiin sijoittuvien julkaisujen lukumäärästä ja kehityksestä yliopistoittain. On kuitenkin virheellinen tulkinta, että kaikki tasoluokan 0 kanavissa julkaistavat tutkimukset eivät olisi tieteellisiä. Vain murto-osa tasoluokan 0 kanavista on epäilyttäviä ”saalistajalehtiä”. Sen sijaan 0-tason julkaisukanavat ovat pääasiassa uusia julkaisukanavia; julkaisukanavia, joiden toimitus- ja vertaisarviointikäytännöt ovat epäselviä; taikka julkaisukanavia, jotka ovat paikallisia tai sijoittuvat tieteellisen ja ammatillisen julkaisemisen rajapintaan.
• Toisin kuin artikkelin kuvatekstissä todetaan (”3 luotettavin – 0 epäluotettavin”), Julkaisufoorumin tasoluokat 0-3 eivät kerro julkaisukanavissa julkaistavien yksittäisten tutkimusten luotettavuudesta. Tasoluokat kertovat julkaisukanavissa julkaistavien tutkimusten keskimääräisestä laadusta ja vertaisarviointikäytäntöjen keskimääräisestä vaativuudesta, mutta yksittäisen tutkimuksen laadun sekä erityisesti luotettavuuden arviointi edellyttää aina yksittäisen tutkimuksen sisältöön ja raportointiin tutustumista.

Lisätietoja: Janne Pölönen

Kuva: Kaboompics, Pexels.