Käyttöohje

Julkaisufoorumi-luokituksen käyttöohje 2024 

Julkaisufoorumi (JUFO) on suomalaisen tiedeyhteisön toteuttama, tutkimuksen laadunarviointia tukeva julkaisukanavien tasoluokitus. Tämä käyttöohje sisältää Tieteellisten seurain valtuuskunnan (TSV) hallituksen asettaman Julkaisufoorumin ohjausryhmän suositukset JUFO-luokituksen vastuullisesta käytöstä tutkimuksen arvioinnin apuvälineenä.

JUFO-luokitus on alun perin tarkoitettu yliopistojen tuottamien suurten julkaisumäärien keskimääräisen laadun arviointiin. Luokitusta ei ole tarkoitettu yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden tuottamien pienempien julkaisumäärien tai yksittäisten julkaisujen – artikkelien tai erillisteosten – laadun arviointiin, eikä yksittäisten tutkijoiden arviointiin tai vertailuun.

Ohjausryhmä katsoo tarpeelliseksi ohjeistaa JUFO-luokituksen käyttöä, koska sitä on viime vuosina alettu joissain suomalaisissa yliopistoissa käyttää myös yksikkö- ja/tai tutkijatason arviointiin ja vertailuun (1).  Ohjeistus kuvaa JUFO-luokituksen taustaoletuksia, luokituksen rajoituksia sekä ohjeistaa luokituksen hyödyntämistä tutkimuksen arvioinnissa vastuullisen metriikan periaatteiden mukaisesti. Ohjeistus kokoaa yhteen mm. Julkaisufoorumin www-sivuilla ja erilaisissa tilaisuuksissa esitettyjä periaatteita. Käyttöohjeen valmistamisessa on hyödynnetty vastuullisen metriikan kansainvälisiä julkilausumia: DORA-julistusta (2),  Leidenin tutkimusmetriikkamanifestia (3), Metric Tide (4) -raporttia, Tutkijanarvioinnin hyvät käytännöt -suositusta (10), sekä kansainvälistä tutkimuksen arvioinnin uudistuksen sopimusta (11).

Ohjausryhmä julkaisi ensimmäisen käyttöohjeen vuonna 2012 (Julkaisufoorumi-hankkeen loppuraportti, liite 1 (pdf)), ja päivitetyn version tästä vuonna 2019. Ohjausryhmä päivittää käyttöohjetta tarpeen mukaan. Tämä sivu sisältää joulukuussa 2024 päivitetyn version käyttöohjeesta.

Käyttöohjeessa on neljä lukua:
1. Julkaisufoorumi-luokituksen käyttö
2. Julkaisufoorumi-luokituksen kuvaus ja taustaoletukset
3. Julkaisufoorumi-luokituksen tausta: yliopistojen rahoitusmalli
4. Julkaisufoorumi-luokituksen rajoitteet

1. Julkaisufoorumi-luokituksen käyttö

Tutkimuksen arvioinnin tulee Leidenin tutkimusmetriikkamanifestin (5),  ja Metric Tide-raportin (6), Tutkijanarvioinnin hyvät käytännöt -suosituksen sekä kansainvälisen tutkimuksen arvioinnin uudistuksen sopimuksen suositusten mukaisesti perustua ensisijaisesti laadulliseen asiantuntija-arviointiin, jota voi tukea määrällisten indikaattoreiden vastuullinen käyttö. Julkaisufoorumin ohjausryhmä suosittaa, että ei-toivottujen vaikutusten ja tutkimuseettisesti kyseenalaisten käytänteiden välttämiseksi julkaisujen tai viittausten määrää ei tule käyttää missään yhteydessä arvioinnin kriteerinä. 

Tutkijanarviointi

Tutkijanarvioinnin hyvät käytännöt -suosituksen mukaisesti “Tieteellisen laadun arviointi toteutetaan ensisijaisesti perehtymällä tutkimuksen tieteelliseen sisältöön. Kokonaisarvion tukena voidaan hyödyntää myös tutkimusmetriikkaa silloin, kun se on relevanttia arvioitavan tutkijan tieteenalan kannalta.”

DORA-julistuksen yleinen suositus kuitenkin on: ”älä käytä lehtiperustaista metriikkaa, kuten lehtien vaikuttavuuskertoimia, yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena arvioidaksesi yksittäisen tutkijan tieteellisiä ansioita, tai rekrytointi-, ylennys- ja rahoituspäätöksissä”. Myös kansainvälisen tutkimuksenarvioinnin uudistuksen sopimuksen 3. ydinsitoumus edellyttää luopumista “lehti- ja julkaisupohjaisten mittareiden epätarkoituksenmukaisesta käytöstä tutkimuksen arvioinnissa”. 

Yllämainittujen suositusten ja sitoumusten mukaisesti myöskään Julkaisufoorumi-luokitusta ei tule käyttää yksittäisten tutkijoiden arviointiin tai vertailuun, tutkijoiden rekrytointien tai palkitsemisen perusteena, eikä tenure-track- tai henkilökohtainen suoriutumisen arvioinneissa. Tutkijoille ei tule myöskään asettaa JUFO-luokkiin sidottuja ehdottomia määrällisiä julkaisukriteereitä tai -tavoitteita (9). Lisäksi väitöskirjan osajulkaisuille ei tule asettaa JUFO-luokitukseen perustuvia ehdottomia vaatimuksia eikä JUFO-luokitusta ei tule asettaa konferenssiin osallistumisen ja matkakulujen korvaamisen ehdoksi. 

• Työnantajien ja rahoittajien ei tule käyttää JUFO-luokitusta (tai muita kanavakohtaisia indikaattoreita kuten Journal Impact Factoria) tutkijanarvioinneissa (12). Lisäksi työnantajien ja rahoittajien on kiellettävä arvioijia huomioimasta näitä tietoja tutkijanarvioinneissa ja tutkijoita on kiellettävä liittämästä näitä tietoja missään muodossa hakemuksiinsa tai julkaisuluetteloihinsa.
• Arvioijien ei tule huomioida JUFO-luokitusta (tai muita kanavakohtaisia indikaattoreita kuten Journal Impact Factoria) tutkijanarvioinnissa.
• Tutkijoiden ei tule liittää tietoja julkaisujensa JUFO-luokitusta (tai muita kanavakohtaisia indikaattoreita kuten Journal Impact Factoria) missään muodossa hakemuksiinsa tai julkaisuluetteloihinsa.

Yksikkötason arvioinnit

Yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden arvioinnissa tutkimusmetriikkaa voidaan hyödyntää asiantuntija-arvioinnin tukena. Leidenin tutkimusmetriikkamanifestin mukaan mittarit muuttavat järjestelmää luomillaan kannustimilla, joten nämä vaikutukset tulee ennakoida tutkimusmetriikan käytössä (3).

Kansainvälisen tutkimuksenarvioinnin uudistuksen sopimuksen 3. ydinsitoumus edellyttää luopumista “lehti- ja julkaisupohjaisten mittareiden epätarkoituksenmukaisesta käytöstä tutkimuksen arvioinnissa”. Jos JUFO-luokitusta kuitenkin hyödynnetään arvioinnin apuvälineenä, tulee noudattaa kansallista suositusta julkaisumetriikan vastuulliseen käyttöön (13), sekä:

• huomioida JUFO-luokituksen käyttöä koskevat rajoitteet (luku 4);
• käyttää muutakin julkaisukanava- ja/tai julkaisukohtaista tutkimusmetriikkaa mahdollisimman monipuolisesti ja tieteenalojen erot ja ominaispiirteet huomioiden (7); 
• hyödyntää kirjastojen asiantuntemusta ja/tai muita bibliometriikan asiantuntijoita JUFO-luokitukseen perustuvan tutkimusmetriikan tuottamisessa ja tulkinnassa;
• kertoa henkilöstölle läpinäkyvästi, missä yhteydessä ja miten JUFO-luokitusta käytetään;
• kuulla tutkijoiden näkemyksiä JUFO-luokituksen soveltuvuudesta kyseiseen arviointitarkoitukseen heidän tieteen- tai tutkimusalallaan.

Edellä mainittujen näkökohtien lisäksi on JUFO-luokituksen käytössä huomioitava myös että:

• Yksiköiden tutkimusta arvioivia asiantuntijapaneeleita voidaan informoida myös JUFO-vertailutiedosta, mutta ainoastaan tutkimusyksiköiden julkaisutoiminnan profiilien ja sisäisen kehityksen tarkasteluun, ei tieteenalojen väliseen vertailuun.
• Jos rahoitusta jaetaan yliopiston yksiköille (tiedekunnat, laitokset, yksiköt jne.) niiden tuottaman tutkimusvolyymin perusteella, voidaan JUFO-luokitusta käyttää julkaisutuotannon yhtenä keskimääräisen laadun kehittymisen osoittimena.

Kansainvälisen tutkimuksenarvioinnin uudistuksen sopimuksen 1. ydinsitoumuksen mukaisesti arvioinneissa tulisi pyrkiä kapea-alaisesta julkaisuihin keskittyvästä tarkastelusta tutkimustyön monimuotoisuutta arvostaviin käytänteisiin. Tällöin arvioinneissa huomioidaan myös:

• tutkijoiden tieteen ja yhteiskunnan hyväksi antama arvokas panos, mukaan lukien erilaiset muunlaiset tuotokset lehdissä tehtävien julkaisujen lisäksi ja riippumatta siitä, millä kielellä ne on kirjoitettu
• käytännöt, jotka edistävät tutkimustoiminnan ja -prosessin vahvuutta, avoimuutta ja osallistavuutta, mukaan lukien vertaisarviointi sekä ryhmä- ja yhteistyö
• mm. opetustoiminnan, johtamisen, valvonnan, koulutuksen ja mentoroinnin kaltaiset tehtävät.

2. Julkaisufoorumi-luokituksen kuvaus ja taustaoletukset

Julkaisufoorumissa (JUFO) kansallisen tason tieteenaloittaiset asiantuntijapaneelit tunnistavat ja arvioivat vertaisarvioituja, kansainvälisiä sekä kotimaisia tieteellisiä lehtiä/sarjoja, konferensseja ja kirjakustantajia (tasoluokka 1). Edelleen asiantuntijapaneelit arvioivat näitä julkaisukanavia tunnistaen niistä tiedeyhteisössä laajimmin arvostetut ja vaikuttavat julkaisukanavat (tasoluokat 2 ja 3). JUFO listaa myös julkaisukanavat, jotka paneelien näkemyksen mukaan eivät (vielä) täytä tasoluokan 1 minimilaatukriteereitä (taso 0).

Kokonaisuudessaan JUFO-tasoluokittelun taustaoletuksina ovat seuraavat tiedeyhteisössä vallitsevat yleiset käsitykset:

• Tieteelliset julkaisukanavat eroavat toisistaan niissä julkaistujen tutkimusten (eli yksittäisten artikkelien ja erillisteosten) keskimääräisen tieteellisen laadun, vaikuttavuuden ja merkityksen perusteella.
• Julkaisukanavien tieteellisen laadun, vaikuttavuuden ja merkityksen arviointi perustuu käsitykseen kanavissa julkaistavien artikkelien ja erillisteosten keskimääräisestä laadusta ja vaikuttavuudesta. Tämä ei kuitenkaan tarkoita sitä, etteikö yksittäinen julkaisu tietyssä julkaisukanavassa voisi edustaa korkeampaa tai matalampaa laatutasoa, vaikuttavuutta tai merkitystä kuin julkaisukanavan julkaisut keskimäärin.
• Vaikka JUFO on kansallinen foorumi ja asiantuntijapaneelit koostuvat suomalaisissa korkeakouluissa ja tutkimuslaitoksissa työskentelevistä tutkijoista, asiantuntijapaneelit perustavat julkaisukanavien analysoinnin – etenkin korkeimmilla tasoilla 2 ja 3 – ennen kaikkea käsitykseensä julkaisukanavien kansainvälisestä arvostuksesta ja vaikuttavuudesta globaalissa tiedeyhteisössä.
• Kotimaisilla kielillä julkaisevia julkaisukanavia voidaan myös tunnistaa korkeammille tasoille 2 ja 3, etenkin sellaisilla tieteenaloilla, joilla kotimaisten julkaisukanavien voidaan tulkita edustavan alan korkeinta kansainvälistä tasoa itse tutkimuskohteen Suomeen tai suomalaiseen kontekstiin keskittyvän luonteen vuoksi, tai jos kotimainen julkaisukanava tunnistetaan myös kansainvälisessä tiedeyhteisössä erityisen arvostetuksi.
• Avoimuus ei ole kriteeri tai indikaattori julkaisukanavien tieteellisen laadun arvioinnissa, mutta julkaisujen avoimen saatavuuden katsotaan lisäävän tutkimustulosten saavutettavuutta ja siten tieteen vaikuttavuutta. Näin ollen asiantuntijapaneelit voivat suosia korkeimmilla tasoilla 2 ja 3 välittömästi avointa tai käsikirjoituksen vertaisarvioidun version rinnakkaistallennuksen sallivaa kanavaa, jos tämä on tieteellisen laadun perusteella tasavertainen vaihtoehto samaa tieteenalaa edustavalle kanavalle, joka ei mahdollista samanlaista avointa saatavuutta. Vuodesta 2021 alkaen yliopistojen rahoitusmalli palkitsee JUFO-luokan lisäksi myös avoimesta saatavuudesta.

3. Julkaisufoorumi-luokituksen tausta: yliopistojen rahoitusmalli

Julkaisufoorumin yksi keskeisimmistä käyttötarkoituksista on sen käyttö opetus- ja kulttuuriministeriön (OKM) yliopistojen valtionrahoituksen rahoitusmallissa. OKM:n rahoitusmallissa yksi yliopistojen tutkimustoimintaa kuvaava indikaattori perustuu yliopiston tuottamien julkaisujen määrään. Julkaisujen määriä on painotettu niiden keskimääräistä laatua kuvaavilla kertoimilla, jotka perustuvat julkaisujen julkaisukanavien JUFO-luokituksen. Tällöin tarkastelun kohteena on siis yliopisto organisaationa, eli organisaation tuottaman suuren julkaisumäärän keskimääräinen laatu – ei yliopiston tai tutkimusorganisaation yksiköiden tuottamien pienempien julkaisumäärien taikka yksittäisten julkaisujen laatu, eikä yksittäisten tutkijoiden julkaisujen laatu.

OKM:n rahoitusmallissa tarkastelu kohdistuu yliopistojen vuosittain tuottamiin yli 25 000:een vertaisarvioituun julkaisuun, joiden julkaisukohtainen asiantuntija-arviointi olisi työmäärältään kohtuutonta. Tämän vuoksi asiantuntija-arviointi kohdistetaan JUFO-prosessissa julkaisukanaviin, ei yksittäisiin julkaisuihin. Pohjimmiltaan JUFO-prosessin ja -luokituksen tarkoitus on kannustaa suomalaista tiedeyhteisöä tavoittelemaan määrän lisäksi laatua ja vaikuttavuutta tutkimuksessa, eli tutkimustulosten julkaisemista tiedeyhteisön arvostamissa, vertaisarvioinniltaan vaativissa ja laajimman kriittisen asiantuntijayleisön tavoittavissa julkaisukanavissa.

Vastuullinen tutkimusmetriikka edellyttää myös vakaata julkaisuaineistoa, läpinäkyvyyttä, monimuotoisuutta ja refleksiivisyyttä (esim. The Metric Tide -raportti). Rahoitusmallin julkaisuindikaattori ja siihen liittyvä JUFO-luokitus toteuttavat näitä vastuullisen tutkimusmetriikan periaatteita:

• Vakaus (tutkimusmetriikan tulisi perustua kattavaan ja luotettavaan julkaisuaineistoon). Rahoitusmallin tutkimusmetriikka pohjautuu kansalliseen julkaisuaineistoon, joka sisältää kaikki yliopistojen tuottamat vertaisarvioidut julkaisut. Tämä on kansainvälisiin tieteellisiin lehtiin keskittyviä viittaustietokantoja (Web of Science ja Scopus) merkittävästi kattavampi julkaisuaineisto. JUFO-luokitus myös lisää julkaisuaineiston luotettavuutta.
• Läpinäkyvyys (arvioinnin kohteena olevien tulee voida testata ja todentaa tulokset). Yliopistot itse tuottavat ja validoivat julkaisuaineiston, johon rahoitusmalli perustuu. Yliopistoilla on myös mahdollisuus tarkistaa omien sekä toisten yliopistojen julkaisujen JUFO-luokat. Läpinäkyvyys on osa julkaisuaineiston laadunvarmennusta. JUFO-luokitus on avoimesti saatavilla ja tiedeyhteisö osallistuu sen toteutukseen.
• Monimuotoisuus (tieteenalojen erojen huomioiminen ja useiden eri indikaattorien käyttäminen).  Rahoitusmallin tutkimusmetriikka huomioi vertaisarvioidut lehti-, konferenssi- ja kokoomateosartikkelit, erillisteokset ja toimitetut teokset julkaisumaasta tai -kielestä riippumatta. Lisäksi huomioidaan myös ammatilliset ja yleistajuiset julkaisut. Erillisteokset huomioidaan suuremmalla painoarvolla kuin lehti-, konferenssi- ja kokoomateosartikkelit. JUFO-luokitusta pyritään tasapainottamaan eri tieteenalojen välillä siten, että rahoitusmalli kohtelee yliopistoja tasapuolisesti ja kannustavasti erilaisista tieteenalaprofiileista riippumatta. OKM:n kokonaisrahoitusmallissa käytetään myös useita muita koulutuksen ja tutkimuksen indikaattoreita, joten julkaisut eivät yksin määritä yliopistojen rahoitusta.
• Refleksiivisyys (vaikutusten ennakointi ja tunnistaminen sekä indikaattorien päivitys). Julkaisuaineisto mahdollistaa julkaisutoiminnassa tapahtuvien muutosten seurannan, minkä lisäksi mahdollisista vaikutuksista tehdään tutkimus- ja selvitystyötä sekä käydään julkista keskustelua. Rahoitusmallin indikaattorien tarkoituksenmukaisuutta arvioidaan säännöllisesti ministeriön asettamissa laajapohjaisissa työryhmissä. JUFO-luokitusta päivitetään säännöllisesti ja Julkaisufoorumin ohjausryhmä arvioi ja kehittää luokitusta.

4. Julkaisufoorumi-luokituksen rajoitteet

JUFO-luokituksen käyttöön tutkimuksen arvioinnin apuvälineenä liittyy rajoitteita. Rajoitteet eivät ole kovin ongelmallisia OKM:n rahoitusmallin kaltaisissa yliopistotason suurten julkaisumäärien keskimääräisen laadun tarkasteluissa, mutta rajoitteiden merkitys korostuu pienemmissä julkaisumäärissä. Kaikessa JUFO-luokituksen käytössä on tärkeää ottaa seuraavat rajoitteet vastuullisesti huomioon:

• Tasoluokkien kiintiöt. JUFO-asiantuntijapaneelit eivät ole voineet sijoittaa tasoluokkiin 2 ja 3 kaikkia tiedeyhteisön käyttämiä ja arvostamia julkaisukanavia, vaan tasoluokkien kiintiöiden puitteissa on jouduttu tekemään valintoja. Kiintiöiden tehtävä on tasapainottaa luokitusta eri tieteenalojen välillä. Kiintiöt lasketaan julkaisuvolyymin perusteella, joten joissain tapauksissa saattaa valintaan vaikuttaa laadun lisäksi lehden koko, eli lehden numeroissa vuosittain ilmestyvien julkaisuiden määrä.
• Luokituksen karkeusaste. JUFO-luokituksessa vertaisarvioidut julkaisukanavat jaetaan kolmeen tasoluokkaan julkaisujen keskimääräisen laadun ja vaikuttavuuden perusteella. Erityisesti tasoluokka 1 on laaja, joten tämän tasoluokan sisällä heikko- ja korkeatasoisimman kanavan keskimääräisessä laadussa voi olla huomattava ero. Toisaalta keskimääräinen laatuero ei välttämättä ole kovin suuri tasoluokan 1 korkeatasoisimpien ja tasoluokan 2 kanavien välillä.  Vaikka jo pelkästään julkaisukynnyksen ylittämistä esimerkiksi luokan 1, 2 tai 3 julkaisukanavaan voidaan pitää merkkinä artikkelin tai kirjan tieteellisestä arvosta ja merkityksestä, yksittäisten julkaisujen laadussa ja vaikuttavuudessa voi olla merkittäviä eroja myös tuon kanavan sisällä.
• Tieteenalojen erot. Koska JUFO-luokitus pyrkii huomioimaan tasapainoisesti kaikki tieteenalat, se ei täysin vastaa ideaalista luokitusta, joka olisi tehty yksinomaan kunkin tieteen- tai tutkimusalan omista lähtökohdista tai sen erityispiirteiden pohjalta. Valinta tasoluokkiin 2 ja 3 perustuu laajojen tieteenalojen kokonaistarkasteluihin, jolloin korkeampiin tasoluokkiin ei välttämättä päädy erikoistuneempia julkaisukanavia kaikilta ala-tieteenaloilta. Keskimäärin vain joka kolmas vertaisarvioitu artikkeli, erillisteos tai toimitettu teos laajalta tieteenalalta sijoittuu korkeampiin tasoluokkiin, ja yksi kymmenestä tasoluokkaan 3. Tasoluokkien jakaumassa on kuitenkin eroja tieteenalojen välillä (Taulukko 1). Lisäksi julkaisukäytäntöjen sekä tutkimuskysymysten ja -menetelmien eroista johtuen yksittäisten tutkijoiden tuottamien julkaisujen määrä korkeampiin tasoluokkiin kuuluvissa kanavissa vaihtelee eri tieteenalojen välillä ja sisällä.
• Suhde vaikuttavuuskertoimiin. Monilla tieteenaloilla, joilla kansainvälisiin viittaustietokantoihin indeksoidut lehdet kattavat valtaosan tieteellisestä julkaisutoiminnasta, kanavien vaikuttavuuden ja arvostuksen mittarina on totuttu pitämään Journal Impact Factoria (JIF). JUFOssa asiantuntijapaneelien tehtävään kuuluu luokituksen tasapainottaminen eri tieteen- ja tutkimusalojen välillä. Koska JIF-arvot vaihtelevat aloittain, on monia tapauksia, joissa lehtien valinta tasoluokkiin 2 ja 3 ei noudata vaikuttavuuskertoimien mukaista paremmuusjärjestystä. Paneelit ovat myös suosineet korkeimmissa tasoluokissa alkuperäistutkimusta julkaisevia lehtiä katsauslehtien kustannuksella, jälkimmäisten korkeista JIF-arvoista huolimatta.
• Tason 0 monitulkintaisuus. Tasoluokkaan 0 sijoitetaan julkaisusarjat, konferenssit ja kirjakustantajat, jotka eivät arviointihetkellä ole täyttäneet tasoluokan 1 tieteellisen julkaisukanavan toimituskuntaa ja vertaisarviointia koskevia vaatimuksia. Osa tasoluokan 0 kanavista saattaa kuitenkin täyttää nämä vaatimukset. Esimerkiksi toimintaansa vasta aloittavat vertaisarvioidut kanavat voidaan aluksi sijoittaa tasolle 0, kunnes paneelit voivat arvioida niiden julkaisutoimintaa paremmin. Samalla JUFO-asiantuntijapaneelit voivat myös sijoittaa tasolle 0 suomalaisen tutkimuksen kannalta marginaalisina tai heikkolaatuisina pitämiään vertaisarvioituja kanavia (esim. ns. ”saalistajalehdet”,”predatory journals”). Korkeakoulujen ja tutkimuslaitosten kustantamat vertaisarvioidut julkaisukanavat on myös sijoitettu tasoluokkaan 0, jos ne palvelevat lähinnä oman organisaation tutkijoita. Rajanveto tieteellisen sekä ammatillisen ja yleistajuisen kanavan välillä ei sekään ole aina yksiselitteinen. Tason 0 kanavissa voi siis ilmestyä myös asiallisesti vertaisarvioituja tieteellisiä artikkeleita ja kirjoja, jotka ansaitsevat tulla huomioiduksi esimerkiksi yksittäisen tutkijan arvioinneissa.
• Muutokset luokituksessa. JUFO-luokat 2 ja 3 päivitetään neljän vuoden välein, mutta poikkeustapauksissa voidaan yksittäisiä muutoksia tehdä myös välivuosina. Tasoluokkia 0 ja 1 koskevia muutoksia voi tapahtua vuosittain. Arvioinnissa tulee siis ottaa huomioon, että kanavan JUFO-luokka voi julkaisuprosessin tai arviointiperiodin aikana muuttua, ilman että tutkija on voinut tätä ennustaa. Koska tasoluokkia 2 ja 3 päivitetään pääasiassa neljän vuoden välein, julkaisukanavien arvostuksessa tapahtuvat muutokset voidaan JUFO-luokituksessa huomioida viiveellä. Voi olla tärkeitä nousevia julkaisukanavia, joiden arvoa ei välttämättä ole vielä voitu luokituksessa tunnistaa.

Viittaukset

(1) Wahlfors, L. & Pölönen, J. (2018). Julkaisufoorumi-luokituksen käyttö yliopistoissa, Hallinnon Tutkimus 37(1): 7-21.

(2) San Francisco Declaration of Research Assessment: DORA-julistuksen kotisivu (englanniksi)

(3) Hicks, D., Wouters, P.F., Waltman, L., de Rijcke, S., & Rafols, I. (2015). The Leiden Manifesto for research metrics, Nature 520, 429-431. Leidenin tutkimusmetriikkamanifesti (englanniksi)

(4) Wilsdon, J. et al. (2015).  The Metric Tide. Report of the Independent Review of the Role of Metrics in Research Assessment and Management, HEFCE. Metric Tide -raportti (englanniksi)

(5) ”Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia. Kvantitatiivinen metriikka voi kyseenalaistaa alttiutta puolueellisuuteen vertaisarvioinnissa ja helpottaa harkintaa. Tämän pitäisi vahvistaa vertaisarviointia, sillä kollegoiden arviointi ilman olennaista tietoa on vaikeaa. Arvioijien täytyy kuitenkin välttää kiusausta antaa numeroiden tehdä päätöksiä. Mittarit eivät saa syrjäyttää asiantuntevaa harkintaa. Jokainen kantaa vastuunsa omista arvioistaan”: Leidenin tutkimusmetriikkamanifesti (pdf)

(6) ”Määrällinen arviointi voi tukea laadullista arviointia, muttei korvata sitä”.

(7) Muita julkaisukanavaan perustuvia tutkimusmetriikoita ovat esimerkiksi vaikuttavuuskertoimet, kuten Journal Impact Factor (JIF), Source Normalized Impact per Paper (SNIP) ja Scimago Journal Rank (SJR); Norjan ja Tanskan kansalliset asiantuntija-arviontiin perustuvat tasoluokitukset; tieteenalakohtaiset julkaisukanavaluokitukset, kuten Association of Business Schools Academic Journal Quality Guide (ABS) ja Nature Index. Julkaisukohtaista tutkimusmetriikkaa ovat esimerkiksi Web of Science, Scopus ja Google Scholar -aineistoihin perustuvat artikkelien ja kirjojen viittausmäärät, ja julkaisujen saamaa huomiota sosiaalisessa mediassa kuvaavat latausten ja mainintojen lukumäärät (altmetriikka).

(8) DORA-julistuksen suositus on: ”älä käytä lehtiperustaista metriikkaa, kuten lehtien vaikuttavuuskertoimia, yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena arvioidaksesi yksittäisen tutkijan tieteellisiä ansioita, tai rekrytointi-, ylennys- ja rahoituspäätöksissä”: DORA-julistus

(9) Jos asetetaan JUFO-luokkiin liittyviä suuntaa-antavia kriteereitä tai -tavoitteita, on suositeltavaa soveltaa arviointihetkellä sitä tasoluokkaa, joka julkaisukanavalla oli sillä hetkellä, kun on tehty tiettäväksi nuo suuntaa-antavat kriteerit (eli esimerkiksi tenure-trackiin rekrytoinnin tai sopimuksen tekemisen hetkellä).

(10) Vastuullisen tutkijanarvioinnin työryhmä (2020). Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus.

(11) Science Europe (2022). Agreement on Reforming Research Assessment (pdf, englanniksi)

(12) Suomen Akatemia: "Lehtiperusteisen metriikan käyttö arvioinnissa on kielletty, eikä hakija saa myöskään liittää hakemukseensa metriikkatietoja (esimerkiksi lehden vaikuttavuuskerroin JIF tai JUFO-luokitus)". Suomen Akatemian ohjeet julkaisuluettelon laatimiseen.

(13) Vastuullinen metriikka -työryhmä: Kansallinen suositus julkaisumetriikan vastuullisesta käytöstä (pdf).