Käyttöohje

Julkaisufoorumi-luokituksen käyttöohje 2019

Lataa käyttöohje itsellesi PDF-muodossa tästä.

Julkaisufoorumi (JUFO) on suomalaisen tiedeyhteisön toteuttama, tutkimuksen laadunarviointia tukeva julkaisukanavien tasoluokitus. Tämä käyttöohje sisältää Tieteellisten seurain valtuuskunnan (TSV) hallituksen asettaman Julkaisufoorumin ohjausryhmän suositukset JUFO-luokituksen vastuullisesta käytöstä tutkimuksen arvioinnin apuvälineenä.

JUFO-luokitus on alun perin tarkoitettu (i) yliopistojen tuottamien suurten julkaisumäärien keskimääräisen laadun arviointiin. Luokitusta ei ole tarkoitettu (ii) yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden tuottamien pienempien julkaisumäärien tai yksittäisten julkaisujen – artikkelien tai erillisteosten – laadun arviointiin, eikä (iii) yksittäisten tutkijoiden arviointiin tai vertailuun.

Ohjausryhmä katsoo tarpeelliseksi ohjeistaa JUFO-luokituksen käyttöä, koska sitä on viime vuosina alettu joissain suomalaisissa yliopistoissa käyttää myös (ii) yksikkö- ja/tai (iii) tutkijatason arviointiin ja vertailuun (1).  Ohjeistus kuvaa JUFO-luokituksen taustaoletuksia, luokituksen rajoituksia sekä ohjeistaa luokituksen hyödyntämistä tutkimuksen arvioinnissa vastuullisen metriikan periaatteiden mukaisesti. Ohjeistus kokoaa yhteen mm. Julkaisufoorumin www-sivuilla ja erilaisissa tilaisuuksissa esitettyjä periaatteita. Käyttöohjeen valmistamisessa on hyödynnetty vastuullisen metriikan kansainvälisiä julkilausumia: DORA-julistusta (2),  Leidenin tutkimusmetriikkamanifestia (3),  sekä Metric Tide (4) -raporttia.

Ohjausryhmä julkaisi ensimmäisen käyttöohjeen vuonna 2012 (Julkaisufoorumi-hankkeen loppuraportti, liite 1 (pdf)). Ohjausryhmä päivittää käyttöohjetta tarpeen mukaan. Tämä sivu sisältää huhtikuussa 2019 päivitetyn version käyttöohjeesta.

Käyttöohjeessa on neljä lukua:
1. Julkaisufoorumi-luokituksen käyttö yksikkö- ja tutkijatasolla
2. Julkaisufoorumi-luokituksen kuvaus ja taustaoletukset
3. Julkaisufoorumi-luokituksen tausta: yliopistojen rahoitusmalli
4. Julkaisufoorumi-luokituksen rajoitteet

1. Julkaisufoorumi-luokituksen käyttö yksikkö- ja tutkijatasolla

Yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden (ii) tai yksittäisten tutkijoiden (iii) tutkimuksen laadun arvioinnin tulee Leidenin tutkimusmetriikkamanifestin (5)  ja Metric Tide-raportin (6)  suositusten mukaisesti perustua ensisijaisesti asiantuntija-arviointiin, mutta tutkimusmetriikkaa voidaan hyödyntää arvioinnin tukena. Jos JUFO-luokitusta hyödynnetään arvioinnin apuvälineenä, tulee:

• huomioida JUFO-luokituksen käyttöä koskevat rajoitteet (luku 4);
• käyttää muutakin julkaisukanava- ja/tai julkaisukohtaista tutkimusmetriikkaa mahdollisimman monipuolisesti ja tieteenalojen erot ja ominaispiirteet huomioiden (7); 
• hyödyntää kirjastojen asiantuntemusta ja/tai muita bibliometriikan asiantuntijoita JUFO-luokitukseen perustuvan tutkimusmetriikan tuottamisessa ja tulkinnassa;
• kertoa henkilöstölle läpinäkyvästi, missä yhteydessä ja miten JUFO-luokitusta käytetään;
• kuulla tutkijoiden näkemyksiä JUFO-luokituksen soveltuvuudesta eri arviointitarkoituksiin heidän tieteen- tai tutkimusalallaan.

Edellä mainittujen näkökohtien lisäksi on JUFO-luokituksen käytössä huomioitava myös alla esitetyt täsmennykset:

(ii) Yliopistojen ja muiden tutkimusorganisaatioiden yksiköiden arviointi:

• Ulkoisia asiantuntijapaneeleita hyödyntävät arvioinnit. JUFO-luokitus soveltuu ainoastaan tutkimusyksiköiden julkaisutoiminnan profiilien ja sisäisen kehityksen tarkasteluun, ei tieteenalojen väliseen vertailuun. Yksiköiden tutkimusta arvioivia asiantuntijapaneeleita voidaan informoida muun julkaisukanava- ja/tai julkaisukohtaisen tutkimusmetriikan lisäksi myös JUFO-vertailutiedosta.
• Sisäiset rahoitusmallit. Jos rahoitusta jaetaan yliopiston yksiköille (tiedekunnat, laitokset, yksiköt jne.) niiden tuottaman tutkimusvolyymin perusteella, voidaan JUFO-luokitusta käyttää muun julkaisukanava- ja/tai julkaisukohtaisen tutkimusmetriikan lisäksi yksikön tieteellisen julkaisutuotannon yhtenä keskimääräisen laadun kehittymisen osoittimena.

(iii) Yksittäisen tutkijan arviointi:

• Rekrytointi-, tenure-track- ja henkilökohtainen suoriutuminen. Arvioinneissa tulee arvioida tutkijan julkaiseman tuotannon kokonaissisältöä (esim. tutkimusaiheet, metodologiat ja tulosten merkittävyys) sekä kokonaislaatua asiantuntijuuden pohjalta kvalitatiivisesti, mutta kvantitatiivista tutkimusmetriikkaa voidaan hyödyntää arvioinnin tukena. Tällöin tulee kuitenkin välttää sitä, että nojaudutaan yksinomaan yhteen julkaisukanavaluokitukseen, kuten JUFO-luokitukseen (8).  Toisin sanoen on käytettävä muutakin julkaisukanava- ja/tai julkaisukohtaista tutkimusmetriikkaa kuin JUFO-luokitusta – mahdollisimman monipuolisesti ja tieteenalojen erot ja ominaispiirteet huomioiden. Tutkijalle ei ole myöskään suositeltavaa asettaa JUFO-luokkiin sidottuja ehdottomia määrällisiä julkaisukriteereitä tai -tavoitteita (9). 
• Palkkiojärjestelmä. Kokonaispalkkiojärjestelmissä on huomioitava paitsi tutkimukselliset julkaisuansiot, myös koulutukseen ja yhteiskunnalliseen vuorovaikutukseen liittyvät ansiot. JUFO-luokitusta voidaan käyttää muun julkaisukanava- ja/tai julkaisukohtaisen tutkimusmetriikan lisäksi yhtenä tutkijoiden henkilökohtaisen palkkiojärjestelmän kriteerinä.
• Väitöskirjan osajulkaisujen validointi. Väitöskirjan osajulkaisuille ei ole suositeltavaa asettaa JUFO-luokitukseen perustuvia ehdottomia vaatimuksia. 
• Konferensseihin osallistuminen. JUFO-luokitusta ei ole suositeltavaa asettaa konferenssiin osallistumisen ja matkakulujen korvaamisen ehdoksi. Konferenssiin osallistumisen tarpeellisuutta on arvioitava muilla perusteilla.

2. Julkaisufoorumi-luokituksen kuvaus ja taustaoletukset

Julkaisufoorumissa (JUFO) kansallisen tason tieteenaloittaiset asiantuntijapaneelit tunnistavat ja arvioivat vertaisarvioituja, kansainvälisiä sekä kotimaisia tieteellisiä lehtiä/sarjoja, konferensseja ja kirjakustantajia (tasoluokka 1). Edelleen asiantuntijapaneelit arvioivat näitä julkaisukanavia tunnistaen niistä tiedeyhteisössä laajimmin arvostetut ja vaikuttavat julkaisukanavat (tasoluokat 2 ja 3). JUFO listaa myös julkaisukanavat, jotka paneelien näkemyksen mukaan eivät (vielä) täytä tasoluokan 1 minimilaatukriteereitä (taso 0).

Kokonaisuudessaan JUFO-tasoluokittelun taustaoletuksina ovat seuraavat tiedeyhteisössä vallitsevat yleiset käsitykset:

• Tieteelliset julkaisukanavat eroavat toisistaan niissä julkaistujen tutkimusten (eli yksittäisten artikkelien ja erillisteosten) keskimääräisen tieteellisen laadun, vaikuttavuuden ja merkityksen perusteella.
• Julkaisukanavien tieteellisen laadun, vaikuttavuuden ja merkityksen arviointi perustuu käsitykseen kanavissa julkaistavien artikkelien ja erillisteosten keskimääräisestä laadusta ja vaikuttavuudesta. Tämä ei kuitenkaan tarkoita sitä, etteikö yksittäinen julkaisu tietyssä julkaisukanavassa voisi edustaa korkeampaa tai matalampaa laatutasoa, vaikuttavuutta tai merkitystä kuin julkaisukanavan julkaisut keskimäärin.
• Vaikka JUFO on kansallinen foorumi ja asiantuntijapaneelit koostuvat suomalaisissa korkeakouluissa ja tutkimuslaitoksissa työskentelevistä tutkijoista, asiantuntijapaneelit perustavat julkaisukanavien analysoinnin – etenkin korkeimmilla tasoilla 2 ja 3 – ennen kaikkea käsitykseensä julkaisukanavien kansainvälisestä arvostuksesta ja vaikuttavuudesta globaalissa tiedeyhteisössä.
• Kotimaisilla kielillä julkaisevia julkaisukanavia voidaan myös tunnistaa korkeammille tasoille 2 ja 3, etenkin sellaisilla tieteenaloilla, joilla kotimaisten julkaisukanavien voidaan tulkita edustavan alan korkeinta kansainvälistä tasoa itse tutkimuskohteen Suomeen tai suomalaiseen kontekstiin keskittyvän luonteen vuoksi, tai jos kotimainen julkaisukanava tunnistetaan myös kansainvälisessä tiedeyhteisössä erityisen arvostetuksi.
• Avoimuus ei ole kriteeri tai indikaattori julkaisukanavien tieteellisen laadun arvioinnissa, mutta julkaisujen avoimen saatavuuden katsotaan lisäävän tutkimustulosten saavutettavuutta ja siten tieteen vaikuttavuutta. Näin ollen asiantuntijapaneelit voivat suosia korkeimmilla tasoilla 2 ja 3 välittömästi avointa tai käsikirjoituksen vertaisarvioidun version rinnakkaistallennuksen sallivaa kanavaa, jos tämä on tieteellisen laadun perusteella tasavertainen vaihtoehto samaa tieteenalaa edustavalle kanavalle, joka ei mahdollista samanlaista avointa saatavuutta. Vuodesta 2021 alkaen yliopistojen rahoitusmalli palkitsee JUFO-luokan lisäksi myös avoimesta saatavuudesta.

3. Julkaisufoorumi-luokituksen tausta: yliopistojen rahoitusmalli

Julkaisufoorumin yksi keskeisimmistä käyttötarkoituksista on sen käyttö Opetus- ja kulttuuriministeriön (OKM) yliopistojen valtionrahoituksen rahoitusmallissa. OKM:n rahoitusmallissa yksi yliopistojen tutkimustoimintaa kuvaava indikaattori perustuu yliopiston tuottamien julkaisujen määrään. Julkaisujen määriä on painotettu niiden keskimääräistä laatua kuvaavilla kertoimilla, jotka perustuvat julkaisujen julkaisukanavien JUFO-luokituksen. Tällöin tarkastelun kohteena on siis (i) yliopisto organisaationa, eli organisaation tuottaman suuren julkaisumäärän keskimääräinen laatu – ei (ii) yliopiston tai tutkimusorganisaation yksiköiden tuottamien pienempien julkaisumäärien taikka yksittäisten julkaisujen laatu, eikä (iii) yksittäisten tutkijoiden julkaisujen laatu.

OKM:n rahoitusmallissa tarkastelu kohdistuu yliopistojen vuosittain tuottamiin yli 25 000:een vertaisarvioituun julkaisuun, joiden julkaisukohtainen asiantuntija-arviointi olisi työmäärältään kohtuutonta. Tämän vuoksi asiantuntija-arviointi kohdistetaan JUFO-prosessissa julkaisukanaviin, ei yksittäisiin julkaisuihin. Pohjimmiltaan JUFO-prosessin ja -luokituksen tarkoitus on kannustaa suomalaista tiedeyhteisöä tavoittelemaan määrän lisäksi laatua ja vaikuttavuutta tutkimuksessa, eli tutkimustulosten julkaisemista tiedeyhteisön arvostamissa, vertaisarvioinniltaan vaativissa ja laajimman kriittisen asiantuntijayleisön tavoittavissa julkaisukanavissa.

Vastuullinen tutkimusmetriikka edellyttää myös vakaata julkaisuaineistoa, läpinäkyvyyttä, monimuotoisuutta ja refleksiivisyyttä (esim. The Metric Tide -raportti). Rahoitusmallin julkaisuindikaattori ja siihen liittyvä JUFO-luokitus toteuttavat näitä vastuullisen tutkimusmetriikan periaatteita:

• Vakaus (tutkimusmetriikan tulisi perustua kattavaan ja luotettavaan julkaisuaineistoon). Rahoitusmallin tutkimusmetriikka pohjautuu kansalliseen julkaisuaineistoon, joka sisältää kaikki yliopistojen tuottamat vertaisarvioidut julkaisut. Tämä on kansainvälisiin tieteellisiin lehtiin keskittyviä viittaustietokantoja (Web of Science ja Scopus) merkittävästi kattavampi julkaisuaineisto. JUFO-luokitus myös lisää julkaisuaineiston luotettavuutta.
• Läpinäkyvyys (arvioinnin kohteena olevien tulee voida testata ja todentaa tulokset). Yliopistot itse tuottavat ja validoivat julkaisuaineiston, johon rahoitusmalli perustuu. Yliopistoilla on myös mahdollisuus tarkistaa omien sekä toisten yliopistojen julkaisujen JUFO-luokat. Läpinäkyvyys on osa julkaisuaineiston laadunvarmennusta. JUFO-luokitus on avoimesti saatavilla ja tiedeyhteisö osallistuu sen toteutukseen.
• Monimuotoisuus (tieteenalojen erojen huomioiminen ja useiden eri indikaattorien käyttäminen).  Rahoitusmallin tutkimusmetriikka huomioi vertaisarvioidut lehti-, konferenssi- ja kokoomateosartikkelit, erillisteokset ja toimitetut teokset julkaisumaasta tai -kielestä riippumatta. Lisäksi huomioidaan myös ammatilliset ja yleistajuiset julkaisut. Erillisteokset huomioidaan suuremmalla painoarvolla kuin lehti-, konferenssi- ja kokoomateosartikkelit. JUFO-luokitusta pyritään tasapainottamaan eri tieteenalojen välillä siten, että rahoitusmalli kohtelee yliopistoja tasapuolisesti ja kannustavasti erilaisista tieteenalaprofiileista riippumatta. OKM:n kokonaisrahoitusmallissa käytetään myös useita muita koulutuksen ja tutkimuksen indikaattoreita, joten julkaisut eivät yksin määritä yliopistojen rahoitusta.
• Refleksiivisyys (vaikutusten ennakointi ja tunnistaminen sekä indikaattorien päivitys). Julkaisuaineisto mahdollistaa julkaisutoiminnassa tapahtuvien muutosten seurannan, minkä lisäksi mahdollisista vaikutuksista tehdään tutkimus- ja selvitystyötä sekä käydään julkista keskustelua. Rahoitusmallin indikaattorien tarkoituksenmukaisuutta arvioidaan säännöllisesti ministeriön asettamissa laajapohjaisissa työryhmissä. JUFO-luokitusta päivitetään säännöllisesti ja Julkaisufoorumin ohjausryhmä arvioi ja kehittää luokitusta.

4. Julkaisufoorumi-luokituksen rajoitteet

JUFO-luokituksen käyttöön tutkimuksen arvioinnin apuvälineenä liittyy rajoitteita. Rajoitteet eivät ole kovin ongelmallisia OKM:n rahoitusmallin kaltaisissa (i) yliopistotason suurten julkaisumäärien keskimääräisen laadun tarkasteluissa, mutta rajoitteiden merkitys korostuu pienemmissä julkaisumäärissä yksikkö- tai tutkijatasolla. Jos JUFO-luokitusta käytetään (ii) yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden tuottamien pienempien julkaisumäärien laadun arvioinnin, taikka (iii) yksittäisten tutkijoiden arvioinnin apuvälineenä, on tärkeää ottaa seuraavat rajoitteet vastuullisesti huomioon:

• Tasoluokkien kiintiöt. JUFO-asiantuntijapaneelit eivät ole voineet sijoittaa tasoluokkiin 2 ja 3 kaikkia tiedeyhteisön käyttämiä ja arvostamia julkaisukanavia, vaan tasoluokkien kiintiöiden puitteissa on jouduttu tekemään valintoja. Kiintiöiden tehtävä on tasapainottaa luokitusta eri tieteenalojen välillä. Kiintiöt lasketaan julkaisuvolyymin perusteella, joten joissain tapauksissa saattaa valintaan vaikuttaa laadun lisäksi lehden koko, eli lehden numeroissa vuosittain ilmestyvien julkaisuiden määrä.
• Luokituksen karkeusaste. JUFO-luokituksessa vertaisarvioidut julkaisukanavat jaetaan kolmeen tasoluokkaan julkaisujen keskimääräisen laadun ja vaikuttavuuden perusteella. Erityisesti tasoluokka 1 on laaja, joten tämän tasoluokan sisällä heikko- ja korkeatasoisimman kanavan keskimääräisessä laadussa voi olla huomattava ero. Toisaalta keskimääräinen laatuero ei välttämättä ole kovin suuri tasoluokan 1 korkeatasoisimpien ja tasoluokan 2 kanavien välillä.  Vaikka jo pelkästään julkaisukynnyksen ylittämistä esimerkiksi luokan 1, 2 tai 3 julkaisukanavaan voidaan pitää merkkinä artikkelin tai kirjan tieteellisestä arvosta ja merkityksestä, yksittäisten julkaisujen laadussa ja vaikuttavuudessa voi olla merkittäviä eroja myös tuon kanavan sisällä.
• Tieteenalojen erot. Koska JUFO-luokitus pyrkii huomioimaan tasapainoisesti kaikki tieteenalat, se ei täysin vastaa ideaalista luokitusta, joka olisi tehty yksinomaan kunkin tieteen- tai tutkimusalan omista lähtökohdista tai sen erityispiirteiden pohjalta. Valinta tasoluokkiin 2 ja 3 perustuu laajojen tieteenalojen kokonaistarkasteluihin, jolloin korkeampiin tasoluokkiin ei välttämättä päädy erikoistuneempia julkaisukanavia kaikilta ala-tieteenaloilta. Keskimäärin vain joka kolmas vertaisarvioitu artikkeli, erillisteos tai toimitettu teos laajalta tieteenalalta sijoittuu korkeampiin tasoluokkiin, ja yksi kymmenestä tasoluokkaan 3. Tasoluokkien jakaumassa on kuitenkin eroja tieteenalojen välillä (Taulukko 1). Lisäksi julkaisukäytäntöjen sekä tutkimuskysymysten ja -menetelmien eroista johtuen yksittäisten tutkijoiden tuottamien julkaisujen määrä korkeampiin tasoluokkiin kuuluvissa kanavissa vaihtelee eri tieteenalojen välillä ja sisällä.

• Suhde vaikuttavuuskertoimiin. Monilla tieteenaloilla, joilla kansainvälisiin viittaustietokantoihin indeksoidut lehdet kattavat valtaosan tieteellisestä julkaisutoiminnasta, kanavien vaikuttavuuden ja arvostuksen mittarina on totuttu pitämään Journal Impact Factoria (JIF). JUFOssa asiantuntijapaneelien tehtävään kuuluu luokituksen tasapainottaminen eri tieteen- ja tutkimusalojen välillä. Koska JIF-arvot vaihtelevat aloittain, on monia tapauksia, joissa lehtien valinta tasoluokkiin 2 ja 3 ei noudata vaikuttavuuskertoimien mukaista paremmuusjärjestystä. Paneelit ovat myös suosineet korkeimmissa tasoluokissa alkuperäistutkimusta julkaisevia lehtiä katsauslehtien kustannuksella, jälkimmäisten korkeista JIF-arvoista huolimatta.
• Tason 0 monitulkintaisuus. Tasoluokkaan 0 sijoitetaan julkaisusarjat, konferenssit ja kirjakustantajat, jotka eivät arviointihetkellä ole täyttäneet tasoluokan 1 tieteellisen julkaisukanavan toimituskuntaa ja vertaisarviointia koskevia vaatimuksia. Osa tasoluokan 0 kanavista saattaa kuitenkin täyttää nämä vaatimukset. Esimerkiksi toimintaansa vasta aloittavat vertaisarvioidut kanavat voidaan aluksi sijoittaa tasolle 0, kunnes paneelit voivat arvioida niiden julkaisutoimintaa paremmin. Samalla JUFO-asiantuntijapaneelit voivat myös sijoittaa tasolle 0 suomalaisen tutkimuksen kannalta marginaalisina tai heikkolaatuisina pitämiään vertaisarvioituja kanavia (esim. ns. ”saalistajalehdet”,”predatory journals”). Korkeakoulujen ja tutkimuslaitosten kustantamat vertaisarvioidut julkaisukanavat on myös sijoitettu tasoluokkaan 0, jos ne palvelevat lähinnä oman organisaation tutkijoita. Rajanveto tieteellisen sekä ammatillisen ja yleistajuisen kanavan välillä ei sekään ole aina yksiselitteinen. Tason 0 kanavissa voi siis ilmestyä myös asiallisesti vertaisarvioituja tieteellisiä artikkeleita ja kirjoja, jotka ansaitsevat tulla huomioiduksi esimerkiksi yksittäisen tutkijan arvioinneissa.
• Muutokset luokituksessa. JUFO-luokat 2 ja 3 päivitetään neljän vuoden välein, mutta poikkeustapauksissa voidaan yksittäisiä muutoksia tehdä myös välivuosina. Tasoluokkia 0 ja 1 koskevia muutoksia voi tapahtua vuosittain. Arvioinnissa tulee siis ottaa huomioon, että kanavan JUFO-luokka voi julkaisuprosessin tai arviointiperiodin aikana muuttua, ilman että tutkija on voinut tätä ennustaa. Koska tasoluokkia 2 ja 3 päivitetään pääasiassa neljän vuoden välein, julkaisukanavien arvostuksessa tapahtuvat muutokset voidaan JUFO-luokituksessa huomioida viiveellä. Voi olla tärkeitä nousevia julkaisukanavia, joiden arvoa ei välttämättä ole vielä voitu luokituksessa tunnistaa.

Viittaukset

(1) Wahlfors, L. & Pölönen, J. (2018). Julkaisufoorumi-luokituksen käyttö yliopistoissa, Hallinnon Tutkimus 37(1): 7-21.

(2) San Francisco Declaration of Research Assessment: DORA-julistuksen kotisivu (englanniksi)
 
(3) Hicks, D., Wouters, P.F., Waltman, L., de Rijcke, S., & Rafols, I. (2015). The Leiden Manifesto for research metrics, Nature 520, 429-431. Leidenin tutkimusmetriikkamanifesti (englanniksi)

(4) Wilsdon, J. et al. (2015).  The Metric Tide. Report of the Independent Review of the Role of Metrics in Research Assessment and Management, HEFCE. Metric Tide -raportti (englanniksi)

(5) ”Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia. Kvantitatiivinen metriikka voi kyseenalaistaa alttiutta puolueellisuuteen vertaisarvioinnissa ja helpottaa harkintaa. Tämän pitäisi vahvistaa vertaisarviointia, sillä kollegoiden arviointi ilman olennaista tietoa on vaikeaa. Arvioijien täytyy kuitenkin välttää kiusausta antaa numeroiden tehdä päätöksiä. Mittarit eivät saa syrjäyttää asiantuntevaa harkintaa. Jokainen kantaa vastuunsa omista arvioistaan”: Leidenin tutkimusmetriikkamanifesti (PDF)

(6) ”Määrällinen arviointi voi tukea laadullista arviointia, muttei korvata sitä”.

(7) Muita julkaisukanavaan perustuvia tutkimusmetriikoita ovat esimerkiksi vaikuttavuuskertoimet, kuten Journal Impact Factor (JIF), Source Normalized Impact per Paper (SNIP) ja Scimago Journal Rank (SJR); Norjan ja Tanskan kansalliset asiantuntija-arviontiin perustuvat tasoluokitukset; tieteenalakohtaiset julkaisukanavaluokitukset, kuten Association of Business Schools Academic Journal Quality Guide (ABS) ja Nature Index. Julkaisukohtaista tutkimusmetriikkaa ovat esimerkiksi Web of Science, Scopus ja Google Scholar -aineistoihin perustuvat artikkelien ja kirjojen viittausmäärät, ja julkaisujen saamaa huomiota sosiaalisessa mediassa kuvaavat latausten ja mainintojen lukumäärät (altmetriikka).

(8) DORA-julistuksen suositus on: ”älä käytä lehtiperustaista metriikkaa, kuten lehtien vaikuttavuuskertoimia, yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena arvioidaksesi yksittäisen tutkijan tieteellisiä ansioita, tai rekrytointi-, ylennys- ja rahoituspäätöksissä”: DORA-julistus

(9) Jos asetetaan JUFO-luokkiin liittyviä suuntaa-antavia kriteereitä tai -tavoitteita, on suositeltavaa soveltaa arviointihetkellä sitä tasoluokkaa, joka julkaisukanavalla oli sillä hetkellä, kun on tehty tiettäväksi nuo suuntaa-antavat kriteerit (eli esimerkiksi tenure-trackiin rekrytoinnin tai sopimuksen tekemisen hetkellä).