Instruktioner

Instruktioner för Publikationsforumklassificeringen 2019

Ladda ner manualen som PDF här.

Publikationsforumet (JUFO) är en av det finländska vetenskapssamfundet genomförd nivåindelning av publiceringskanaler, som stöder forskningens kvalitetsbedömning. Dessa instruktioner innehåller rekommendationer utarbetade av en styrgrupp tillsatt av styrelsen för de Vetenskapliga samfundens delegation (VSD) för ansvarsfull användning av JUFO-klassificeringen som redskap för utvärderingen av forskning.

JUFO-klassificeringen är ursprungligen avsedd för (i) utvärdering av den genomsnittliga kvaliteten på stora publikationsvolymer utgivna av universitet. Klassificeringen är inte avsedd för (ii) utvärdering av kvaliteten på mindre publikationsvolymer eller enskilda publikationer – artiklar eller monografier – utgivna av universitetens eller andra forskningsorganisationers enheter, eller (iii) utvärdering eller jämförelse av enskilda forskare.   

Styrgruppen anser att det är nödvändigt att ge instruktioner om användningen av JUFO-klassificeringen, eftersom den under de senaste åren har börjat användas i en del finländska universitet också för utvärdering och jämförelse på (ii) enhets- och/eller (iii) forskarnivå (1). Instruktionerna beskriver JUFO-klassificeringens underliggande antaganden, klassificeringens begränsningar samt ger anvisningar om hur klassificeringen kan nyttjas vid utvärdering av forskning i enlighet med principerna för ansvarsfull metrik. Instruktionerna samlar ihop principer som är framförda bl.a. på Publikationsforumets webbsidor och vid olika evenemang. Internationella deklarationer om ansvarsfull metrik har utnyttjats vid utarbetandet av instruktionerna: DORA-deklarationen (2), Leidenmanifestet för bibliometri (3), samt Metric Tide-rapporten (4).

Den första manualen publicerades av styrgruppen 2012 (Slutrapporten för Publikationsforum-projektet 2010-2012, bilaga 1). Styrgruppen kommer att uppdatera manualen vid behov. Denna sida innehåller den uppdaterade versionen av bruksanvisning i april 2019.

Instruktionerna har fyra avsnitt:

1. Användning av Publikationsforum-klassificeringen på enhets- och forskarnivå 
2. Beskrivning av Publikationsforum-klassificeringen och underliggande antaganden
3. Publikationsforum-klassificeringens bakgrund: universitetens finansieringsmodell
4. Begränsningar för Publikationsforum-klassificeringen

1. ANVÄNDNING AV PUBLIKATIONSFORUM-KLASSIFICERINGEN PÅ ENHETS- OCH FORSKARNIVÅ

Utvärderingen av kvaliteten på forskningen vid universitetens eller andra forskningsorganisationers enheter (ii) eller av enskilda forskare (iii) bör i enlighet med rekommendationerna i Leidenmanifestet för bibliometri (5) och Metric Tide-rapporten (6) basera sig först och främst på expertbedömning, men bibliometri kan användas som stöd för utvärderingen. Om JUFO-klassificeringen nyttjas som redskap för utvärderingen bör:

• begränsningar gällande användningen av JUFO-klassificering beaktas (avsnitt 4);
• också annan publiceringskanal- och/eller publikationsspecifik bibliometri användas så mångsidigt som möjligt och med beaktande av vetenskapsgrenarnas skillnader och särdrag (7);
• bibliotekens expertis och/eller övriga sakkunniga i bibliometri utnyttjas i producerande och tolkningen av bibliometri som baserar sig på JUFO-klassificering;
• personalen få insyn i hur och i vilka sammanhang JUFO-klassificeringen används;
• forskarna ges möjlighet att komma med synpunkter om JUFO-klassificeringens tillämplighet för olika utvärderingsändamål inom deras vetenskaps- eller forskningsområde.

Utöver ovan nämnda synpunkter ska även följande preciseringar beaktas i JUFO-klassificeringens användning:

(ii) Utvärdering av universitetens och övriga forskningsorganisationers enheter:

• Utvärderingar med hjälp av externa expertpaneler. JUFO-klassificeringen är endast lämplig för granskning av profiler och intern utveckling av forskningsenheternas publikationsverksamhet, inte för jämförelse mellan vetenskapsgrenar. Expertpaneler som utvärderar enheternas forskning kan utöver annan publiceringskanal- och/eller publikationsspecifik bibliometri även informeras om JUFO-referensdata.
• Interna finansieringsmodeller. Om finansiering beviljas till universitetsenheter (fakulteter, institutioner, enheter osv.) utifrån deras forskningsvolym, kan JUFO-klassificeringen användas utöver annan publiceringskanal- och/eller publikationsspecifik bibliometri även som en indikator för den genomsnittliga kvalitetsutvecklingen av enhetens vetenskapliga publikationsproduktion.

(iii) Utvärdering av en enskild forskare:

• Rekrytering-, tenure-track- och personlig prestation. Vid utvärderingar ska det totala innehållet (t.ex. forskningsämnen, metodologier och resultatens relevans) samt övergripande kvalitet av en forskares produktion bedömas utifrån sakkunskap kvalitativt, men kvantitativ bibliometri kan användas som stöd i utvärderingen. Man bör emellertid undvika att endast förlita sig på en klassificering av publiceringskanaler, såsom JUFO-klassificeringen (8). Med andra ord ska även annan publiceringskanal- och/eller publikationsspecifik bibliometri än JUFO-klassificeringen användas – så mångsidigt som möjligt och med beaktande av vetenskapsgrenarnas skillnader och särdrag. Det är inte heller lämpligt att för forskare ställa definitiva kvantitativa publikationskriterier eller -mål bundna till JUFO-nivåer (9).
• Belöningssystem. I totalbelöningssystem ska tas hänsyn till såväl meriter kopplade till forskningspublikationer som meriter beträffande utbildning och samhällelig samverkan. Utöver annan publiceringskanal- och/eller publikationsspecifik bibliometri kan JUFO-klassificeringen användas som ett kriterium för forskarnas personliga belöningssystem.
• Validering av doktorsavhandlingars delpublikationer. Det är inte lämpligt att ställa definitiva krav som baserar sig på JUFO-klassificeringen för en doktorsavhandlings delpublikationer.
• Deltagande i konferenser. Det är inte lämpligt att ställa JUFO-klassificeringen som ett villkor för deltagande i konferenser och ersättande av resekostnader. Behovet av att delta i konferenser måste bedömas utifrån andra skäl.  

2. BESKRIVNING AV PUBLIKATIONSFORUM-KLASSIFICERINGEN OCH UNDERLIGGANDE ANTAGANDEN

I Publikationsforumet (JUFO) identifierar och utvärderar expertpaneler enligt vetenskapsgren på nationell nivå referentgranskade, internationella samt inhemska vetenskapliga tidskrifter/serier, konferenser och bokförlag (nivå 1). Vidare utvärderar expertpanelerna dessa publiceringskanaler och identifierar de inom vetenskapssamfundet mest erkända och slagkraftiga publiceringskanalerna (nivåerna 2 och 3). JUFO listar också de publiceringskanaler som enligt panelerna inte (ännu) uppfyller minimikriterierna för nivå 1 (nivå 0).

I sin helhet är de underliggande antagandena i JUFO-nivåindelningen följande inom vetenskapssamfundet rådande allmänna uppfattningar:

• Vetenskapliga publiceringskanaler skiljer sig från varandra utifrån den genomsnittliga vetenskapliga kvaliteten, genomslaget och relevansen av forskning (dvs. enskilda artiklar och monografier) som publicerats i dem.
• Utvärderingen av publiceringskanalernas vetenskapliga kvalitet, genomslag och relevans bygger på uppfattningen om den genomsnittliga kvaliteten och genomslaget av artiklar och monografier som ges ut i kanalerna. Detta betyder emellertid inte att en enskild publikation i en viss publiceringskanal inte skulle kunna representera en högre eller lägre kvalitetsnivå, genomslag eller relevans än publikationerna i publiceringskanalen i genomsnitt.
• Trots att JUFO är ett nationellt forum och expertpanelerna består av forskare som arbetar i finländska högskolor och forskningsinstitutioner, baserar expertpanelerna sin analys av publiceringskanalerna – i synnerhet på de högsta nivåerna 2 och 3 – först och främst på sin uppfattning om publiceringskanalernas internationella uppskattning och genomslag inom det globala vetenskapssamfundet.  
• Publiceringskanaler som publicerar på de inhemska språken kan också identifieras till de högre nivåerna 2 och 3, i synnerhet inom sådana vetenskapsgrenar där de inhemska publiceringskanalerna kan tolkas representera den högsta internationella nivån inom sitt område på grund av själva forskningsobjektets starka koppling till Finland eller den finländska kontexten, eller om den inhemska publiceringskanalen uppskattas speciellt också inom det internationella vetenskapssamfundet.
• Öppenhet är inte ett kriterium eller en indikator vid utvärderingen av publiceringskanalernas vetenskapliga kvalitet, men öppen tillgång till publikationerna anses öka tillgängligheten av forskningsresultat och därmed vetenskapens genomslag. Därmed kan expertpanelerna på de högsta nivåerna 2 och 3 gynna en kanal som är omedelbart öppen eller tillåter parallellpublicering av den referentgranskade versionen av manuskriptet, ifall denna utifrån vetenskaplig kvalitet är ett likvärdigt alternativ till en kanal som representerar samma vetenskapsgren men inte möjliggör likadan öppen tillgänglighet. Utöver JUFO-nivån belönar universitetens finansieringsmodell även för öppen tillgänglighet från och med år 2021.

3. PUBLIKATIONSFORUM-KLASSIFICERINGENS BAKGRUND: UNIVERSITETENS FINANSIERINGSMODELL

Ett av Publikationsforumets viktigaste användningssyften är dess användning i undervisnings- och kulturministeriets (UKM) finansieringsmodell för statlig finansiering av universitet. I UKM:s finansieringsmodell grundar sig en indikator som beskriver universitetens forskningsverksamhet på antalet publikationer som universitetet ger ut. Antalen publikationer har viktats med koefficienter som beskriver deras genomsnittliga kvalitet och som bygger på publiceringskanalernas JUFO-klassificering. Således är föremålet för granskning (i) universitetet som organisation, dvs. den genomsnittliga kvaliteten på organisationens stora publikationsvolym – inte (ii) kvaliteten på de mindre publikationsvolymerna eller enskilda publikationer utgivna av universitetets eller forskningsorganisationens enheter, eller (iii) kvaliteten på publikationer utgivna av enskilda forskare.

I UKM:s finansieringsmodell fokuseras granskningen på de drygt 25 000 referentgranskade publikationerna som universiteten ger ut årligen, vilkas publikationsspecifika expertbedömning skulle vara orimlig med tanke på arbetsmängden. Därför riktas expertbedömningen i JUFO-processen till publiceringskanalerna, inte enskilda publikationer. Till grund och botten är syftet med JUFO-processen och -klassificeringen att uppmuntra det finländska vetenskapssamfundet att eftersträva utöver kvantitet även kvalitet och genomslag i forskning, dvs. publicering av forskningsresultat i publiceringskanaler som är uppskattade inom vetenskapssamfundet, har krävande referentgranskning och når den bredaste kritiska läsekretsen av sakkunniga.

Ansvarsfull bibliometri förutsätter också stabilt publikationsmaterial, transparens, mångfald och reflexivitet (t.ex. The Metric Tide-rapporten). Finansieringsmodellens publiceringsindikator och den relaterade JUFO-klassificeringen följer dessa principer för ansvarsfull bibliometri:

• Stabilitet (bibliometrin bör grunda sig på ett omfattande och tillförlitligt publikationsmaterial). Finansieringsmodellens bibliometri bygger på nationellt publikationsmaterial som innehåller alla referentgranskade publikationer som getts ut av universiteten. Detta är ett betydligt mer omfattande publikationsmaterial än citeringsdatabaser som fokuserar på internationella vetenskapliga tidskrifter (Web of Science och Scopus). JUFO-klassificeringen ökar också publikationsmaterialets tillförlitlighet.
• Transparens (de som är föremål för utvärderingen måste kunna testa och verifiera resultaten). Universiteten producerar och validerar själv det publikationsmaterial som finansieringsmodellen baserar sig på. Universiteten har också möjlighet att kontrollera JUFO-nivåerna på egna och andra universitets publikationer. Transparens är en del av publikationsmaterialets kvalitetssäkring. JUFO-klassificeringen är öppet tillgänglig och vetenskapssamfundet deltar i dess förverkligande.  
• Mångfald (beaktande av skillnaderna mellan olika vetenskapsgrenar och användande av flera olika indikatorer). Finansieringsmodellens bibliometri beaktar referentgranskade artiklar i tidskrifter, konferenspublikationer och samlingsverk, monografier och redigerade verk oavsett publiceringsland eller -språk. Dessutom beaktas även yrkesinriktade och populära publikationer. Monografier får större vikt än artiklar i tidskrifter, konferenspublikationer och samlingsverk. JUFO-klassificeringen eftersträvas att balanseras upp mellan de olika vetenskapsgrenarna så att finansieringsmodellen behandlar universiteten jämlikt och uppmuntrande, oavsett de olika vetenskapliga profilerna. I UKM:s övergripande finansieringsmodell används också flera andra utbildnings- och forskningsindikatorer, så publikationer bestämmer inte ensamma universitetens finansiering.
• Reflexivitet (framförhållning och identifiering av verkningar samt uppdatering av indikatorer). Publikationsmaterialet möjliggör uppföljning av förändringar i publikationsverksamheten, vartill utförs forsknings- och utredningsarbete kring eventuella verkningar samt förs offentlig diskussion. Ändamålsenligheten av finansieringsmodellens indikatorer utvärderas regelbundet i bredbasiga arbetsgrupper som ministeriet har tillsatt. JUFO-klassificeringen uppdateras regelbundet och styrgruppen för Publikationsforumet utvärderar och utvecklar klassificeringen.

4. BEGRÄNSNINGAR FÖR PUBLIKATIONSFORUM-KLASSIFICERINGEN

Det finns begränsningar kopplade till användningen av JUFO-klassificeringen som ett redskap för forskningsutvärderingen. Begränsningarna är inte särskilt problematiska vad gäller (i) granskningen av den genomsnittliga kvaliteten på stora publikationsvolymer på universitetsnivå såsom i UKM:s finansieringsmodell, men begränsningarnas betydelse betonas i mindre publikationsvolymer på enhets- eller forskarnivå. Om JUFO-klassificeringen används som redskap för att utvärdera (ii) kvaliteten på mindre publikationsvolymer som getts ut av universitetens eller andra forskningsorganisationers enheter, eller (iii) enskilda forskare, är det viktigt att på ett ansvarsfullt sätt ta hänsyn till följande begränsningar:

• Kvoterna för nivåerna. JUFO-expertpanelerna har inte kunnat föra alla publiceringskanaler som vetenskapssamfundet använder och uppskattar till nivåerna 2 och 3, utan man har varit tvungen att göra val inom ramen för kvoterna för nivåerna. Syftet med kvoterna är att balansera upp klassificeringen mellan olika vetenskapsgrenar. Kvoterna räknas utifrån publikationsvolymen så i vissa fall kan valet påverkas utöver kvaliteten också av tidskriftens storlek, dvs. antalet publikationer som utges i tidskriften årligen.  
• Klassificeringens grovhet. I JUFO-klassificeringen delas de referentgranskade publiceringskanalerna in i tre nivåer enligt publikationernas genomsnittliga kvalitet och genomslag. I synnerhet är nivå 1 bred, så inom denna nivå kan skillnaden i den genomsnittliga kvaliteten hos den låg- och högklassigaste kanalen vara stor. Å andra sidan är den genomsnittliga kvalitetsskillnaden inte nödvändigtvis särskilt stor mellan de mest högklassiga kanalerna på nivå 1 och kanalerna på nivå 2. Även om det att en artikel eller en bok nått över publikationströskeln i t.ex. en publiceringskanal på nivå 1, 2 eller 3 kan tolkas som ett tecken på dess vetenskapliga värde och betydelse, kan det finnas betydande skillnader i kvalitet och genomslag hos enskilda publikationer också inom den kanalen.
• Vetenskapsgrenarnas skillnader. Eftersom JUFO-klassificeringen eftersträvar att på ett balanserat sätt beakta alla vetenskapsgrenar, motsvarar den inte fullt den ideala klassificeringen som enbart skulle utgå från varje vetenskaps- eller forskningsområdes egna utgångspunkter eller särdrag. Valet mellan nivå 2 och 3 baserar sig på övergripande granskningar av omfattande vetenskapsgrenar, varvid mer specialiserade publiceringskanaler från alla subdiscipliner inte nödvändigtvis har plats på de högre nivåerna. I genomsnitt får endast var tredje av alla referentgranskade artiklar, monografier eller redigerade verk inom en omfattande vetenskapsgren plats på de högre nivåerna, och en av tio på nivå 3. Det finns emellertid skillnader mellan olika vetenskapsgrenar i fördelningen av nivåerna (Tabell 1). På grund av skillnader i publiceringspraxis och forskningsfrågor och -metoder varierar dessutom antalet publikationer som enskilda forskare gett ut i kanaler på de högre nivåerna mellan och inom olika vetenskapsgrenar. 

• Förhållandet till impaktfaktorer. Inom många vetenskapsgrenar där tidskrifter indexerade i internationella referensdatabaser täcker merparten av den vetenskapliga publikationsverksamheten, har Journal Impact Factor (JIF) ansetts vara en indikator för kanalernas genomslag och uppskattning. I JUFO är det expertpanelernas uppgift att balansera upp klassificeringen mellan olika vetenskaps- och forskningsområden. Eftersom JIF-värden varierar enligt område, finns det många fall där tidskrifters val till nivåerna 2 och 3 inte följer rangordningen enligt impaktfaktorerna. Panelerna har också i de högsta nivåerna prioriterat tidskrifter som publicerar originalforskning på bekostnad av översiktstidskrifter, trots de senares höga JIF-värden.  
• Flertydigheten av nivå 0. Nivå 0 inkluderar publikationsserier, konferenser och bokförläggare som vid tidpunkten för utvärderingen inte uppfyllt kraven beträffande redaktion och referentgranskning för en vetenskaplig publiceringskanal på nivå 1. En del av kanalerna på nivå 0 kan ändå uppfylla dessa krav. Exempelvis kan referentgranskade kanaler som just påbörjar sin verksamhet initialt placeras på nivå 0 till dess att panelerna bättre kan utvärdera deras publikationsverksamhet. Samtidigt kan JUFO-expertpanelerna också placera referentgranskade kanaler som de ur den finländska forskningens synvinkel anser vara marginella eller av svag kvalitet på nivå 0 (t.ex. s.k. ”rovtidskrifter”, ”predatory journals”). Även referentgranskade publiceringskanaler som utges av högskolor och forskningsinstitutioner har placerats på nivå 0 om de främst tjänar forskare i den egna organisationen. Gränsdragningen mellan en vetenskaplig samt yrkesinriktad och populär kanal är inte alltid helt entydig. Nivå 0-kanaler kan alltså innehålla även sakligt referentgranskade vetenskapliga artiklar och böcker som förtjänar att bli uppmärksammade t.ex. vid utvärderingar av en enskild forskare.  
• Ändringar i klassificeringen. JUFO-nivåerna 2 och 3 uppdateras med fyra års mellanrum, men i undantagsfall kan enskilda ändringar göras även under mellanåren. Ändringar i nivåerna 0 och 1 kan ske årligen. I utvärderingen bör alltså beaktas att kanalens JUFO-nivå kan ändras under publiceringsprocessen eller bedömningsperioden utan att forskaren har kunnat förutspå detta. Eftersom nivåerna 2 och 3 uppdateras i huvudsak med fyra års mellanrum, kan ändringar i publiceringskanalernas uppskattning uppmärksammas i JUFO-klassificeringen med eftersläpning. Det kan finnas viktiga nya publiceringskanaler vars värde ännu inte har kunnat identifieras i klassificeringen.

1. Wahlfors, L. & Pölönen, J. (2018). Julkaisufoorumi-luokituksen käyttö yliopistoissa, Hallinnon Tutkimus 37(1): 7–21.

2. San Francisco Declaration of Research Assessment: DORA-deklarationen (på engelska)

3. Hicks, D., Wouters, P. F., Waltman, L., de Rijcke, S., & Rafols, I. (2015). The Leiden Manifesto for research metrics, Nature 520, 429–431. doi:10.1038/520429a.

4. Wilsdon, J. et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management, HEFCE. doi:10.13140/RG.2.1.4929.1363.

5. ”En kvantitativ utvärdering bör stöda en kvalitativ expertutvärdering. Kvantitativ bibliometri kan motarbeta partiska tendenser i referentgranskning och underlätta bedömningen. Detta borde stärka referentgranskningen, eftersom det är svårt att bedöma kolleger utan tillgång till relevant information. Utvärderarna får dock inte frestas att överlåta beslutsfattandet till siffrorna. Indikatorer kan inte ersätta en välgrundad bedömning. Ansvaret för bedömningen kvarstår hos utvärderarna.” Leidenmanifest för bibliometri (pdf)

6. ”En kvantitativ utvärdering kan stöda en kvalitativ utvärdering, men inte ersätta den.”

7. Övriga bibliometrier som baserar sig på publiceringskanalen är t.ex. impaktfaktorer såsom Journal Impact Factor (JIF), Source Normalized Impact per Paper (SNIP) och Scimago Journal Rank (SJR); Norges och Danmarks nationella klassificeringar som baserar sig på expertbedömning; disciplinspecifika klassificeringar av publiceringskanaler såsom Association of Business Schools Academic Journal Quality Guide (ABS) och Nature Index. Publikationsspecifika bibliometrier är t.ex. antalet citeringar för artiklar och böcker som bygger på Web of Science, Scopus och Google Scholar-material, och antalet nedladdningar och omnämnanden i sociala medier som publikationerna får (Altmetri).

8. DORA-deklarationens rekommendation är: ”Använd inte tidskriftsbaserad metrik, såsom impaktfaktorer för tidskrifter, som substitut för mätning av en enskild forskningsartikels kvalitet i syfte att bedöma en enskild forskares vetenskapliga meriter, eller i rekryterings-, befordrings- och finansieringsbeslut”. DORA-deklarationen (på finska)

9. Om riktgivande kriterier eller mål kopplade till JUFO-nivåerna sätts upp, är det rekommendabelt att vid tidpunkten för utvärderingen tillämpa den nivå som publiceringskanalen hade då de riktgivande kriterierna har gjorts gällande (dvs. vid tenure-track rekrytering eller uppgörande av avtal).