Kyseenalaisia julkaisukanavia uudelleenarvioitiin Julkaisufoorumissa

Tiedotteet   30.4.2019 14.21   Päivitetty 2.5.2019 7.50

Julkaisufoorumi-luokitus pyrkii toimimaan apuvälineenä luotettavien julkaisukanavien tunnistamisessa. Kyseenalaisina pidettyjä julkaisukanavia arvioitiin uudelleen kevään 2019 aikana. Työkaluina olivat Cabellsin musta lista ja DOAJ:n poistettujen julkaisukanavien lista. Hyvin pieni osuus Julkaisufoorumissa arvioiduista lehdistä esiintyi mainituilla listoilla ja niistä suurin osa oli tasolla 0. Listoilta tunnistettiin yhteensä 81 tieteellisellä perustasolla 1 olevaa tapausta, joista 72 laskettiin tasoluokkaan 0. Yhdessä tapauksessa kyseessä oli toimintansa lopettanut julkaisukanava, joten sitä ei uudelleenarvioitu. Lopuissa tapauksissa (8 lehteä) asiantuntijapaneelit tulivat siihen tulokseen, etteivät mustalla listalla esitetyt perusteet edellyttäneet tasoluokan laskemista. Vuosien 2011-2017 julkaisutietoihin verratessa todettiin, että yhteensä 675 vertaisarvioituna julkaisuna raportoitua artikkelia oli julkaistu Cabellsin ja DOAJ:n epäilemissä lehdissä, mikä tarkoittaa 0,4 % suomalaisten tuottamista vertaisarvioiduista julkaisuista.

 

Julkaisufoorumi apuvälineenä luotettavien julkaisukanavien tunnistamisessa

Suomalaisen tiedeyhteisön toteuttama ja Tieteellisten seurain valtuuskunnan ylläpitämä Julkaisufoorumi-luokitus pyrkii toimimaan apuvälineenä luotettavien julkaisukanavien tunnistamisessa. Julkaisukanavia arvioi 23 tieteenalakohtaista asiantuntijapaneelia, joihin kuuluu noin 250 tieteentekijää yliopistoista ja tutkimuslaitoksista. Julkaisufoorumissa on tähän mennessä arvioitu yli 31 000 julkaisukanavaa. Laadunarvioinnin tukena hyödynnetään tietoa siitä, onko kanava hyväksytty DOAJ-, Scopus- tai WoS-tietokantaan tai Norjan ja Tanskan Julkaisufoorumia vastaaviin luokituksiin, mutta nämä tietolähteet eivät kata kaikkia arvioitavia kanavia. Tieteelliselle perustasolle 1 on saatettu hyväksyä erehdyksessä myös kyseenalaisena pidettyjä julkaisukanavia, sillä kaikkia tarvittavia tietoja julkaisukanavien toimintaperiaatteista ei aina ole panelistien käytettävissä.

Arvioinnin tukena on hyödynnetty mustia listoja arveluttavista julkaisukanavista. Vuoteen 2017 käytössä oli ns. Beallin lista, jonka käyttö lopetettiin listan ylläpidon lopettamisen jälkeen. Vuoden 2018 lopulla testattiin Cabells Scholarly Analyticsin ylläpitämän Cabellsin mustan listan käyttökelpoisuutta saalistajajulkaisujen tunnistamisessa. Samassa arvioinnissa hyödynnettiin myös DOAJ:sta poistettujen julkaisukanavien listaa.
 

Työkaluina mustat listat ja pohjoismainen yhteistyö

Epäilyttävien julkaisukanavien mustilla listoilla on sekä kannattajansa että vastustajansa. Mustia listoja on kritisoitu esimerkiksi puutteellisesta kattavuudesta, kriteerien läpinäkymättömyydestä, subjektiivisuudesta ja vanhentuneista tiedoista. Mustalle listalle saattaa päätyä tarkoituksellisesti petollisten toimijoiden lisäksi myös julkaisukanavia, jotka ovat heikkolaatuisia asiantuntemattomuuden tai kokemattomuuden vuoksi. Mustia listoja on kuitenkin mahdollista hyödyntää suuntaa-antavina työkaluina julkaisukanavien arvioinnissa. Julkaisufoorumissakaan mustalle listalle kuulumisen ei ole tarkoitus toimia yksiselitteisenä tuomiona, vaan arvion tekevät viime kädessä tieteenalan asiantuntijapaneelit.

Vuonna 2015 Julkaisufoorumissa tehtiin laaja vertailu, jossa tasolla 1 olleet ns. Beallin listalle kuuluneet julkaisukanavat arvioitiin uudelleen. Tällöin löydettiin 529 Beallin listalle merkittyä lehteä, joista 257 oli hyväksytty tasolle 1. Asiantuntijapaneelit kävivät nämä julkaisukanavat lävitse ja tasolle 1 päätettiin jättää edelleen n. 70 lehteä. Kun tietoja verrattiin yliopistojen vuosien 2011-2013 julkaisutietoihin, Beallin listalla oleviin julkaisukanaviin voitiin yhdistää 753 vertaisarvioituna julkaisuna raportoitua kirjaa ja artikkelia, käytännössä siis n. 1 % kaikista yli 72 000 vertaisarvioidusta suomalaisjulkaisusta. Beallin listaa käytettiin työkaluna mahdollisten saalistajajulkaisujen tunnistamisessa aina vuoteen 2017 asti, jolloin listan ylläpito lopetettiin.

Tämän jälkeen on tehty yksittäisiä tarkistuksia, jos julkaisukanavaa on epäilty kyseenalaisesta toiminnasta. Julkaisufoorumi on esimerkiksi tehnyt yhteistyötä Norjan ja Tanskan vastaavia luokituksia ylläpitävien toimijoiden kanssa. Tämän yhteistyön tuloksena uudelleenarvioitavaksi ovat päätyneet esimerkiksi Oncotarget-lehti ja kirjakustantaja MDPI, joiden tasoluokkaa on laskettu Norjassa. Kummassakin tapauksessa mielipiteet jakautuivat, mutta tasoluokkaa päädyttiin kuitenkin laskemaan Suomessakin esille tulleiden väärinkäytösten vuoksi. MDPI:n luokittelu kirjakustantajana tasoluokkaan 0 ei kuitenkaan vaikuta yksittäisten MDPI:n julkaisemien lehtien tasoluokkiin. Osa tämän kustantajan lehdistä toimii asiallisesti ja on hyväksytty tasoluokkaan 1.

Vuonna 2018 Julkaisufoorumissa testattiin saalistajajulkaisujen tunnistamisessa Cabells Scholarly Analyticsin ylläpitämä Cabellsin mustaa listaa ja DOAJ:sta poistettujen kanavien listaa. Cabellsin listan keskeinen ero aiemmin käytössä olleeseen Beallin listaan on se, että kullekin listalla olevalle julkaisukanavalle on ilmoitettu kriteerit, joiden vuoksi lehti on listalla. Listan ongelma läpinäkyvyyden kannalta on se, että lehtikohtaiset tiedot ovat maksumuurin takana. Näin ollen lehtikohtaiset arviointikriteerit ovat Julkaisufoorumissa toistaiseksi vain panelistien nähtävissä. Arviointikriteerit ovat kuitenkin vapaasti saatavilla Cabellsin verkkosivuilla. DOAJ:sta poistettujen kanavien lista on sen sijaan kokonaisuudessaan vapaasti saatavilla DOAJ:n verkkosivuilla.

Lähes kaikki epäilyttävät julkaisukanavat uudelleenarvioitiin tasolle 0

Vuonna 2018 käytössä olleella Cabellsin listalla oli 10 078 julkaisusarjaa, joista 331 (3,3 %) esiintyy myös JUFOssa (Kuvio 1). DOAJ:n poistettujen listalla oli yhteensä 3093 lehteä, joista 662 (21%) esiintyy JUFOssa. Suurimmassa osassa poiston perusteena oli esimerkiksi muutos avoimuudessa, julkaisutoiminnan loppuminen tai se, ettei lehti noudata DOAJ:n määrittelemiä parhaita käytäntöjä. Uudelleenarviointiin valittiin mukaan ne tapaukset, joiden poistoperusteissa mainittiin selkeä julkaisutoimintaan liittyvä rike (suspected editorial misconduct by publisher, use of fake impact factor, no editorial board, inadequate peer review). Näitä tapauksia oli JUFOssa 20 kpl (0,7%). Julkaisufoorumissa on arvioitu kaikkiaan 27 447 julkaisusarjaa, joten vain 1,2 % näistä sarjoista esiintyy Cabellsin mustalla listalla tai DOAJ:n poistettujen listalla epäiltynä julkaisutoiminnan rikkeistä. JUFOssa esiintyvistä Cabellsin tai DOAJ:n epäilemistä lehdistä 250 sijoittui tasoluokkaan 0 ja 81 tasoluokkaan 1. Voidaan siis todeta, että Julkaisufoorumin asiantuntijapaneelit ovat onnistuneet tunnistamaan tasoluokkaan 1-3 erittäin hyvin luotettavia vertaisarvioituja julkaisukanavia.

Tasoluokkaan 1 sijoittuvien 81 Cabellsin ja DOAJ:n listaaman lehden uudelleenarviointi valmistui keväällä 2019, jolloin 72 lehteä laskettiin tasoluokkaan 0. Yhdessä tapauksessa kyseessä oli toimintansa lopettanut julkaisukanava, joten sitä ei uudelleenarvioitu. Muissa tapauksissa (8 lehteä) paneeli arvioi, etteivät esitetyt perusteet olleet riittävät tasoluokan laskemiseen. Esimerkiksi kahdessa tapauksessa paneeli löysi vertaisarvioinnista tiedot, jotka Cabellsin listan mukaan puuttuivat.

Kuvio 1. Julkaisufoorumin ja Cabellsin/DOAJ:sta poistettujen vertailu

Epäilyttävissä julkaisukanavissa julkaistaan hyvin vähän

Vuosien 2011-2017 julkaisutietoihin verratessa todettiin, että yhteensä 675 vertaisarvioituna julkaisuna raportoitua artikkelia oli julkaistu Cabellsin tai DOAJ:n epäilemissä lehdissä, mikä tarkoittaa 0,4 % suomalaisten tuottamasta 183 852 vertaisarvioidusta julkaisusta. Artikkelimäärät ovat hivenen kasvaneet tarkastelujaksolla, kuten julkaisumäärät yleensäkin, mutta Cabellsin mustalla listalla olevissa tai DOAJ:sta poistetuissa lehdissä julkaiseminen on kokonaisuutena pysynyt marginaalisena ilmiönä (Kuvio 2).

Kuvio 2. Suomalaisten yliopistojen julkaisut Cabellsin/DOAJ:sta poistetuissa lehdissä 2011-2017

 

Epäilyttäviä julkaisukanavia seurattava

Kyseenalaisten julkaisukanavien määrä vaikuttaa olevan nousussa: vuosina 2010-2014 lukumäärä kasvoi Shenin ja Björkin vuonna 2015 julkaistun selvityksen mukaan parista tuhannesta noin kahdeksaantuhanteen, ja vuonna 2019 Cabellsin mustalla listalla on jo yli 11 000 julkaisukanavaa. Vaikka mustien listojen käytössä on syytä noudattaa varovaisuutta, ne voivat kuitenkin toimia käyttökelpoisena apuvälineenä arveluttavien julkaisukanavien tunnistamisessa. Säännölliset tarkistukset ovat jatkossakin tarpeen, jotta Julkaisufoorumi voi toimia tietolähteenä luotettavien julkaisukanavien tunnistamisessa. Neuvoja julkaisukanavien tunnistamiseen ja kyseenalaisten välttämiseen löytyy mm. Vastuullinen tiede -sivustolta.

Kyseenalaisten julkaisukanavien tunnistamisen työkaluja on syytä kehittää edelleen ja pitää silmällä uusia mahdollisia tapoja tunnistaa luotettavia ja epäilyttäviä julkaisukanavia. Tiedeyhteisön apu on edelleen tarpeen. Julkaisukanavien tasoihin voi esittää perusteltuja muutosehdotuksia JUFO-portaalissa, ja sähköpostitse tulevia aggressiivisia markkinointiviestejä voi välittää Julkaisufoorumille osoitteeseen saalistajat(at)julkaisufoorumi.fi. Tähän mennessä mainittuun osoitteeseen ilmoitetuista julkaisukanavista yksikään ei toistaiseksi ole kuulunut Julkaisufoorumin listoille.
 

Lisää aiheesta:

Epäilyttävät open access -lehdet arvioitiin uudelleen Julkaisufoorumissa. Julkaisufoorumin tiedote 6.5.2015

Olijhoek, Tom 2019: Quality of DOAJ listed journals

Pölönen, Janne & Savolainen, Eeva 2018: Julkaisufoorumi välittää tietoa luotettavista tieteellisistä julkaisukanavista. Tieteessä tapahtuu Vol 36 Nro 4 (2018)

Ruth, Anna-Sofia 2018: Kuinka välttää saalistajajulkaisuja?

Smith, Kevin 2017. Examining publishing practices: moving beyond the idea of predatory open access. Insights 30 (3):4-10. DOI: http://doi.org/10.1629/uksg.388

Shen, Cenyu & Björk, Bo-Christer 2015: ’Predatory’ open access: a longitunal study of article volumes and market characteristics. BMC Medicine (2015) 13:230. DOI: http://doi.org/10.1186/s12916-015-0469-2
 
Vainio, Annukka 2018: Julkaisufoorumi ja epäilyttävät lehdet. Tieteessä tapahtuu Vol 36 Nro 4 (2018)