Julkaisujen vertaisarviointi, tieteen keskeinen tunnusmerkki, on usein helpommin sanottu kuin tehty. Tiedeyhteisöt eivät toimi tyhjiössä, vaan kiristyneen kilpailun ja julkaisupakon ajamina.

Tutkijoilla on kova paine julkaista yhä enemmän. Asiantuntijoiden löytäminen palkattomaan työhön voi olla vaikeaa, varsinkin, jos aikataulut ovat tiukat. Kirjoittaja voi saada hyvinkin ristiriitaisia kommentteja eri arvioijilta. Vertaisarvioinnin merkitystä puitiin etenkin koronan aikaan, kun nopeasti käyttöön saadut lääketieteelliset esijulkaisut nousivat arvoonsa. Myös tekoäly, erilaiset näkemykset tekijyydestä ja digitaaliset julkaisukäytännöt haastavat aiemmin totuttuja vertaisarvioinnin käytäntöjä.

Ensi kuulemalta vertaisarviointi ei ehkä kuulosta maailman kiinnostavimmalta aiheelta, korkeintaan hieman mystiseltä. Tarkemmin ajatellen tieteen vertaisarviointi- ja julkaisukäytännöissä ollaan kuitenkin aivan tieteellisen tiedonmuodostuksen ytimessä.

Tekeehän tieteen tieteeksi juuri se, että se on julkista, arvioitavaa ja uudistuvaa, tiedeyhteisön tieteeksi tunnistamaa ja kommentoimaa. Alan itsesääntelymekanismit ovat tehokkaita, mutta eivät aukottomia.

Tiedeyhteisöt eivät toimi tyhjiössä, vaan kiristyneen kilpailun ja julkaisupakon ajamina. Aikataulut ovat usein tiukat, työtä tehdään yleensä palkatta muun työn ohella, eikä sopivia asiantuntijoita ole noin vain saatavilla. Vertaisarvioijien opastaminen tehtäviinsä ja arviointien vaihteleva laatu aiheuttavat päänvaivaa toimituksissa.

Käytössä olevat resurssit vaihtelevat suuresti. Kansainväliset lääketieteeseen, tekniikkaan ja muihin rahakkaisiin aloihin keskittyvät journaalit ovat aivan eri asemassa kuin pienet tieteelliset seurat. Suomessa tieteelliset seurat julkaisevat huomattavan määrän tiedettä lähes olemattomalla budjetilla. Kaikki eivät yhteisöllisiin talkootöihin halua osallistua, eivätkä toimitustyö tai lausuntojen kirjoittaminen meritoi siten kuin omat julkaisut. Arvioinnin pelisäännöt vaihtelevat eri tieteenaloilla, mikä voi tuottaa päänvaivaa etenkin monitieteisillä aloilla.

Sivuun osuvia pyyntöjä ja saalistajajulkaisuja

Kyselimme kolmelta kokeneelta vertaisarvioijalta heidän kokemuksiaan vertaisarvioinnin haasteista ja tulevaisuudennäkymistä. Vastauksissa nousi esiin samankaltaisia asioita. Julkaisemisen paine näkyy heidän työpöydillään.

– Pyyntöjä tulee joskus ohi omien osaamisalueiden. Itse saan välillä ekologian alan arviointipyyntöjä, vaikka olen yhteiskuntatieteilijä, joka on tutkinut luonnonsuojelupolitiikkaa ja luontotietokäytäntöjä, kertoo kestävän kehityksen lehtori Nina Nygren Hämeen ammattikorkeakoulusta.

Samaa kertoo kasvatustieteiden alan julkaisuja vertaisarvioinut Liisa Postareff, johtava tutkijayliopettaja HAMKista.

– Vaikka artikkelin aihepiiri liittyisi omaan asiantuntijuusalueeseen, voi olla, että en tunne esimerkiksi artikkelissa käytettyjä menetelmiä riittävän hyvin. Silloin lähetän editorille toiveen, että artikkelin menetelmän käytön arvioisi joku muu.

Tämä menettelytapa onkin käytössä monessa lehdessä.

– Monitieteisen tai tieteidenvälisen artikkelin vertaisarvioinnissa voi tehdä niin, että yksi arvioija edustaa yhtä tieteenalaa ja toinen toista. Tai niin, että arvioitsija A voi edustaa vaikkapa teoreettista osaamista, B voi olla tutkimuksessa käytetyn menetelmän asiantuntija ja C on itse tehnyt aihepiiristä tutkimusta, kertoo sukupuolentutkimuksen yliopistonlehtori Marjo Kolehmainen Jyväskylän yliopistosta. Hän on toiminut vertaisarvioijana, toimittajana ja toimituskunnan jäsenenä useassa kansainvälisessä julkaisussa.

Oma lukunsa ovat saalistajajulkaisut ja ”harmaalla alueella” toimivat julkaisukanavat, joilta tulee kyseenalaisa arviointipyyntöjä.

– Olen arvioijana viime aikoina kohdannut ongelmia siinä, että esimerkiksi MDPI-julkaisijan julkaisut ovat luisuneet kohti nopeatempoista ja laadutonta julkaisutoimintaa, Nina Nygren kertoo.

– Pitää olla tarkkana, ettei vertaisarvioi laaduttomaan lehteen. MDPI Sustainability-lehden JUFO-luokitus laskettiinkin juuri äskettäin 0-tasolle, hän jatkaa.

Tiedeyhteisön talkootyötä

– Arvioinnit vievät aikaa, mutta koen velvollisuudekseni tehdä niitä. Tiedemaailma ei toimi, jos ne, jotka julkaisevat, eivät osallistu aktiivisesti vertaisarviointiin, Liisa Postareff pohtii.
Marjo Kolehmaisenkin mielestä tällainen ”vapaamatkustajuus” on epäeettistä.

– Kysymys siitä, kuinka paljon tai usein arvioida muiden tekstejä, nousee välillä keskustelun aiheeksi. Monet ovat kyllä sitä mieltä, mitä enemmän itse julkaisee ja saa muiden arvioita, sitä enemmän olisi eettistä myös arvioida muiden tekstejä, Kolehmainen toteaa.

Toisinaan Kolehmaisesta näyttää siltä, että kirjoittaja ikään kuin odottaa refereiden kirjoittavan tekstin hänen puolestaan. Tämäkin on epäeettistä.

– Myös kokemattomuus näkyy usein. Tällöin yritän muotoilla kritiikin rakentavasti ja kannustavasti. Toisaalta olen törmännyt siihenkin, että uran alkuvaiheessa olevat tutkijat kirjoittavat todella hienoja tekstejä! Vertaisarviointihan ei ole vain ikävää työtä, vaan siinä oppii paitsi tutkimuksista myös kirjoittamisesta, ja se tukee omaa ja muiden tutkijoiden työtä ja kehittymistä, hän muistuttaa.

Aikapula saattaa vaikeuttaa talkootöihin osallistumista, vaikka innokkuutta olisikin. Arvioinneille annetun ajan määrä vaihtelee parista viikosta kuukauteen, ja arviointikierrosten määrä vaikuttaa paljon työn määrään.

– Lausuntojen pohjalta korjatut versiot pitäisi palauttaa aina alkuperäisille arvioitsijoille.Tämä ei kuitenkaan aina toteutu, jos referee kieltäytyy toisesta kierroksesta. Uusien refereiden kommentit saattavat mennä aivan ristiin ensimmäisten arvioitsijoiden kanssa, ja tämä tuottaa haasteita kirjoittajille. Voisikohan tulevaisuudessa mennä enemmän tiimityön suuntaan? Käsikirjoituksen voisi arvioida asiantuntijatiimi, joka kirjoittaisi yhteisen lausunnon, puntaroi Liisa Postareff.

– Kaiken kaikkiaan vertaisarviointityötä pitäisi nostaa jotenkin enemmän esiin ja nähdä se osana kaikkien tutkijoiden työtä, hän jatkaa.

Avointa vai suljettua vertaisarviointia?

Vertaisarviointimalleja on monenlaisia. Avointa vertaisarviointia harrastetaan esimerkiksi tekniikan aloilla, joissa myös alan konferenssit voivat olla eräänlaisia vertaisarviointitapahtumia.
Tällöin käsikirjoituksia kommentoidaan näkyvästi ja omilla nimillä esimerkiksi jollakin digitaalisella alustalla (esim. https://openreview.net/.) Tavoitteena on avoin läpinäkyvä tutkimustiedon tuottamisen prosessi. Arvioijalla ja arvioitavalla on mahdollisuus dialogiin, ja arviointityö tehdään näkyväksi.

Humanistisilla ja yhteiskuntatieteellisillä aloilla suositaan yleensä kaksoissokkoarviointia, jolloin sekä tutkija että arvioija jäävät anonyymeiksi. Tällöin tieto kirjoittajan henkilöllisyydestä, hänen asemastaan, sukupuolestaan, maantieteellisestä sijainnistaan tai muusta eivät vaikuta arviointiin – tai niiden ei ainakaan pitäisi vaikuttaa.

Käytännössä anonyymiys ei aina toteudu: esimerkiksi Suomen kaltaisella pienellä kielialueella tietyn aihealueen asiantuntijoita voi olla niin harvassa, että kirjoittaja ja arvioija pystyvät päättelemään toistensa henkilöllisyydet anonymisoinnista huolimatta.

Kaksoissokkoarviointia pidetään ainakin ihmistieteiden alalla yleisesti parhaana arviontikäytäntönä,

– Se on mielestäni hyvä käytäntö, mutta siihenkin liittyy haasteita. Periaatteessa joku voi blokata oman tutkimuksen kanssa kilpailevan artikkelin tai evätä hyväksymisen, jos siinä ei viitata arvioitsijan omiin tutkimuksiin, arvioi Liisa Postareff.

– Pidän nykyisin varsin yleisessä käytössä olevaa kaksoissokkoarviointia hyvänä ja toimivana, enkä aina ymmärrä miksi siinä nähdään korjaamisen varaa, sanoo Nina Nygren, joka toimii myös Alue ja ympäristö -lehden päätoimittajana kesään 2023 asti.

– Tutkimuksia muunlaisen arvioinnin ongelmista on tullut tasaisesti ulos, ja niiden mukaan kirjoittajien tausta, ikä, sukupuoli ja senioriteetti vaikuttavat selvästi arviointiin, jos kirjoittajat ovat tiedossa, hän jatkaa.

– Joskus on keskusteltu myös vertaisarviointitekstien julkaisemisesta nimien kanssa jälkikäteen. Päätoimittajana en näe tässä järkeä: kuka sellaisia jaksaisi lukea?

Vertaisarviointiakin arvioidaan

Syyskuussa 2022 Chigagossa järjestetyssä Peer review and Scientific Publication -konferenssissa ruodittiin ajankohtaisia tieteen vertaisarviointi- ja julkaisukysymyksiä. PRC on alun perin ollut ennen kaikkea lääketieteeseen keskittyvä tapahtuma.

Kuten konferenssin useassa esitelmässä kuultiin, kirjoittajan asemalla, iällä, sukupuolella ja etnisyydellä on tieteen teossa merkitystä, onhan se sosiaalista ja inhimillistä toimintaa.

Joukko itävaltalaistutkijoita esitteli konferenssissa vertaisarviointia testaavan kokeellisen tutkimuksen. Siinä yli 3000 arvioijille lähetettiin Nobel-palkitun taloustutkijan ja nuoren taloustutkijan yhdessä kirjoittama artikkelikäsikirjoitus. Arvioijat jaettiin ryhmiin siten, että osa sai käsikirjoituksen täysin anonyymina, osa luuli Nobel-palkitun tutkijan olevan käsikirjoituksen ainoa kirjoittaja ja osa luuli nuoren tutkijan kirjoittaneen käsikirjoituksen yksin.

Arviointipyyntöön vastasi myöntävästi yli 800 tutkijaa ja arvioinsa palautti lopulta 534 tutkijaa. Innokkaimmin vertaisarvioijat tarttuivat Nobel-palkitun tutkijan kirjoittamaksi luulemaansa käsikirjoitukseen. Heistä viidennes ehdotti käsikirjoituksen hyväksymistä sellaisenaan. Anonyymisti arvioineista suoraa hyväksyntää ehdotti vain 1,8 prosenttia ja mielestään nuoren tutkijan tekstiä arvioineista vain 2 prosenttia.

Vastaavasti nuoren tutkijan käsikirjoituksen suoraa hylkäämistä ehdotti 65,3 prosenttia arvioijista, anonyymin käsikirjoituksen hylkäämistä 48,2 prosenttia ja Nobel-palkitun tutkijan käsikirjoituksen hylkäämistä 22,5 prosenttia. Tutkijat vakuuttivatkin, että ainakin taloustieteissä anonyymi kaksoissokkoarviointi on toistaiseksi paras mahdollinen arviointimuoto.

Pandemia nopeutti lääketieteen julkaisuja

Lääketieteen julkaisujen toimittaminen on oma taitolajinsa: harvalla muulla alalla voivat ihmishenget olla vaarassa toimituksen virheiden takia. Usein näkymättömäksi jäävällä työllä, editoinnilla, onkin lääketieteessä suuri rooli.

Vanha slogan tutkijoiden paineesta julkaista tai kuolla sai pandemian myötä oudon kaiun: julkaista piti, etteivät muut kuolisi. Koska tutkimustiedolla oli kiire, koronaa käsittelevien vertaisarvioimattomien esijulkaisujen määrä nousi moninkertaiseksi. Kuten konferenssiesityksissä kuultiin, erot esijulkaisujen ja vertaisarvioitujen versioiden välillä olivat varsin pieniä. Esijulkaisut olivat siis kiireestä huolimatta varsin laadukkaita. Tulosten liioittelua niistä tosin oli julkaisuun mennessä karsiutunut.

Kaksoissokkoarviointi toimii myös suomalaisessa Lääkärilehdessä, mutta arvioijia on toisinaan vaikeaa löytää.

– Tällä hetkellä käydään kiinnostavaa keskustelua kaksoissokkoutetun ja avoimen vertaisarvioinnin paremmuudesta. Lääkärilehdessä valitsimme kaksoissokkoutetun mallin vuonna 2017, koska tutkimustenkin mukaan avoimuus vaikeuttaa arvioijien saamista. Suomessa tutkijalääkärien määrä on tietenkin rajallinen, sanoo Pertti Saloheimo, Lääkärilehden lääketieteellinen päätoimittaja.

– Puolianonyymi vertaisarviointi on lääketieteellisissä lehdissä melko tavallinen, mutta monet ovat jo siirtyneet kaksoissokkoutettuun tai avoimeen vertaisarviointiin. Molemmat ovat yrityksiä korjata single-blind-arvioinnin puutteita. Siinähän on selvä valtaepätasapaino, kun arvioija tietää kirjoittajan, mutta voi itse toimia anonyymisti. Tutkitusti myös sukupuoli, etnisyys, maine ja muut vaikuttavat arvioijien suosituksiin. Avoimessa arvioinnissakin on useita eri asteita, nimien paljastamisesta puolin ja toisin siihen, että lausunnot ja käsikirjoituksen eri versiot julkaistaan, Chigagon konferenssiin osallistunut Saloheimo pohtii.

– Lääkärilehdessä lääketieteellinen päätoimittaja lukee kaikki saapuvat käsikirjoitukset ja osoittaa ne jollekin lääkäritoimittajalle, joita meillä on nyt 11, Saloheimo kertoo.

Lääkärilehti ei maksa vertaisarvioijille palkkioita, mutta vuoden viimeisessä numerossa julkaistaan kuluneen vuoden vertaisarvioijien nimet. Yksi ansioitunut arvioija myös palkitaan kerran vuodessa kunniakirjalla.

– Haasteellisinta nyt on arvioijien löytäminen. Toistaiseksi julkaisemattomassa omassa tutkimuksessamme havaitsimme, että vielä muutama vuosi sitten tarvitsimme keskimäärin kolme pyyntöä saadaksemme kaksi vertaisarviointilausuntoa. Nyt ei ole tavatonta, että tarvitsemme kymmenkunta pyyntöä, mutta tarkkaa dataa meillä ei nykytilanteesta ole, Saloheimo summaa.

Kohti tekoälyn kirjoittamia artikkeleita?

Myös julkaisuympäristöjen digitalisoituminen on tuottanut tiedejulkaisijoille uusia pulmia ratkottavaksi. Englanninkielisessä maailmassa käsikirjoituksia tehtaillaan copy-paste -menetelmällä monenmoisissa paperimyllyissä, jotka maksua vastaan tuottavat tieteennäköisiä tekstejä. Jotta kansainvälisen yhteistyön vaateet täyttyisivät, kirjoittajanimien joukkoon saatetaan näissä tuotantolaitoksissa lisätä kansainvälisiä kumppaneita täysin eri aloilta. Oikeiden ja asiallisten tiedelehtien nimiä ja domaineja kopioidaan ja varastetaan surutta.

Suomenkielisen ympäristön pulmat ovat osittain samoja, osin erilaisia. Avoin tiede on tuonut tiedejulkaisut kaikkien saataville verkkoon, mutta julkaisemisen kustannusmalli on vielä vailla vastausta ja avoin data mietityttää. Tiedejulkaisijoiden digitaalisen metatyön määrä lisääntyy joka tapauksessa. Myös resurssien riittävyys huolettaa, esimerkiksi se, mihin kaikki data tulisi tallentaa ja kuka ylläpidosta vastaa.

Myös tekoäly tuottaa omat kysymyksensä. Media & Viestintä -lehden päätoimittaja Mats Bergman pohti lehden uusimman numeron pääkirjoituksessa tekoälyn roolia tieteellisessä kirjoittamisessa.

Bergman arvelee, että kokonaisen tieteellisen artikkelin tuottaminen tekoälyn avulla olisi todennäköisesti vielä mahdotonta, mutta esimerkiksi kirjallisuuskatsaus saattaisi onnistua. Bergmanin kauhuskenaario on, että tieteellisestä julkaisemisesta tulee eräänlainen Turingin koe, joka haastaa toimituksia ovelilla tempuilla. Toiveikkampi visio on, että mekaaniset tekstit haastavat tutkijoita luovempaan tieteelliseen ilmaisuun.

Toimintaympäristöjen muuttuessa tiedejulkaisijoilla riittää siis pähkäiltävää, niin vertaisarvioinnin kuin muidenkin asioiden kanssa. Toivoa sopii, että myös tulevat tutkijapolvet innostuvat näistä tieteen talkootöistä – vai onko muuta vaihtoehtoa?