Jos tutkijat eivät onnistu toistamaan toistensa kokeita, tutkimustulosten luotettavuus osoittautuu kyseenalaiseksi. Juuri niin viime vuosina on käynyt.
Mitä tieteen toistettavuuskysymykset tarkoittavat tiedeviestinnälle? Kysyimme neuvoa vaikean keskustelun keskeiseltä nimeltä, professori Hal Pashlerilta.

”Tämä on yksinkertaisesti pelottavaa”, sosiaalisen neurotieteen professori Michael Inzlicht Toronton yliopistosta kirjoitti blogissaan 2016, kun oli osoittautunut, että merkittävää joukkoa julkaistuista psykologisista tutkimustuloksista ei pystytty toistamaan.
”Saattaa olla, että jopa rehelliset ja kaikkein suoraselkäisimmätkin tutkijat tekevät virheellisiä johtopäätöksiä hälyttävään tahtiin. Ongelma ei ole pieni eikä tule ratkeamaan pienellä hienosäädöllä. Ongelma koskee koko järjestelmää ja tutkimuskäytäntöjemme ydintä”, Inzlicht kirjoitti.
Miten tiedetoimittajan tulisi suhtautua toistettavuuskysymyksiin, jotka saavat alan professoritkin tolaltaan?
Psykologian professori Hal Pashlerin mielestä tiedetoimittajilla olisi opittavaa omilta kollegoiltaan – muiden alojen ammattijournalisteilta.
”Jos tiedetoimittaja kuvittelee tekevänsä olennaisesti toisenlaista työtä kuin muut journalistit, hän tulee johdetuksi harhaan”, Pashler sanoo.
”Keskeistä on, että toimittajalla tulisi olla kauttaaltaan kyyninen suhde kaikkiin väitteisiin ja tiivistelmiin, joita akateemiset tutkijat esittävät työstään. Eikä tämä kovin erikoinen lähtökohta journalismille ole. Näinhän minkä tahansa pikkukaupungin lehden toimitus suhtautuu soittaessaan kunnallispoliitikolle.”
Neuvo saattaa yllättää tiedetoimittajan. Moni on ehkä ajatellut, että kun yliopistolta tulee lehdistötiedote julkaistusta tutkimuksesta, tulokset ovat lähtökohtaisesti luotettavia.
”Vieläkin? Oikeasti?” Pashlerin ääni kohoaa epäuskosta. Hetken mietittyään hän sanoo:
”No, onhan se tietysti kätevämpi lähtökohta. Ajattelenko tiedetoimittajana, että työssäni kaikki on tehty minulle jo etukäteen valmiiksi. Vai ajattelenko, että minulla todella haastava työ, joka vasta alkaa lehdistötiedotteesta. Toimittajat ehkä myös olettavat, että vertaisarviointi toimii.”
Toimittajan rooli on Pashlerin mielestä olennainen tieteen yleisen luottamuksen kannalta. Pashleria huolestuttaa se, että samalla kun toimittajat ovat suhtautuneet tutkimustuloksiin liian sinisilmäisesti, suuri yleisö on muuttunut jatkuvasti yhä skeptisemmäksi.
”Ehkä he ovat pian jo siinä pisteessä etteivät usko enää mihinkään. Kun ihmisille kertoo toistuvasti riittävän monesta ristiriitaisesta tuloksesta, heitä lakkaa kiinnostamasta.”

Tutkija ei vähättele työtään – toisin kuin toimittaja kuvittelee

Mitä tiedetoimittaja voisi siis tehdä luotettavan journalismin eteen haastavassa tilanteessa?
Ensinnäkin korjata oletuksiaan, Hal Pashler sanoo. Pashlerin mukaan toistettavuuskriisi tuo näkyviin ongelman, joka tiedetoimittajilla on yleisessä asennoitumisessaan.
”Tiedetoimittajat kuvittelevat, että tutkijat ovat nörttejä, jotka vähättelevät tuloksiaan. Eivät ole. Tutkijat ovat usein enemmänkin myyntimiehiä, jotka siistivät ongelmat tutkimusjulkaisujensa tiivistelmiin ja toivovat, että kukaan ei tule katsoneeksi konepellin alle.”
”Tiedetoimittajan tulisi pitää mielessään, että jokaisella on tiedeyhteisössäkin omat pyrkimyksensä ja oma uransa, joita he yrittävät tekemisillään edistää. On väärä asenne kuvitella, että minä ja nämä suurenmoiset tutkijat emme kuuluisi samaan maailmaan kuin muutkin, jossa me kaikki myymme omaa osaamistamme ja itseämme”, Pashler sanoo.
Pashlerin kollega, aivotutkija Edward Vul kehottaa hänkin tiedetoimittajia kriittisyyteen.
”Yleisesti ottaen harjoittaisin toimittajana hiukan enemmän skeptisyyttä kaikkien tieteellisten tutkimustulosten suhteen”, Vul sanoi Scientific American -lehdelle. Vul ja Pashler herättivät kollegoineen kohun vuonna 2008 analyysillaan, jonka mukaan sosiaalisessa neurotieteessä suuressa joukossa tutkimuksia löydettiin niin korkeita korrelaatioita, että ne eivät yksinkertaisesti voineet olla totta.
”Luulen että toimittajat yleisesti yrittävät kirjoittaa johtopäätöksistä hiukan räväkämmin kuin tutkijat. Toimittajat eivät ehkä huomaa, että tutkijat ovat jo itsekin hiukan suurennelleet tulostensa merkitystä. Kun nämä asiat yhdistetään, voi saada todella yliampuvia juttuja”, Vul sanoi.
”Me tutkijat puhumme myymistämme autoista niin kauniisti kuin osaamme”, Pashler sanoo. ”Toinen tutkija tajuaa vilkaista ainakin vähän myös konepellin alle, mutta toimittaja saattaa kuvitella paitsi että myyntipuheet ovat totta, jopa että niitä on tarpeen entisestään parannella.”

Asetelma jää toimittajalta ehkä tiedeviestinnässä helpommin huomaamatta, koska tutkija ei edistä uraansa median kautta kuten poliitikot. Tutkija myy tuloksiaan julkaisusarjojen päätoimittajille, rahoittajille ja toisille tutkijoille. Tiedetoimittajan riski on olla hyväuskoinen, tilannetta sivusta seuraava hölmö joka kuvittelee, että myyntipuheet ovat kirjaimellisesti totta – ja joka samalla välittää väärinkäsityksensä suurelle yleisölle, vieläpä paisutellussa muodossa.
”Aivokuvantaminen tuntuu menevän toimittajilta kaikkein helpoiten läpi kaikkien rimojen ali”, Pashler sanoo.
Tilanne on toimittajalle haastava, koska kriittisyyden pitäisi osua kohteeseensa. Toimittaja tuskin voi kuitenkaan penkoa tutkijan aineistoa juttujaan varten tiukemmin kriteerein kuin tieteelliset vertaisarvioijat selvittääkseen johtopäätösten heikot kohdat.
Miten toimittaja siis erottaa hyvän tutkimuksen huonosta?
”Toimittaja on helvetillisessä välikädessä”, Pashler myöntää.

Auttaisiko keskittyä laajempiin kokonaisuuksiin?

Psykologian professori Steven Pinker on ehdottanut, että toimittajien tulisi kirjoittaa vain meta-analyyseista. Meta-analyysit ovat yhteenvetoja, joissa kaikki julkaistut tutkimukset kootaan ensin yhteen ja tehdään päätelmiä koko tutkimuskirjallisuuden perusteella. Kannattaisiko toimittajan kirjoittaa yksittäisten tutkimusten sijaan suurista linjoista?
Pashleria ehdotus ei vakuuta. ”Ongelma on, että julkaisuharhan vuoksi meta-analyysitkaan eivät ole luotettavia.”
Julkaisuharhalla tarkoitetaan nollatulosten jäämistä pimentoon. Tutkimuskirjallisuus vinoutuu, koska merkittävä osa tuloksista jää tutkijoiden pöytälaatikkoon – erityisesti ne, joissa toivottua ilmiötä ei saatu näkyviin. Tieteelliset sarjat ovat usein haluttomia julkaisemaan nollatuloksia, ja tutkijan on vaikea edistää niillä uraansa. Niiden jääminen pöytälaatikkoon hämärtää kuitenkin yhteisön kokonaiskuvaa siitä, mikä on totta.
Meta-analyysit itsessään eivät myöskään pysty korjaamaan viime vuosina keskustelua herättäneitä toistettavuusongelmia. Pashler muistuttaa, että myös yliaistillisesta havaitsemisesta kiinnostuneet tekevät meta-analyyseja, joissa parapsykologisille ilmiöille löydetään tukea.
”En usko että saamme hienoimmillakaan tilastollisilla välineillämme muutettua julkaistua roskaa todeksi”, Pashler sanoo.

Varo ongelmatrioa

Koska ongelmat ovat mutkikkaita myös tutkijoille, yksi apukeino toimittajalle voi olla seurata, kuinka tieteelliset julkaisusarjat suhtautuvat tilanteeseen. Osa tieteellisistä sarjoista on viime vuosina uudistanut käytäntöjään karsiakseen aiempia erehdyksiään.
Psychological Science -lehden päätoimittaja Stephen Lindsay kertoo lehden nykyisin varovan esimerkiksi tutkimuksia, joissa esiintyy ongelmatrioksi kutsuttu yhdistelmä. Tällä tarkoitetaan tutkimuksia, joissa tilastollinen voima on heikko, tulos on yllättävä ja tilastollinen p-arvo on lähellä 0,05:n merkitsevyysrajaa. Nyrkkisääntö ei ole idioottivarma, mutta voi olla parempi kirjoittaa tutkimuksista, joissa tämä kolmikko ei esiinny.
Toimittajan kannattaa ehkä myös kysyä tutkijalta, oliko hänen tutkimuksensa esirekisteröity. Esirekisteröinti on nousemassa keskeiseksi menetelmäksi käytäntöjen parantamisessa. Siinä tutkija tekee hiukan kuten biljardinpelaaja, joka kertoo julkisesti etukäteen, minkä pallon aikoo lyödä ja mihin pussiin sen sijaan, että vain näyttäisi onnistuneen lyönnin jälkikäteen. Sattuman mahdollisuus pienenee, jos kysymykset ja menetelmät on määritelty julkisesti etukäteen.
Toimittajan voi olla hyödyllistä seurata myös tutkijoiden pohdintoja. Toistettavuuskysymyksistä keskustellaan jatkuvasti esimerkiksi Center for Open Science -keskuksen ja aiheesta keskustelua herättäneiden tutkijoiden kuten Uri Simonsohnin, Leif Nelsonin, Joseph Simmonsin ja Andrew Gelmanin blogeissa.
Terveydestä tai lääketieteestä kirjoittavalle rautaisannoksen tervettä skeptisyyttä tarjoaa myös Gary Schwitzerin perustama HealthNewsReview.org -sivusto, joka ehti kolmentoista vuoden aikana arvioida yli kuusituhatta terveysaiheista mediajuttua journalistisin laatukriteerein.

Etsi vahva vastapuoli

Hal Pashlerilla on toimittajalle myös konkreettinen ehdotus, joka on mutkikkaista ongelmista huolimatta varsin klassinen.
”Perinteinen journalistin ohje ei minusta edelleenkään ole huono”, Pashler sanoo. ”Etsi ihminen, joka on eri mieltä ja kysy mitä hän ajattelee.”
Ohje on haastavampi kuin voisi luulla, koska mikä tahansa eriävä näkemys ei tee jutusta hyvää. Vastapuolella tulisi olla painavia ja perusteltuja argumentteja, jotka lukijan todella kannattaa kuulla. Jutun taso riippuu pitkälti osapuolten valinnasta, koska punnittu kokonaiskuva syntyy vasta kiinnostavimpien väitteiden ja perustelluimpien vastaväitteiden summasta.
Kiinnostavien tutkimustulosten ja vahvimpien vasta-argumenttien yhdistelmiä ei välttämättä ole helppo löytää. Mutta siitä jos jostakin olisi lukijoille hyötyä.