Sorrutko sattumiin?

Kirsi Heikkinen

Maailma on monimutkainen ja kunnollisen empiirisen tieteen tekeminen hankalaa. Osaammeko ottaa nämä seikat tiedeviestinnässä huomioon? Miten se pitäisi tehdä? kysyi Jussi Valtonen tiedetoimittajien 30-vuotisseminaarissa.

Jussi Valtonen

Jussi Valtonen (Kuva: Adolfo Vera)

”Kun luen lehdistä tiedeuutisia, niin usein esitän niistä mielessäni kiihkeitä kysymyksiä – ja harmittaa, kun jutuista ei löydy niihin vastauksia”, tunnusti tutkija-kirjailija-tiedetoimittaja Jussi Valtonen seminaariyleisölle Heurekassa.

Siteeraako asiantuntija tutkimustuloksia vai kertooko hän mielipiteitään? Tai onko haastateltu asiantuntija varmasti ajan tasalla?

Daniel Kahneman puhuu kirjassaan Thinking, fast and slow siitä, kuinka ihmisten käsitykset sellaisistakin asioista, joista he katsovat tietävänsä paljon, ovat usein vinoutuneita.

Jopa kokeneen ammattilaisen käsitykset saattavat paljastua ihan vääriksi, kun asiaa tutkitaan tieteellisesti ja objektiivisesti.”

Kahneman kertoo muun muassa psykologeista, joiden piti arvioida armeijan upseerikoulutukseen valittavien johtamiskykyä ja muita taitoja. Myöhemmin he saivat palautetta kouluttajilta, miten valitut pärjäsivät. Kävi ilmi, että arviot olivat miltei arvauksen tasolla.

”Hämmästyttävintä oli se, ettei epäonnistuminen millään tavoin hillinnyt psykologien uskoa omiin kykyihinsä”, Valtonen totesi. Ammattilaiselle voi helposti kehittyä eräänlainen ”ylivarmuus”, joka ei enää kaikilta osin perustu todellisuuteen.

Toinen esimerkki samasta ilmiöstä julkaistiin JAMAssa vuonna 2008. Tutkimuksessa verrattiin lääkäreiden teho-osastolla tekemiä diagnooseja ruumiinavauksissa paljastuneisiin kuolinsyihin. Osoittautui, että kliinikot, jotka olivat aivan varmoja siitä, että heidän diagnoosinsa olivat oikeita, erehtyivät 40 prosentissa tapauksista.

”Asiantuntija-arvio voi siis olla yllättävän paljon mutkikkaampi ja epäluotettavampi, kuin mitä joskus ajatellaan.”

Tiede ei ole mielipide

Yksi tieteen tunnusmerkkejä on se, että kaikkia väitteitä tarkastellaan samoilla kriteereillä riippumatta siitä, kuka niitä esittää, Valtonen muistutti.

”Välillä mietin, että toteutuuko tämä tiedejutuissa. Olen huomannut, että jotkut ihmiset saattavat hyökätä aika reippaastikin, jos jotakuta muuta kuin esimerkiksi yliopistoprofessoria tai tieteenalan edustajaa haastatellaan.”

Tarkoittaako tämä sitä, että ketä tahansa voi haastatella mistä tahansa asiasta – perustelunsa sitten ratkaisevat, pitääkö häntä uskoa vai ei?

“En ajattele, että ketä tahansa kannattaisi haastatella”, Valtonen täsmensi. Haastateltavan asema tiedeyhteisössä on tietenkin toimittajalle suhteellisen hyvä tapa päästä käsitykseen siitä, kannattaako haastateltavan puheet ottaa vakavasti. On aika todennäköistä, että esimerkiksi professori on perehtynyt omaan alaansa sikäli hyvin, että häntä kannattaa kuunnella.

“Mutta välillä mietin, voiko tämän käytännön vuoksi lukijoilta – ja ehkä välillä toimittajiltakin – joskus hämärtyä se, mistä tieteessä on kyse.”

Tiedejutuista saa Valtosen mukaan nimittäin joskus sellaisen kuvan, että kyse on eri professoreiden mielipiteistä. Tieteessähän ei ole kyse mielipiteistä, vaan pyrkimyksestä etsiä parhaat mahdolliset tieteelliset argumentit ja paras mahdollinen näyttö sekä jonkin väitteen puolesta että sitä vastaan.

“Lukija saa jutuistamme helposti sellaisen käsityksen, että kuuntelemme tiettyjä ihmisiä heidän asemansa vuoksi, vaikka tieteen ideaaleihin kuuluu, että hyvät tieteelliset argumentit otetaan vakavasti siitä riippumatta, kuka ne esittää tai mikä heidän asemansa on.”

Toisaalta myös johtavat professorit välillä erehtyvät, juuttuvat vanhoihin käsityksiinsä eivätkä voi tuntea koko tieteellistä kirjallisuutta. ”Joskushan haastatellun professorin uskomukset saavat samaan aikaan hirvittävää kyytiä tieteellisessä kirjallisuudessa. Ja toisinaan asiantuntijoiden käsitykset todella ovat vääriä. Jos ajattelee vaikka behavioristien antamia lastenkasvatusohjeita, niitähän pidetään nyt ihan kreiseinä. Mutta johtavat psykologian professorit niitä aikanaan esittivät.”

Tiedetoimittajan tehtävä ei varmaan voi olla se, että hän papukaijana toistaa lukijoille mitä tahansa, mitä professori sanoo. Vai voiko? ”Millainen kuva tällaisesta käytännöstä välittyy lukijalle?”, Valtonen kysyi.

Hänen mielestään tiedetoimittajan pyrkimys voisi sen sijaan olla vähän samankaltaista kuin tieteentekijänkin, eli punnita kaikenlaisia väitteitä ja uskomuksia organisoidun skeptisesti sen valossa, mitä tiedetään.

“Ja jotenkin välittää lukijoille paremmin se, että tieteellisessä menetelmässä on kyse tästä eikä kenenkään mielipiteistä, edes professorin. Kaikkien väitteet joutuvat samaan mankeliin.”

P-arvon metsästys voi ajaa metsään

Siitä, että joku on julkaissut jonkin tutkimuksen, ei vielä sinänsä seuraa, että tutkimus olisi oikein tai hyvin tehty tai että tulokset olisivat totta, Valtonen korosti.

Tutkimuskirjallisuutta vinouttaa muun muassa julkaisuharha eli se, että myönteiset tulokset julkaistaan herkemmin kuin kielteiset. Jos esimerkiksi jokin geeni tai hoito ei vaikutakaan toivotusti, niin tutkimus jää usein mappiin ö.

”Tästä syystä tosi paljon tieteelle ja yhteiskunnalle tärkeää tietoa jää julkaisematta”, Valtonen huomautti. Arviot vaihtelevat, mutta todennäköisesti ainakin puolet tuloksista jää pöytälaatikkoon.
”Jos puoletkin tutkimuksista jää julkaisematta, niin mitä me välitetään ihmisille? Välitämme vain niitä tuloksia, jotka ovat tulleet julkaistuiksi.”

Jos puoletkin tutkimuksista jää julkaisematta, niin mitä me välitetään ihmisille?

Valtosen mukaan esimerkiksi valtaosa julkaistuista kokeista SSRI-lääkkeiden tehosta on myönteisiä, mutta jos otetaan julkaisemattomat mukaan, myönteisten osuus on paljon pienempi. Samoin on psykoterapiassa.

Toinen pulma piilee siinä, miten tiedettä käytännössä tehdään. Tutkijanhan on yritettävä varmistaa, ettei hänen tuloksissaan ole kyse pelkästä sattumasta. Sen harkitsemisessa käytetään tilastollista arviota, joka kuvaa todennäköisyyttä, että saatu tulos voisi johtua sattumasta. Yleinen käytäntö on, että empiirisillä aloilla tämän niin kutsutun p-arvon merkitsevyysrajana pidetään 0,05:ttä.

”Tutkija tietenkin ilahtuu merkitsevästä p-arvosta, koska muuten tieteellisen lehden editori sanoo, että emme voi julkaista tuloksiasi.”

Tämä voi Valtosen mukaan vaikuttaa tutkimuksen etenemiseen. Moniin kysymyksiin ei nimittäin ole mitään yksiselitteisiä vastauksia: kuinka paljon dataa pitäisi kerätä, milloin pitäisi lopettaa, voiko koetilanteita yhdistää, voinko analyyseistä jättää jotain pois, ja niin edelleen.

”Aika yleistä on, että kokeillaan kaikenlaista, ja sitten kun p-arvo menee rikki, sanotaan, että näin me tämä tehtiin.” Tämä ei tarkoita, että tutkijat olisivat epärehellisiä vaan sitä, että käytännöt ovat hyvin joustavia – jopa siinä määrin, että ne mahdollistavat tulokset, jotka eivät ole luotettavia.

Pennsylvanian yliopiston tutkijat havainnollistivat taannoin Psychological Sciencessa, miten tämä on mahdollista. P-arvon alituksen sinnikäs metsästys eri tavoilla tuotti lopulta tuloksen, että Beatlesin kappale ”When I’m 64” nuorensi kuulijan ikää 1,5-vuodella.

Toinen tutkijaryhmä esitteli sattumatulosten mahdollisuutta kuolleen lohen avulla muutama vuosi sitten BrainMapping-konferenssissa. Kun kalanraato laitettiin aivoskanneriin ja sitä pyydettiin arvioimaan valokuvista ihmisten tunnetiloja, toden totta: lohen aivoaktivaatiossa tapahtui lepotilaan verrattuna tilastollisesti merkitseviä muutoksia.
”Nämä tulokset ovat tietenkin niin älyttömiä, että osaamme olla varuillamme. Mutta jos lopputulos ei ole yhtä kreisi, eli se on jollakin tavoin uskottava ja istuu maailmankuvaamme, niin silloin emme osaa yhtä herkästi olla organisoidusti skeptisiä”, Valtonen totesi.

Yksittäisten tulosten luotettavuutta hapertaa vielä sekin, että niitä toistetaan hyvin harvoin – ja kun toistetaan, aiemmin saatu tulos ei usein toistukaan.

Paroksetiini auttaa ja ei auta

Mitä merkitystä tällä kaikella loppujen lopuksi on? Ja tapahtuuko tätä oikeasti?

Kyllä tapahtuu, Valtonen vakuutti.

Hän antoi esimerkin: Vuonna 2001 julkaistiin tutkimus, jonka mukaan paroksetiini on tehokas ja hyvin siedetty vakavan masennuksen hoidossa nuorilla. Juuri äskettäin British Medical Journalissa ilmestyi tutkimus, jossa sama tutkimusaineisto oli analysoitu uudelleen. Sen mukaan paroksetiini ei tehonnut vakavaan masennukseen nuorilla, ja lisäksi siitä koitui selviä haittoja.

”Tulokset eivät mitenkään voi olla molemmat totta. Ei voi olla niin, että keskimäärin paroksetiini on nuorten masennuksen hoidossa tehokas ja turvallinen tai tehoton ja vaarallinen.”

Miten me tiedetoimittajina suhtaudumme tällaiseen? Mistä me tiedämme, kumpi näistä on totta? Mitkä ovat pätevimmät argumentit?

”Minusta tuntuu, että perusteiden ymmärtäminen olisi jopa tärkeämpää kuin tutkimustulokset”, Valtonen sanoi.

Hän kiteytti mietteensä näin: Tieteellinen menetelmä on paras olemassaoleva väline varmennetun tiedon laajentamiseksi, mutta tärkeätä tietoa jää koko ajan julkaisematta. P-arvoja metsästämällä on liian helppoa saada merkitseviä tuloksia, myös sellaisia, jotka eivät ole totta – etenkin, jos joku saa tehdä ja analysoida tutkimuksensa yksin ja niin, että aineisto ei ole vapaasti muiden tutkijoiden saatavilla. Silloin tuloksia voi nyhjäistä jopa tyhjästä, eikä siitä jää kovin helposti edes kiinni. Tämä riski on ehkä suurin silloin, kun jollakulla on taloudellisia intressejä.

”Pahimmillaan voi käydä niin, että tieteellistä tutkimuskirjallisuutta käytetään markkinointivälineenä – mikä on aivan sietämätön ajatus, koska tieteenhän piti olla juuri se organisoidusti skeptinen alue, se instituutio, joka ei lähde minkään ideologian tai minkään markkinoinnin kelkkaan.”

Valtonen jätti tiedetoimittajakollegansa puntaroimaan seuraavia kysymyksiä: ”Onko meidän tehtävänämme myös etsiä totuutta, niin kuin tutkijoiden? Mikä on meidän roolimme tieteen ja yleisön välissä? Minkälaista informaatiota me välitämme? Osaammeko me varmistaa, että kun haastattelemme jotakin asiantuntijaa tai kerromme jostakin tutkimuksesta, että edes ihan perusasiat ovat kohdallaan?

Entä osaammeko välittää tieteellisestä tutkimusprosessista totuudenmukaisen kuvan? Ymmärtävätkö ihmiset, kuinka paljon epävarmuustekijöitä ja vapausasteista menetelmiin liittyy? ”Jos kerromme, että x tutkitusti auttaa, mutta sitten seuraavassa tutkimuksessa ilmenee, ettei se autakaan, niin syntyykö ihmisille mielikuva, että tieteellinen menetelmä on niin epäluotettava, että sitä ei voi käyttää mihinkään?”

Koska asiahan on päinvastoin.

”Toivoisin, että ihmiset meidänkin työmme perusteella saisivat selville, mikä tieteessä on tärkeintä. Minusta se on juuri se menetelmä, prosessi, jolla voidaan selvittää mitä tahansa asioita.”

MATKALLA MAAILMALLA

Arja-Leena Paavola: Oikeusmurhan jäljet Rouenissa

ESSEE

Elina Hiltunen: Mahdoton tulevaisuuden ennustaminen?

Kolumni

Salla Nazarenko: Keskiluokan korpivaellus

Tiedetoimittaja-lehti

Julkaisija

Suomen tiedetoimittajain liitto ry.
Finlands vetenskapsredaktörers förbund rf.

Tiedetoimittaja-lehti on Kulttuuri- ja mielipidelehtien Kultti ry:n jäsen

Toimitus

Päätoimittaja Ulla Järvi

ISSN

ISSN 2242-4237 (Verkkolehti) | ISSN 1235-0338 (Painettu)

Tiedetoimittaja-lehti on sitoutunut vastuulliseen journalismiin