© phipatbig. www.shutterstock.com
Jussi Melkas
Uusien tiedonlähteiden avautumisen myötä on alettu puhua datajournalismista. Datajournalisti ei enää odota, että asiantuntijat tuottavat tietoa, vaan hän lähtee itse penkomaan tiedon lähteitä, dataa.
Datajournalismi nostaa median datan käytön vaatimustasoa yleensäkin. Dataosaamisen merkitystä tiedejournalismissa lisää sekin, että tieteellisen keskustelun painopiste on siirtymässä vertaisarvioiduista julkaisuista vapaamuotoiseen verkkokeskusteluun. Enää ei voi luottaa siihen, että joku fiksu on lukenut tutkimusraportin läpi ja huomannut virheet. Lisääntyvän ja moninaistuvan tutkimusinformaation seulominen edellyttää tiedetoimittajalta kykyä arvioida julkaistun tiedon laatua tai ainakin hänen on osattava olla perustellusti varovainen tiedeuutisia tehdessään.
Journalistin tulisi osata arvioida tutkimuksen luotettavuutta ja tunnistaa, miten tutkimusaineiston taustaoletukset voivat vaikuttaa tuloksiin. Seuraavassa viisi asiakokonaisuutta, joita ainakin pitäisi pohtia ennen tutkimusten tulosten uutisoimista.
1. Kenen ja minkälaisiin kysymyksiin tutkimus pystyy vastaamaan?
On selvitettävä, mikä on täsmällisesti ottaen se kysymys, johon tutkimus tai tilasto haluaa vastata. Kannattaa myös tarkistaa, voisiko tutkimuksen asetelma heijastella jonkun tahon, esimerkiksi tutkimuksen tilaajan intressejä.
Tutkimuskysymyksissä on olennaista, että ne ovat täsmällisesti määriteltyjä. Mielipidepalstoilla kysellään usein: ”Mikä on työttömien todellinen määrä Suomessa?” Yhdysvalloissa taas väännetään jatkuvasti siitä, mikä on todellinen inflaatioprosentti. Kysymykset olisivat mielekkäitä, jos olisi ensin määritelty, mitä ”todellinen” tarkoittaa, mutta aika usein näin ei ole tehty. On vain oletettu, että maailman ilmiöt olisivat selkeitä ja selvärajaisia: ei rajatapauksia, ei monimutkaisia rakenteita, ei dynaamisuutta eikä oikeastaan ihmisiä tai muita toimijoita luovine ratkaisuineen ilmiöiden sisällä. On vain työttömät ja muut, inflaatio eikä sitten muuta. Olisipa maailma noin yksinkertainen! Tutustuminen esimerkiksi Tilastokeskuksen työvoimatutkimuksen käsiteluetteloon ja kuluttajahintaindeksin menetelmäkäsikirjaan osoittaa, miten monenlaisia rajauksia ilmiöiden mittausta varten joudutaan tekemään.
Pitäisi myös varmistaa, voiko käytetyllä havaintoaineistolla ylipäätään vastata sellaisiin kysymyksiin kuin väitetään. Muun muassa haastattelututkimusten tuloksilla pyritään joskus vastaamaan kysymyksiin, joiden selvittämiseen vaadittaisiin huomattavasti perusteellisempia tutkimusmenetelmiä. Esimerkiksi asennekysymysten perusteella esitetään usein käsityksiä siitä, miten ihmiset todellisuudessa toimisivat. Romanian ja Bulgarian väestön keskuudessa tehtiin haastattelututkimuksia siitä, kuinka moni aikoo muuttaa työnhakuun Britanniaan. Tulosten mukaan muuttajia olisi ollut miljoonia, mutta todellisuudessa muuttovirta tietenkin jäi vähäisemmäksi (Guardian).
Tutkimustiedon tulkintaa hankaloittaa myös taloudellisten intressien entistä voimakkaampi tunkeutuminen tieteeseen ja tieteeltä vaikuttavaan tutkimukseen. Vaikka ei olisikaan kyse tulosten suoranaisesta vääristelystä, lobbaavien organisaatioiden vaikutus tutkimustuloksiin voi näkyä muun muassa esiteltyjen tutkimustulosten valikoinnissa (englanninkielinen termi on cherry picking). Erityisesti ravintoon ja terveyteen liittyvissä tutkimuksissa kannattaa olla tarkkana yhtä hyvin yksityisten kuin valtiollistenkin tilaajien intressien havaitsemisessa.
2. Onko havaintoaineisto edustava?
Edustavuudella viittaan tässä kahteen asiaan. Ensinnäkin se merkitsee, että tutkimuksen havaintoaineisto, oli se sitten otos tai kokonaisaineisto, kattaa kaikki tutkimuspopulaation alaryhmät. Toiseksi viittaan siihen, että otoksista laskettavat tunnusluvut ovat harhattomia.
Jos tutkimusaineisto ei kata kaikkia tutkimuspopulaatioon kuuluvia ryhmiä, jää olennaista tietoa saamatta. Kattavuusongelmat voivat syntyä jo tutkimusnäytettä poimittaessa tai ne voivat ilmetä ns. katona, jolloin tietyntyyppisiä alkuperäisen näytteeseen kuuluvia havaintoyksiköitä jää puuttumaan lopullisesta näytteestä. Suomessa on varsin hyvät rekisterit kattavien näytteiden tai otosten poimintaan, mutta on tutkimusjoukkoa määriteltäessä joudutaan näytteitä useinkin karsimaan – esimerkiksi ihmisotoksissa iän, kielitaidon ja asuinpaikan perusteella. Vaikka otos olisi lähtökohdiltaan edustava voivat henkilöiden elämäntavat vaikuttavat siihen, miten helposti he ovat tavoitettavissa. Esimerkiksi 25–34-vuotiaita sinkkumiehiä on vaikea saada mukaan haastattelututkimuksiin (Simpura & Melkas 2013, s. 98).
Lisäksi ihmisotoksissa pätee, että mitä vapaaehtoisempaa tietojen antaminen on, sitä varmemmin vastaajat ovat valikoituneita juuri tutkimusaiheen kannalta. Mukaan saadaan ihmisiä, jotka ovat erityisen kiinnostuneita tutkittavasta aiheesta tai ihmisiä, joilla on jotain valitettavaa. Suuri hiljainen enemmistö pysyy hiljaa. Vaikka vastaajien rakenne olisikin osapuilleen perusjoukkoa vastaava, niin tulokset saattavatkin kertoa poikkeavan osaryhmän ominaisuuksista. Näyte on silloin tutkimusaiheen kannalta harhainen. Tämän tyyppisistä selvityksistä kelpaavat esimerkeiksi useat median verkkosivuillaan tekemät tutkimukset, joiden vastaajat ovat valikoituneet vastaajien kiinnostuksen perusteella. Niinpä iltapäivälehden nettikysely saattaa kertoa, että 62 prosenttia suomalaisista sanoo tarjoavansa viiniä alaikäisille aterialla, kun taas Taloustutkimuksen kiistatta edustavampi tieto kertoo, että noin sanoo vain 20 prosenttia työikäisistä (Pajunen).
Lisäksi usein jää huomaamatta se, että edustavuuden vaihtelu mittauskerrasta toiseen vaikuttaa tulosten vertailtavuuteen.
Toimittajan olisi osattava arvioida, miten tällaiset puutteet saattaisivat vaikuttaa tuloksiin. Tietenkin tutkijan tulee raportoida puutteista, mutta ei ole kauhean harvinaista, että tutkijat pyrkivät vähättelemään puutteiden merkitystä edustavuudelle.
© arka38. www.shutterstock.com
3. Miten aineisto pelkistää todellisuutta?
Voidakseen havainnoida todellisuutta järjestelmällisesti, tutkijan on pelkistettävä sitä. Havaintoaineisto pyritään tekemään mahdollisimman selkeäksi ja johdonmukaiseksi johtopäätösten teon kannalta. Samalla sen ulottuvuuksia joudutaan kuitenkin rajaamaan niin paljon, että tutkimuskohteesta nähdään vain kapea siivu. Lisäksi tutkimuksen edistyminen, kustannustekijät ja eettiset vaatimukset monimutkaistavat jatkuvasti tutkimusasetelmia.
Uudet tietoverkoissa syntyvät havaintoaineistot taas ovat usein epämääräisiä. Ne ovat usein pirstoutuneita ja rakenteeltaan moniaineksisia. Aineiston käsittelyä varten joudutaan laatimaan yksinkertaistettuja malleja aineiston eri osien yhteensovittamiseksi. Mallit eivät kuitenkaan useinkaan ole neutraaleja tutkimusaiheen kuvauksen kannalta.
Haastattelututkimuksissa kysymysten sanamuodot ja kontekstit vaikuttavat siihen, mitä vastaajat arvelevat kysyttävän. Ongelma on erityisen hankala kansainvälisissä tutkimuksissa, koska termien merkitys eri kielissä on erilainen.
Aineiston luokittelulla taas saatetaan kätkeä joitain olennaisia piirteitä ja korostaa toisia. Ongelma koskee erityisesti jatkuvia muuttujia, kuten esimerkiksi tulojakauma. Euroopan tilastojärjestelmän yhdenmukaistamisen yhteydessä törmättiin usein ongelmiin tilastoissa käytetyissä luokituksissa. Suomalaisten käyttämät luokitukset olivat jossain asioissa liian karkeita Etelä-Euroopan näkökulmasta ja eurooppalaiset luokitukset taas antoivat joissain asioissa liian ylimalkaisen kuvan Suomesta.
4. Onko tulokset esitetty oikein suhteessa havaintoaineiston kertomaan?
Ei ole aivan harvinaista, että tutkija on niin ihastunut hypoteeseihinsä, että hän lukee aineistoansakin väärin. Usein sama tauti iskee myös toimittajaan. Tämäntyyppinen virhe paljastui, kun julkisen velan ja talouskasvun välistä vaikutussuhdetta koskenut yleisesti totuutena toistettu tutkimustulos osoittautui vääräksi aineiston käsittelyssä esiintyneiden virheiden vuoksi (esim. Business Week). Väärintulkinnan tunnistaminen edellyttää toimittajalta kykyä lukea tutkimusasetelmia ja taulukoita sekä tarkistaa graafisia esityksiä.
Eri ryhmiä vertaillaan usein keskilukujen avulla. Erot muuttujan keskiarvoissa eivät kuitenkaan kerro juuri mitään, jos ei tunneta muuttujan hajontaa eri ryhmissä.
Prosenttiluvuissakin on aina tarpeen tarkistaa ja ymmärtää mistä kokonaisuudesta ne on laskettu. Esimerkiksi jokin aika sitten julkisuudessa kauhisteltiin sitä, että neljännes Suomen 15–25-vuotiaista on työttömänä, koska kyseisen ikäryhmän työttömyysaste oli 25 prosenttia. Työttömyysaste kuitenkin lasketaan vain työmarkkinoilla olevista eli työssä olevista tai sitä hakevista. Koska koululaiset ja pääosa opiskelijoista jäävät prosenttilaskun ulkopuolelle, 25 prosentin työttömyysaste merkitsee sitä, että vain runsas kymmenesosa 15-25-vuotiaista oli työttömänä.
Erityisesti graafiset esitykset ovat alttiita vääristelylle. Peruskikka on valita oman argumentaation kannalta edullinen ajanjakso tilastografiikan aiheeksi. Taloustieteellisessä keskustelussa kiistellään toistuvasti muun muassa siitä, miten tarkasteluajanjakson valinta vaikuttaa analyysin tuloksiin.
Melko usein tutkimusuutisia lukiessa törmää myös siihen, että poikkileikkausaineistosta laskettujen korrelaatioiden perusteella tehdään johtopäätöksiä kausaliteetista: erityisesti ravintotottumusten ja sairauksien sekä lääkkeiden vaikutusten korrelaatioista kerrotaan aika huonosti perusteltuja tietoja. Korrelaatio ei kuitenkaan todista syy-seuraussuhteen olemassaoloa (ks. esimerkkejä satunnaisista korrelaatioista). Yleensä se kuitenkin on välttämätön edellytys syy-seuraussuhteen toteamiselle.
Laajat, runsaasti muuttujia sisältävät tutkimusaineistot mahdollistavat olemattomien korrelaatoiden löytämisen (termi overfitting): kun on tarpeeksi dataa sieltä löytyy väistämättä satunnaisia yhteyksiä. Big datan yleistymisen myötä olemme ehkä pääsemättömissä tällaisten olemattomien tulosten kanssa.
Ja vaikka tutkimustulosten tulkinnassa ei olisikaan suoranaisia virheitä, aina kannattaa miettiä, voisiko tuloksia tulkita toisinkin?
5. Entäs jos tulokset ovatkin vain sattumaa?
Ja lopuksi: on jaksettava epäillä.
Vaikka tutkimus on huolellisesti, läpinäkyvästi ja rehellisesti tehty, niin sittenkin voi olla kyse vain sattumasta. Ehkä kyse on vain ensi tuloksesta, joka edellyttää perusteellisempia varmistavia tutkimuksia ennenkuin siihen voidaan luottaa.
Aina kannattaa myös selvittää, tukeeko mikään muu tutkimus tuloksia.
Kirjoittaja Jussi Melkas toimi useiden vuosien ajan Tilastokeskuksen viestintätehtävissä ja opettanut tilastojen lukutaitoa.
Lähteet
http://www.tilastokeskus.fi/til/tyti/kas.html
http://www.tilastokeskus.fi/til/khi/khi_2013-04-30_men_001.html
http://www.theguardian.com/news/datablog/2013/apr/22/eu-bulgaria-romania-immigration-poll-bogus-statistics
http://en.wikipedia.org/wiki/Cherry_picking_(fallacy)
http://www.taloustutkimus.fi/blogi/?x1810595=w2844852
http://www.businessweek.com/articles/2013-04-18/faq-reinhart-rogoff-and-the-excel-error-that-changed-history
http://tilastokoulu.stat.fi/verkkokoulu_v2.xql?page_type=esim&course_id=tkoulu_tlkt&lesson_id=9&subject_id=3&example_id=1
http://www.tylervigen.com/
http://www.kdnuggets.com/2014/06/cardinal-sin-data-mining-data-science.html
Simpura Jussi & Melkas Jussi (2013). Tilastot käyttöön. Helsinki, Gaudeamus.