Itseään mittaava tutkija: Mitä ei voi mitata, sitä ei voi kehittää?

Normaali

Petro Poutanen

Mittarit ja arviointi ovat keskeisellä sijalla akateemisessa työskentelyssä. Verkko ja sosiaalinen media laajentavat tutkimuksen vaikuttavuuden mittaamisen mahdollisuuksia. Millä tavalla mittarien ja arvioinnin kulttuuri muuttaa yksittäisen tutkijan työskentelyä?

Kuva: Shutterstock

Kuva: Shutterstock

”Mitä ei voi mitata, sitä ei voi kehittää”. Lause on mittareita palvovien uskonkappale. Mittarien käyttö akateemisen työn arvioimisessa on arkipäivää, ja indekseihin perustuu suurelta osin myös yliopistojen rahoitus. Tutkimuksen ja opetuksen laatu, työllistyminen, kansainvälisyys – kaikki kääntyvät numeraaliseen muotoon opintopisteiksi, julkaisujen ja viittausten määriksi, tutkintojen suorittamiksi, tutkijavierailuiksi ja niin poispäin.

Mittaamisen kulttuuri on tarttunut myös yksittäisiin tutkijoihin, ja monet ovat alkaneet kiinnittää huomiota omaan näkyvyyteensä ja tutkimuksensa vaikuttavuuden arviointiin. Kova kilpailu näkyvyydestä pakottaa kehittämään tapoja hankkia näkyvyyttä omalle työlleen.

Samoin kuin mittariuskovainen voi seurata vaikka kaloreja, verenpainetta, sykettä ja painoa, tutkija voi laskea julkaisujensa näkyvyyttä, lukukertoja, keskustelua ja viittauksia hyödyntämällä verkon työkaluja. Perinteiset mittarit eivät vielä tunnista verkon tuomaa huomionarvoa, mutta tulevaisuudessa akateeminen portfolio laajenee, jos huomionarvosta tulee osa tutkimuksen vaikuttavuuden arviointia.

Matka mittarien maailmaan

Istun tietokoneella. Ensimmäisenä tarkistan Google Scholar -profiilistani, olenko saanut lisää viittauksia. Google Scholar on tieteellisten julkaisujen hakukone, jossa tutkija voi pitää omaa julkaisuluetteloaan ja profiiliaan.

Seuraavaksi tarkistan Academia.edu-profiilini. Academia.edu on tutkijoille tarkoitettu ”akateeminen facebook”. Olen ladannut sinne kaikki julkaisuni, joiden tekijänoikeuksia en ole kokonaan luovuttanut kustantajalle.

Huomaan, että eräs konferenssijulkaisuni on saanut Academia.edu-palvelulta ”pokaalin”, joka tarkoittaa että artikkelini kuuluu kahden prosentin kärkeen katsotuimmista tiedostoista viime kuun aikana. Se on kerännyt liki 3000 katselukertaa. Viittauksia tekstillä ei ole kuin pari. Arvaan, että kysymys on siitä, että teksti käsittelee muodikasta aihetta ja Google on rankannut tiedostoon johtavan linkin hakutulosten kärkeen.

Academia.edu kertoo lisäksi mm. mistä maasta profiilini ja tekstini katselijat ovat, ovatko he ladanneet tiedoston, mihin aikaan he ovat vierailleet sivuilla, mitä hakukoneita ja hakusanoja he ovat käyttäneet. Maksullisen Impactstory-palvelun avulla voisin seurata lisäksi, kuinka moni tviitannut artikkelini, keskustellut siitä Facebookissa, jakanut sen tai kirjoittanut siitä blogipostauksen.

Huomionarvon mittaamista verkossa kutsutaan ”altmetriikaksi” (altmetrics). Altmetriikka koskee juuri verkkohuomiota, ja tuottaa sellaisia lukuja, joita nykyiset arviointijärjestelmät eivät vielä huomio. Perinteiset mittarit eli julkaisujen ja viittausten määrät, sekä niistä lasketut vaikuttavuusindeksit, ovat vallalla. Niiden perusteella tutkijat saavat rahoitusta ja työpaikkoja. Mitä enemmän viittauksia, sitä vaikuttavampi tutkimus. Ehkäpä tulevaisuudessa ”verkkopöhinäkin” painaa rekrytoinneissa ja rahoituskuvioissa?

Mittaamisen ihanuus

Kurinalaisuus auttaa menestymään. Jos mittaa oman suorituksena, tietää tarkalleen, mitä voisi parantaa ja millä alueella menee hyvin. Missä on oma tavoite ja kuinka paljon sinne on matkaa? Millä aikavälillä ja keinoilla on realistista saavuttaa tietty tavoite? Jos jonkin voi mitatta, sen voi aina tehdä paremmin.

Mittaaminen ja mittareiden seuraaminen on koukuttavaa. Kasvu huomionarvoa osoittavassa mittarissa – yksi uusi viittaus tai tviitti – saavat mielihyvähormonit jylläämään. Tyydytys on välitön. Sana minusta ja tutkimuksestani leviää ja löytää yhä uusia innostuneita lukijoita ja ihailijoita. Tai näin haluan ajatella. Vaikka en pärjääkään pidempää uraa tehneille kollegoille perinteisillä mittareilla saan aikaiseksi sosiaalista huomiota verkossa, jota voin mitata ja jonka voin nähdä kasvavan mittarin lukemissa päivä päivältä.

Ei ole itsestään selvää, että kukaan kuulee koskaan tekemästäni tutkimuksesta. YK:n Maailmanpankki tutki, kuinka paljon heidän tuottamiaan tutkimusraportteja ladataan PDF-muodossa heidän verkkosivuiltaan.[1] Hätkähdyttävä tulos oli, että noin 31 prosenttia ei oltu koskaan ladattu ja 87 prosenttiin ei oltu ikinä viitattu missään. Vain hieman yli joka kymmenettä raporttia oli luettu yli 250 kertaa.

Samalla tavalla akateemisten vertaisarvioitujen artikkelien kohtalo voi olla jäädä yksin. Vuosittain julkaistaan 1.8 miljoonaa uutta artikkelia. Tutkijat kiistelevät siitä, mikä on tarkka lukumäärä, mutta villeimpien arvioiden mukaan jopa puolta akateemisista julkaisuista ei lue kirjoittajan ohella kukaan muu kuin sen julkaisevan lehden editori sekä kaksi vertaisarvioijaa. Lisäksi 90 prosenttiin artikkeleista ei viitata koskaan.[2] Tämä on masentava ajatus.

Verkko ja sosiaalinen media voi tuoda kaivattua huomiota tutkimusartikkeleille. University College Londonin informaatiotieteiden laitoksen professori Melissa Terras aloitti vuonna 2011 mielenkiintoisen kokeilun. Hän halusi selvittää, voiko tviittaamalla ja bloggaamalla kasvattaa tutkimusartikkeleiden saamaa huomiota. Terras kokosi kaiken tekemänsä tutkimuksen, laittoi sen avoimesti saataville yliopiston hallinnoimaan julkaisutietokantaan ja alkoi tviittaamaan ja bloggamaan tutkimuksistaan ja niiden taustoista.

Aluksi kutakin artikkelia oli ladattu 1–2 kertaa, vaikka ne olivat olleet saatavilla jo useiden kuukausien, jopa vuosien, ajan. Tviittaamalla ja bloggaamalla tutkimuksistaan Terras onnistui kasvattamaan artikkelien latauskerrat keskimäärin 70:ään yhden vuorokauden aikana, minkä jälkeen kiinnostus laski hitaasti ajan kuluessa. Lisäksi Terrasin julkaisuista peräti seitsemän oli kyseisen vuoden aikana kymmenen ladatuimman artikkelin joukossa koko laitoksella. [3]

Kyse ei siis ehkä olekaan siitä, että tutkimustieto ja PDF-selvitykset eivät kiinnosta ihmisiä, ne vain yksinkertaisesti hukkuvat verkon informaatiotulvaan ilman kunnollista markkinointia. Huomionarvo syntyy aktiivisesta promootiosta.

Mittamisen kurjuus?

Mittauskulttuuri on myös synnyttänyt kyseenalaisia keinoja saavuttaa saada oma tutkimus näyttämään vaikuttavalta. Klassisia kikkoja ovat mm. viitata mahdollisimman moneen muuhun ja saada näin heidän viittaamaan takaisin, ikään kuin kohteliaisuudesta.[4] Hieman kyseenalaisempi käytäntö on nk. itseensä viittaaminen, eli viitata omiin julkaisuihin, vaikka tieteellistä perustetta ei olisikaan. Ideana on kasvattaa kokonaisviittausten määrää ja parantaa viittausindeksien arvoja.[5] Julkaisujen määrää voi puolestaan kasvattaa pilkkomalla tutkimus useisiin osajulkaisuihin.

Mittaamiskulttuuri houkuttelee käyttämään kyseenalaisia keinoja. Sosiologi Roger Burrows kysyy Sociological Review -lehdessä, mitä vaikutuksia mittareiden muuntautumisella ”määrällisen kontrollin” välineiksi on tutkijoiden käsitykselle itsestään. Kutsusta akateemisen ”numeropelin” pelaaminen ei voi kieltäytyä: osallistu peliin tai joku muu pelaa sinun puolestasi ja sinusta tulee pelkkä pelinappula.[6]

Onko meistä tutkijoista tullut ”numeropelin” pelaajia, joita ei kiinnosta muu kuin pitkä julkaisuluettelo ja komeat viittaustilastot? Olemmeko tulleet niin taitaviksi mittauspelissä, että osaamme jo huijata systeemiä ja kerätä viittauksia keinolla millä hyvänsä? Entä mitä merkitystä on Facebook-tykkäyksillä ja tviittauksilla, kun periaatteessa kuka tahansa voi ostaa niitäkin pikkurahalla itselleen verkkohuomiota kaupittelevilta yrityksiltä?

Mittaamisen ulkopuolella jää paljon sellaista tärkeää, mitä mittarit eivät tavoita. Mittaaminen saa tutkijan tuntemaan, että hän todella tekee jotain konkreettista. Mittaamisen tarkoituksena on näyttää, että olemme saaneet jotain aikaan: ”Katso kuinka artikkelijulkaisuni on kerännyt näin ja näin monta viittausta, jakoa, tviittiä, peukkua ja postausta!” Mutta mikä on tutkijan työn perimmäinen tarkoitus? Ratkoa maailman ongelmia ja mysteerejä, luoda uutta tietoa ja kehittää kulttuuria ja ajatteluamme? Minkä takia siis kohdistamme huomiomme yksityiskohtiin, kun maailma ympärillä kuohuu ja kaipaa kipeästi tutkijan ja tieteen näkökulmaa?

VIITTEET

[1] Which World Bank reports are widely read? (English)

[2] Academics Write Papers Arguing Over How Many People Read (And Cite) Their Papers

[3] The verdict: is blogging or tweeting about research papers worth it?

[4] An easy way to boost a paper’s citations

[5] The Emergence of a Citation Cartel

[6] Wiley Online Library