5.8.2015

Julkaisujen vaikuttavuus - mitä mitataan ja miksi?

Työssäni on kiitollista se, että se tarjoaa päivittäin ahaa-elämyksiä - olipa kyse sitten täysin uudesta asiasta, vanhojen seikkojen yllättävästä yhteydestä tai tasapainon äkkiarvaamattomasta löytämisestä eri näkökulmien välille. Ymmärrys kasvaa joka päivä, ja haluan jakaa tätä hitusen jälleen kanssanne.

Tutkin nimittäin julkaisujen vaikuttavuutta ja niiden arviointia. Miten sitä mitataan? Mihin näitä mittareita käytetään? Miten mittareita kritisoidaan? On olemassa monia vaikuttavuuden indikaattoreita, joista muutamaan perussellaiseen yleissilmäys ohessa:

Artikkelikohtaiset viitteet

Viittaukset kertovat yksittäisen artikkelien saamat huomiot muissa tieteellisissä teoksissa. Viittausten lukumäärä on mahdollista saada vasta pitkän ajan kuluttua, kun yksittäinen artikkeli on löydetty, luettu, viitattu ja viittaus kirjattu jälleen seuraaviin julkaisuihin. Viittausmäärä kertoo yksinkertaisuudessaan julkaisun saavuttamasta vastaanotosta ja vaikuttavuudesta tiedeyhteisössä (ks. Auranen et al. 2013), ja tässä tarkoituksessa mittari on nähdäkseni rehellisin. Toki myös murskakritiikkikin julkaisua kohtaan kirjataan viittaukseksi, joten kritisoitukin julkaisu on tehnyt tieteenkentällä vaikutuksen, eikö?

Impaktiluku tai viittauskerroin

Tämä on kokonaisen sarjan tai julkaisijatasoinen vaikuttavuusmittari, kuinka vaikuttavaa ja muissa julkaisuissa viitattavaa tuotantoa sarja tai julkaisija edustaa. Yksittäinen erinomainen kirjoitus voi viedä kokonaista julkaisusarjaa tai julkaisijaa hyvinkin pitkälle tällä mittarilla - siis periaatteessa. Mutta jos julkaisusarja sisältää monia vahvoja julkaisuja, joukkoon on mahdollista mahtua myös poikkeuksellisen kehnoja julkaisuja, eikä keskiarvoinen impaktiluku niistä vielä heilahtaisi.

Julkaisufoorumi

Julkaisufoorumi-järjestelmä on luokituksista eniten mielipidepainotteinen, paneelien laatima arvotus eri julkaisukanaville erilaisin kriteerein, joihin myös impaktiluku yhtenä sisältyy. Luokitus on pyritty suunnittelemaan lähinnä siitä lähtökohdasta, että se kertoisi jotain julkaisun läpäisemän vertaisarvioinnin ja kilpailun tasosta (ks. Auranen et al. 2013) eli julkaisuprosessin yleisestä laadusta, jota kukin julkaisija tuotannossaan toteuttaa. Määrittääkö kuitenkaan hieno, läpijauhettu julkaisuprosessi yksistään lopullisen julkaistun kirjoituksen laatua tai vaikuttavuutta? Hyvä puoli luokituksessa on, että julkaisufoorumi pyrkii poistamaan tasoiltaan saalistajiksi tunnistettavat julkaisijat ja lehdet.

Ja lähitulevaisuudessa

Altmetriikka

Tutkii julkaisujen näkyvyyttä ja keskustelukeskeisyyttä sosiaalisessa mediassa sekä muussa verkon mahdollistamassa linkittämisessä ja huomiossa. Tämä on lähes reaaliaikainen mahdollisuus seurata tutkimuksen vaikuttavuutta julkisella kentällä, ei vain tutkijapiireissä. Median yleisön joukkoon mahtuisi muiden mukana myös rahoittajia ja mahdollisia yhteistyökumppaneita, joiden huomio varmasti kiinnostaa tutkijoita. (Forsman & Englund 2013.) 

Näkyvyydelle ja vaikuttavuudelle voi tehdä itsekin jotain

Jos tutkija itse haluaa tehdä tutkimuksensa vaikuttavuudelle jotain, sitä kannattaa pitää yllä sosiaalisessa mediassa ja vastavuoroisesti ottaa osaa julkiseen keskusteluun, joita muut tutkijat ym. pitävä yllä. Myös kustantajan edustajana olisin kiitollinen tästä julkaisujen näkyvyyden vetoavusta, koska yleensä vain näkyvää osataan kysyä. Toki tämä vaatii jälleen tutkijoilta yhden erityisalan ja sosiaalisen median kulttuurin opettelua, ja huomio varsinaiseen tutkimuksen tekemiseen kaventuu - valitettavasti.

Apua tähän sosiaalisen median näkyvyyteen tarjoaa Lapin yliopistolla nyt syksyllä käyttöönotettava LaCRIS-tutkimustietojärjestelmä, johon kootaan henkilökunnan julkaisutiedot. Järjestelmä mahdollistaa tutkijoiden julkaisutyön oivallisen näkyvyyden verkossa. Suosittelen ottamaan järjestelmän avosylin vastaan ja käyttämään sitä mahdollisimman kekseliäästi hyödykseen. (Liisa Hallikainen kirjoitti LaCRIS-järjestelmästä Tiedekirnuun 25.2.2015.)

Mitä muuta sanottavaa näistä mittareista?

Impaktiluku ja julkaisufoorumi ovat huonoja mittareita yksittäisen artikkelin tai tutkimuksen laadulle ja näin myös yksittäisen tutkijan ansioiden arviointiin. Esimerkiksi saman julkaisufoorumitason sisällä on yksittäisten julkaisujen viittausmäärissä huomattavia vaihteluita: Alemmilla julkaisufoorumi-tasoilla julkaistut yksittäiset julkaisut tai artikkelit saattavat olla viittauksissa huomattavasti merkittävämpiä kuin seuraavan julkaisufoorumitason viittauksien keskiarvo on. (kts. Auranen et al 2013.) Lyhyemmin sanottuna alemmalla julkaisufoorumitasolla julkaistu artikkeli voi olla huomattavasti merkittävämpi kuin ylemmällä tasolla julkaistu veljensä.

Myös Laakso ja Kere (2015) huomauttavat yksittäisen artikkelin saamien viittausten sekä sarjojen impaktilukujen välillä olevasta heikosta korrelaatiosta. Joten ei impaktilukukaan kerro totuutta yksittäisen artikkelin ansioista tai tieteellisestä merkityksestä. Toki se kertoo jotain suuntaa julkaisijan tuotannon laatujärjestelmästä.

Tieteelliselle julkaisemiselle eri vaikuttavuusmittarit ovat myöskin jokseenkin suojaksi, koska niitä voidaan käyttää hyödyllisten julkaisukanavien tunnistamisen apuvälineinä. Tieteellisen julkaisemisen kehityksen nurjana  puolena ovat edelleen ne vihulaiset saalistajalehdet, joille tulen varmasti heristämään nyrkkiä vielä useaan otteeseen. On tärkeää käyttää lähdeaineiston etsinnässä yhä vain hioutuneempaa mediakriittisyyttä ja kykyä käyttää tieteenalansa julkaisijatuntemusta hyväkseen. Oheiset vaikuttavuusmittarit ovat tässä tukena. Tämä varoitus siksi, että petollisten saalistajalehtien määrä kasvaa jatkuvasti. Laakso ja Kere (2015) mainitsivat aktiivisten saalistajien määrän olleen keväällä yli 10 000.

Ja vaikka tutkijat osattaisiin kouluttaa erottamaan saalistajalehdet aidoista tiedejournaaleista täysin virheettömästi, miten käy juoru- tai iltapäivälehtien toimittajan, joka etsii netistä lööppien aineksia? Huuhaa-tutkimus päätyy päivälehtien palstoille, joista suuri lukijakunta niitä ällistellen lukee (mielenkiintoinen maininta tästä asiasta ja seurauksista löytyy Laakson ja Keren 2013, artikkelista). Onko koko tiede vaarassa menettää uskottavuutensa? Ja miten alkaa käydä tutkimusrahoituksen? Vaaditaanko tutkijoilta entistä enemmän todistelua siitä, että heidän työssään on kyse todellisesta tutkimuksesta eikä lööppiaineksista? Vai käykö peräti niin, että mediaseksikkäät tutkimusaiheet alkavat saada helpommin rahoitusta, koska niiden julkisuusarvo tulee olemaan suurempi? Altmetriikka kun yhtenä vaikuttavuuden mittarina ihannoi juuri näitä lööppien räjäyttäjiä.  

Tulevaisuus näyttää.

Jälleen teistä huolehtien,
Anne Ruonala
LUP / Lapland University Press



Lähteinä käytetty:


Auranen O., Leino Y., Poropudas O. & Pölönen J. (2013) Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina. Web of Science -aineistoon perustuva vertailu. Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus. Tampereen yliopisto. Työraportteja 8/2013.

Forsman M. & Englund J. (2013) Altmetriikka - bibliometriikan uusi suuntaus. Signum 6/2013.

Hallikainen L. (2015) Uusi tutkimustietojärjestelmä henkilökunnan käyttöön ensi syksynä. Tiedekirnu -blogi.

Laakso M. & Kere J. (2015) Tieteellisen tiedon muutokset - kasvukipuja ja avoimuuden haasteita. Tieteessä tapahtuu 3/2015.

Ei kommentteja:

Lähetä kommentti