Huomasin eilen kirjoituksen viittausten määrästä ja siitä, miten siitä laskettuja indeksejä käytetään tutkimusten laadun arvioimiseen. Kirjoitus on ihan ansiokas ja mielenkiintoinen.
Ensimmäinen ongelma viittausten määrän käytössä on viittausten jakauma, joka on hyvin jyrkkä eksponenttijakauma. Tämä tarkoittaa sitä, että erotukset ja suhdeluvut viittausmäärien välillä ovat merkityksettömiä. Sama pätee esimerkiksi impact factorin kaltaisiin mittalukuihin.
Viittausten jakauman syntyprosessi on preferential attachment- tyyppinen prosessi. Jakauma muistuttaa muodoltaan hyvin voimakkaasti skaalautumattoman verkon kytkentöjen jakaumaa. Tällainen jakauma saadaan täysin satunnaisella verkolla aikaan niin, että lähdetään joukosta solmuja. Tässä tapauksessa ne voivat olla papereita. Valitsemme yksi kerrallaan joukosta solmun ja arvomme muiden solmujen joukosta yhden (tai useampia) solmuja, joihin vedämme valitusta solmusta viittauksen. Valinta tehdään siten, että todennäköisyys tulla valituksi riippuu solmuun jo tulevien viittausten määrästä. Tapa, jolla todennäköisyys määräytyy, määrää jakauman parametrit, mutta yleinen muoto on melko robusti valintakriteerin suhteen. Esimerkiksi, kun valinta n:n solmun joukosta tehdään tilanteessa jossa kaikkien kytkentöjen määrä on m, ja solmuun i tulevien kytkentöjen määrä on m(i), niin solmun valituksitulemisen todennäköisyys on (m(i)+1)/(m+n), johtaa jo sinänsä hyvin vinoon jakaumaan. Kun jokin solmuista saa viittauksia, sen todennäköisyys tulla viitatuksi kasvaa ceteris paribus.Tämä jakauma siis syntyy, vaikka laatu itsessään ei vaikuttaisi yhtään mitään.
En tietenkään väitä, että laatu itsessään ei vaikuttaisi mitään viittausten määrään. Aivan varmasti se vaikuttaa hyvin paljon. Ensiksikin, on selvää, että huonoon paperiin ei tule viittauksia, vaikka kirjoittajalla kävisikin hyvä tuuri, etenkin jos kirjoittaja on jo tuntematon. Sensijaan jo tunnetun kirjoittajan huonoonkin paperiin saatetaan viitata jos se edes käsittelee jotakin mielenkiintoista ongelmaa. Toiseksi, on selvää, että jos paperi on oikeasti hyvä, ja jos se edes jotenkin saa näkyvyyttä, se tulee keräämään viittauksia paljon. Kohinasta huolimatta siis viittausten määrä on edes jonkinlainen indikaattori paperin laadusta.
Ongelmaksi muodostuu kuitenkin vertailukelpoisuus. Kahden samankin alan sisällä eri aihetta käsittelevän paperin kohtalo voi viittausten osalta olla hyvin toisenlainen, ja riippuvuus laadusta voi olla peräti negatiivinen. Oletetaan kaksi hypoteettista "maailmaa" jotka ovat aluksi identtiset. Meillä on tunnistettu jokin ongelma tai tutkimuskysymys, josta ei vielä ole kirjoitettu uraauurtavaa paperia. Ensimmäisessä maailmassa kirjoittaja tekee korkealaatuisen paperin, jossa hän esittelee ongelman, määrittelee sen hyvin, ja esittää vastauksen, joka on kuitenkin joiltain pieniltä osin puutteellinen (ei kuitenkaan väärä). Toisessa maailmassa kirjoittaja tekee muuten tarkalleen samanlaisen paperin, mutta jossa vastaus on käytännössä täydellinen.
Jälkimmäisessa maailmassa jatkotutkimuksia tehdään aiheesta ehkä vähemmän. Paperiin toki viitataan, ja voidaan viitata paljonkin, mutta vain silloin kun tarvitaan juuri tätä vastausta. Ensimmäisessä maailmassa taas kirjoitetaan ensin useita papereita, joista jokaisessa esitetään täydennyksiä, uusia ratkaisuja jne. Myöhemmissä papereissa kuitenkin viitataan alkuperäiseen ihan yhtä usein, koska se on kuitenkin "seminal" paperi aiheesta. Lopputuloksena ensimmäisen maailman kirjoittaja saa viittauksia mahdollisesti moninkertaisesti (koska preferential selection edelleen toimii) jälkimmäiseen verrattuna, vaikka toisessa maailmassa paperi on laadullisesti parempi.
En vastusta missään nimessä monimutkaistenkaan viittausmetriikoiden käyttöä jonkinlaisena heuristiikkana. Erityisesti jos viittausmäärät ovat hyvin alhaiset alan tyypillisiin viittauksiin verrattuna, voidaan katsoa että paperit eivät ehkä ole niin kovin hyviä. Esimerkkinä yllämainitussa artikkelissa on ns. h-indeksi. Oma h-indeksini on 6, eli jossain surkean ja keskinkertaisen välimaastossa. Tämä johtuu sekä kehnosta tuotteliaisuudesta että heikosta työn laadusta, mutta myös osittain epäkiitollisesta tutkimusaiheen valinnasta, mitä voi taas pitää huonon tuurin ja huonon pelisilmän yhdistelmänä. En toki valita kohtaloani tai yritä väittää, että vertailu on "epäreilu".
Sensijaan pidän korkeampien lukujen keskinäisiä vertailuja lähinnä merkityksettöminä. Kun katson enemmän julkaisseiden ja enemmän viitattujen tuttujen julkaisuja ja viittausten määriä, niin eniten viitatun ja toiseksi eniten viitatun paperin viittausten suhde vaihtelee lähes 1:1:stä aina 3:1:een. Joillakin tuntemillani tutkijoilla kahden eniten viitatun paperin viittausten määrä on suurempi kuin kaikilla muilla papereilla yhteensä. Suuresti arvostamani Moshe Vardi on yli 30-vuotisella urallaan kerännyt yli 30 000 viittausta lähes 800 artikkeliin. Mediaani viittauksille on 3 per artikkeli. Se on tarkalleen sama kuin minulla!
Pointtini on, että potenssijakaumasta saadut tunnusluvut ovat vaikeita vertailla. On selvää, että en ole Vardin tasoinen tutkija (eikä minusta voi koskaan sellaista tulla), vaikka meidän julkaisujemme viittausten mediaanit ovat samat. Jokainen ymmärtää, miksi mediaani ei oikeastaan kuvaa mitään. En ole ollenkaan varma kuinka selvää on, missä määrin Vardi on 300 kertaa parempi kuin minä (viittausten kokonaismäärä); voi hyvin ollakin. Vai kenties 14 kertaa parempi (h-indeksi)? Tai 120 kertaa parempi (top3- viittaukset)?
Ei kommentteja:
Lähetä kommentti