Näytetään tekstit, joissa on tunniste heuristiikat. Näytä kaikki tekstit
Näytetään tekstit, joissa on tunniste heuristiikat. Näytä kaikki tekstit

tiistai 11. maaliskuuta 2014

Lyhyesti tutkimusrahoituksesta

Pohdin hetken miten rahoitusta soveltavalle tutkimukselle voisi kehittää, libertaarin benchmarkin mukaan paremmaksi kuin nykyisin.

Ensimmäinen havainto on, että konsensus on kääntymässä kohti sitä, että ns hyvinvointivaltiota on pakko purkaa. HS tietysti vasemmistolaisena lehtenä otsikoi mahdollisimman rahvaanomaisesti sen, mistä asiassa on kyse. Sivuutan muut alat, ja keskityn tutkimuksen rahoittamiseen. Esimerkiksi TEKESin kaltaisten tahojen tehtävänä on rahoittaa ja tukea julkisin varoin tutkimusta ja tuotekehitystä.  Näiden kaikkien keskeinen ongelma on suomalaisessa ajattelussa tiukkaan istuva periaate, että julkisten toimijoiden tehtävänä on byrokraattien ja asiantuntijoiden päätöksin valita tahoja jotka ovat riittävän hyviä ja tukea näitä, jotta ne menestyvät markkinoilla. Koska ihmiset eivät ole typeriä (ainakaan niin typeriä), tätä ajatusta paikkaillaan ja korjaillaan erilaisilla mittareilla joiden on tarkoitus olla objektiivisia. Jokainen tällainen "objektiivinen" mittari synnyttää kuitenkin pelin, jossa laatu ja tehokkuus jäävät loppujen lopuksi sivuseikoiksi, ja toiminta keskittyy mittarin manipuloimiseen jotta raha virtaisi.

Esimerkkinä on Horizon 2020, EU:n tutkimusrahoitusohjelma, joka jakaa seuraavien seitsemän vuoden aikana 80 miljardia euroa tutkimusrahaa. EU:ssa on noin 500 miljoonaa ihmistä, joten tämä on noin 160 euroa per jokainen eurooppalainen. Tämän rahan suuruudesta voi olla montaa mieltä, mutta valtava määrä se on.

Ja koska rahaa on paljon, sen hakemiseen käytetään paljon resursseja. Yliopistot palkkaavat ihmisiä, joiden tehtävänä on parantaa hakemusten läpimenon mahdollisuutta. Koska kaikki yliopistot tekevät näin, hakemusten keskimääräinen läpimenon mahdollisuus ei parane. Ja jos oletamme, että tutkimuksen laatu ei riipu tällä tavalla parannellun hakemuksen laadusta, voimme melko turvallisesti olettaa, että tämä on nollasummaista peliä.

Yksittäisen yliopiston näkökulmasta tietenkin tämä panostus on kannattavaa, jos se nostaa todennäköisyyttä rahan saamiseen riittävästi. Esimerkiksi minä olen hakemassa 1.5 miljoonan rahoitusta viidelle vuodelle, ja tästä yli 10 prosenttia on sellaisia hallinnollisia kuluja jotka käytännössä olisivat plussaa yliopistolle. Jos todennäköisyys saada tällainen rahoitus nousee esimerkiksi kahdesta prosentista seitsemään prosenttiin, niin  7500 euron panostus hakemukseen on keskimäärin kannattava. Tällä siis palkkaa yhden ihmisen täysipäiväisesti useammaksi viikoksi pelkästään keskittymään yhden hakemuksen hiomiseen.  Kun hakemuksia tehdään talosta esimerkiksi 20, niin odotusarvoisesti yhden ihmisen kannattaa täysipäiväisesti hallinnoida ja edistää hakemusten läpimenoa, jos keskimääräinen todennäköisyys nousee 5%-yksikköä. 

En toki tahdo vähätellä näiden ihmisten työpanosta. Olen työskennellyt heidän kanssan ja he tekevät paljon työtä. Osa työstä on lisäksi sillä lailla oikeasti hyödyllistä (ei siis vain hakemuksen läpimenon kannalta), että he esimerkiksi tarkastavat budjetit että ne ovat realistisia ja toteuttamiskelpoisia jne. (Tämä olettaa toki jo, että itse tutkimus on hyödyllistä; se täytyy ottaa annettuna, koska muuten voisin yhtä hyvin vain kirjoitella blogia enkä tehdä töitä lainkaan... Ei kun...)

Minulla on karkean tason ehdotus; sen ei ole tarkoitus olla sinällään realistinen, vaan esittää vain suuntaa miten asiaa voisi kehittää. Sovitaan sellaisesta veroporkkanasta, että jos mikä hyvänsä taho joka on verovelvollinen, antaa rahaa tutkimukseen, tämä raha on kokonaan verovähennyskelpoinen, ja vähennys tehdään joltain tietyltä osin verosta ja loppuosalta tulosta. Vaikka 50/50. Sensijaan että raha menee byrokraattien kautta, on eräänlainen kaksoissokkosopimus. Sopimus voi olla standardimuotoinen muttei sitä varten tarvita mitään erillistä sääntelyä, riittää että molemmilla puolilla "sokkoseinää" osapuolet tietävät mistä sopivat. Esimerkiksi niin, että sopimus on "auki" niin kauan että riittävä rahoitus on saatu kasaan. Rahalla saa vaikkapa reaaliaikaisen pääsyn tutkimusprojektin dataan, oikeuden lukea rahoitetut julkaisut vaikkapa viikkoa tai kahta ennen kuin ne julkaistaan, jne, mitä hyvänsä oikeuksia joita nyt sopimukseen halutaan laittaa. Sopimustarjoukset laitetaan julki, ja rahoittajat päättävät kukin omalla tahollaan mihin haluavat sijoittaa. Mitään hakuaikoja ei ole tai ei tarvita, eikä mitään byrokraatteja arvioimaan.

Miten tämä sopisi perustutkimuksen rahoittamiseen? No, esimerkiksi niin, että halutessaan rahoittaa perustutkimusta, valtio, EU, tai joku muu, jakaa rahaa eri alojen tutkimusryhmille. Nämä voivat "ostaa" toistensa tutkimusta; omaan tutkimukseen ei rahaa saisi käyttää. Tässä on tietenkin se ongelma, että tämä(kin) synnyttää tietenkin pelin, jossa tutkijat voivat sopia rahoittavansa toistensa tutkimusaiheita "tiskin alla". Tätä vastaan voi suojautua esimerkiksi niin, että nämä pelimerkit jaetaan samaan tapaan kuin vertaisarviointikin tehdään. Tämän yksityiskohtia en käy nyt erittelemään.

En yritä tässä puhua julkisen rahoituksen puolesta, enkä sitä vastaan, vaan identifioida tiettyjä ongelmia joita rahoituksen jakamisessa on. Riskien arvioiminen on vaikeaa, ja uskoisin että iso joukko tutkijoita, nimettominä toimiessaan, onnistuu siinä paremmin kuin pieni paneeli. Ei sikäli, että väheksyisin paneelien asiantuntemusta. Lähinnä tämä ajatus juontuu siitä, että keskusteltuani konsulttien kanssa ja kuunneltuani kokemuksia, panelistien aika on hyvin rajallista ja he eivät edes ehdi paneutua kunnolla hakemuksiin. Tämä on ongelma, koska se luo satunnaisuutta ja toissijaisia mittareita silläkin oletuksella, että asiantuntija kykenisi arvioimaan laatua ideaalitilanteessa. 

maanantai 11. kesäkuuta 2012

Nopeat ja Hitaat II.

Edellisessä tekstissäni peilasin Kahnemanin tekstiä ehkä vähän tylsään aihepiiriin. Pidemmällä teoksessaan Kahneman käsittelee erilaisia päätös- ja arviointiheuristiikkoja joita systeemi 1 käyttää. Näissä on paljon yhtymäkohtia sen kanssa, mitä olen aiemmin kirjoittanut intuitiosta. Kertaus on opintojen äiti:
[...] intuitio ikäänkuin kuiskii pehmeästi ja suloisesti valheita. Intuitio ei ole muuta kuin ennakkoluulojen summa; tämä ei ole sen heikkous muuten, mutta intuitio, jos sitä ei kyseenalaista, sotkee aivan liian helposti pessimismiä, toiveajattelua, arvostelmia, oman edun tavoittelua, sosiaalista painetta jne, ilman että sitä tiedostaa itse.
Luettuani Kahnemanin kirjaa, ymmärrän, että sana "intuitio" on oikeastaan väärä, minun pitäisi puhua systeemi 1:stä. Se ei ole aivan sama asia, ja tapa jolla pessimismi, toiveajattelu, jne, sotkevat arvioita ja käsityksiä joita systeemi 1 tuottaa, on monimutkaisempi.

Mutta perusviesti on sama: tietoista, hidasta ja loogista ajattelua, eli systeemi 2:a tarvitaan. Kahnemanin mukaan se on kuitenkin laiska ja haluton puuttumaan asioihin. Monien tutkimusten mukaan systeemi 2:n aktivaatio kuluttaa elimistön energiavaroja huomattavissa määrin; pitkäkestoinen tietoinen mentaalinen ponnistelu laskee verensokeria, ja sen nostaminen itseasiassa lisää kognitiivista suorituskykyä. Yksi merkittävimpiä kognitiivista suorituskykyä - ja yleensä elämässä pärjäämistä - ennustavista kokeista on niinsanottu vaahtokarkkitesti, joka mittaa lapsen kykyä siirtää vaahtokarkin (tms herkun; Kahnemanin viittaamassa versiossa puhuttiin kekseistä) syömistä tulevaisuuteen suuremman palkkion kannustamana. Yksi keskeinen viesti on, että tämä on kognitiivisesti vaativa tekijä, vaikkei siltä näytä; ja että ns. yleisälykkyys ja itsehillintä ovat osa systeemi 2:n tarkoituksenmukaista toimintaa ja siksi niillä on merkittävä korrelaatio.

Systeemi 1:n päätösheuristiikat ovat inherentisti "irrationaalisia", eli ilman tietoista ponnistelua niiden soveltaminen johtaa loogisesti ristiriitaisiin mutta narratiivisesti vetoaviin johtopäätöksiin. Systeemi 1 siis aivan konkreettisesti kuiskii valheita ihmiselle, eikä piittaa oikein muusta kuin siitä, että saa rakennettua saamistaan informaationpalasista vakuuttavanoloisen tarinanpätkän. Pidemmän jänteen koheesiolla ei sille ole niin väliä. Koska systeemi 1 toimii hyvin tehokkaasti stereotyypeillä ja hahmontunnistuksella, se kykenee tuottamaan nopeasti arvion. Se ei kuitenkaan ole esimerkiksi todennäköisyyksien suhteen lainkaan koherentti.

Esimerkiksi yhdessä tapauksessa jonka Kahneman esittelee, koejärjestelyssä esitetään kuvaus "Lindasta". Lindan opiskeluaikaa kuvaillaan tavalla, joka tuo kelle tahansa mieleen feministisen aktivistin. Tämän jälkeen esitetään joukko erilaisia elämäntilanteita Lindan myöhemmästä elämästä, ja kysytään, mitä näistä voisi pitää todennäköisimpänä. Silmiinpistävää on, että vaikka vaihtoehtoja olisi vain kaksi:
  1. Linda on pankkivirkailija
  2. Linda on feministi ja pankkivirkailija
koehenkilöt lähes poikkeuksetta arvioivat vaihtoehdon 2 todennäköisemmäksi kuin  vaihtoehdon 1. Tämä on tietenkin niin järjetöntä ja irrationaalista, että se saa kenet tahansa todennäköisyyksiä tuntevan kiskomaan hiuksia päästään. Introspektioni kertoo minulle kuitenkin, että jälkimmäinen vaihtoehto tuntuu luontevammalta, eli koska Linda vaikuttaa feministiltä, on luontevaa olettaa, että jos hän on pankkivirkailija, hän on edelleen feministi.On kuitenkin selvää, että tapaus 1 sisältää tapauksen 2, joten tapaus 1 on aivan väistämättä todennäköisempi. Yksi mahdollinen syy tähän vinoumaan tietenkin on, että ihmiset tulkitsevat kysymyksen niin, että vain toinen näistä voi olla tosi, jolloin vaihtoehto 1 tulkitaan niin, että se sanoisi "Linda on pankkivirkailija ja ei ole feministi".

Vastaavia kompositionaalisuuden rikkomuksia tulee kuitenkin muualla, ja niitä syntyy ihmisten mielissä. Isoilta joukoilta ihmisiä kysyttäessä seuraavien skenaarioiden todennäköisyyttä (erikseen, ei siis samassa kyselyssä)
  1. Läntiseen USA:han iskee vakava tulva,
  2. Kaliforniaan iskee maanjäristys joka aiheuttaa vakavan tulvan.
vaihtoehto 2 tulkitaan todennäköisemmäksi. Tämä viittaa siihen, että kyse on nimenomaan vakuuttavammasta narratiivista. Tämä liittyy omiin kirjoituksiini argumentaatiosta. Olen tulkinnut argumenttia ajatuskoneena, joka on loogisesti koherentti, ja jonka avulla voidaan päätellä muutoksia todennäköisyyksissä tms. Huomaan kuitenkin, että tässä kohtaa ajattelussani on ollut vakava puute. Oikein toimiva argumentti  on kuin dynamiittipötkön antaisi lapselle, koska hyvä argumentti on yleensä myös hyvä tarina. Bayesilaisittain toimiva argumentti on usein tylsä, eikä narratiivisesti vetoava. Narratiivisesti vetoavan argumentin ei tarvitse olla parempi, riittää ettei se ole väärä, ja se voi silti olla suurimmalle osalle ihmisistä vakuuttava. Esimerkiksi näistä vaihtoehto 2 on eräänlainen argumentti, tai se voidaan tulkita sellaiseksi: Maanjäristys kaliforniaan tulkitaan uskottavaksi skenaarioksi, ja sen aiheuttama tulva on mahdollinen seuraus.

Lopetan tämän kirjoituksen yhteen sellaiseen näkemykseen, jonka Kahneman esittää. Olen jo jonkin aikaa kokenut oloni epämukavaksi erilaisten keskustelufoorumien melko yleisestä tendenssistä typistää tarkastelutapoja "liberaaleihin", "vasemmistolaisiiin", "oikeistolaisiin" tai "konservatiivisiin". Olen syyllistynyt tähän itsekin, mutta tunnen sellaisen jotenkin aina likaiseksi. Kahnemania - varmaan kuten minuakin - voi syyttää liberaaliksi seuraavan lainauksen perusteella. Mutta hän kuuluu tällöin samaan kategoriaan esimerkiksi Pinkerin kanssa. Itse haluaisin omaksua enemmän näiden miesten kanssa samanlaisen ajattelutavan.
The social norm against stereotyping, including the opposition to profiling, has been highly beneficial in creating a more civilized and more equal society. It is useful to remember, however, that neglecting valid stereotypes inevitably results in suboptimal judgements. Resistance to stereotyping is a laudable moral position, but the simplistic idea that the resistance is costless is wrong. The costs are worth paying to achieve a better society, but denying the costs exist, while satisfying to the soul and politically correct, is not scientifically defensible. Reliance on the affect heuristic is common in politically charged arguments. The position we favor have no cost and those we oppose have no benefits. We should be able to do better.