keskiviikko 13. kesäkuuta 2012

Nopeat ja Hitaat III: Algortimit.

Kahneman kuvailee yhdessä luvussa osittain samaa ilmiötä jota itse taannoin, ja jälleen kerran hieman eri näkökulmasta ja käsitteiden rajojen ollessa hieman toiset. Useimmissa tilanteissa, joissa pyritään ennakoimaan jotain myöhempää lopputulemaan ihmisen elämässä (opintomenestys, työssä pärjääminen, rikollisuus jne), "asiantuntijan" antama intuitiivinen arvio on käytännössä arvoton. Lääketieteelliseen tms. koulutukseen valittavien haastattelun perusteella tehty intuitiivinen "soveltuvuusarvio" on yleensä täysin epävalidi, so. se ei ennusta mitään, toisin kuin esimerkiksi aiemmat kouluarvosanat. Sama pätee todella monessa paikassa. Esimerkiksi hyvin yksinkertainen malli Bordeaux-viinien vuosikerran laadun ja tulevan arvon arvioimisessa, on moninverroin validimpi kuin maistajan arvio nuoresta viinistä. Malli ottaa huomioon satovuoden sademäärät tietyiltä kuukausilta ja kesän keskilämpötilan.

Useimmissa tapauksissa, joissa tilastollinen evidenssi on osoittanut, että asiantuntijuudesta ei ole käytännössä mitään hyötyä asioiden ennakoimisessa, ihmiset ovat reagoineet tähän vihamielisesti. Tosiasiat kuitenkin ovat kiistattomia: yksinkertaiset algoritmit, joiden parametrit valitaan tilastollisen evidenssin perusteella, ovat päätöksenteossa useimmissa tapauksissa huomattavasti luotettavampia kuin ihmiset. It gets worse: kun  ihmiset keksivät keinoja "korjata" jotain ilmeisen epäreilulla tavalla toimivaa mittaria, korjaus yleensä heikentää algoritmin toimintaa.

Esimerkiksi pääsykokeet yliopistoihin ovat melko huono mittari validiteetiltaan, jos puhutaan opintomenestyksestä. Toki täytyy muistaa se, että erityisen halutuilla aloilla näin on pakostakin, koska mitä enemmän pääsykoe karsii, sitä valikoituneempaa siitä läpipäässyt porukka on, ja sitä voimakkaampi restricted range-bias siinä on mittarina. Esimerkiksi älykkyysosamäärä on heikko ennustaja menestykselle tieteellisessä työssä, jos rajoitutaan reilusti alle kolmekymppisenä väitelleisiin tutkijoihin. Samaan tapaan VO2-max on huono ennakoija kestävyysjuoksijoiden menestykselle, jos rajoitutaan olympialaisten 10 000 metrin finaalin lähtöviivalle. Nämä populaatiot ovat rajoittuneita, kaikilla tämä "perusmuuttuja" on jo valmiiksi poikkeuksellisen korkea, ja erot syntyvät jostain muusta. Kuitenkin, jos pääsykokeen lisäksi otetaan jokin "soveltuvuushaastattelu", prosessi kokonaisuutena on vielä vähemmän validi. Tämä ylimääräinen informaatio heikentää, ei paranna prosessin tarkoituksenmukaisuutta.

Pörssianalyytikot pärjäävät keskimäärin suunnilleen yhtä hyvin kuin nopanheitto. Salkunhoitajat keskimäärin eivät kykene voittamaan markkinahintojen kehitystä. Jotkut toki pärjäävät joinakin vuosina paremmin, mutta menestys yhtenä vuonna ei korreloi menestyksen kanssa toisena vuonna: ei ole olemassa alfaa, vain betaa. Ammatinvalintapsykologit eivät osaa (muuten kuin ÄO-testillä) arvioida henkilön potentiaalia, eivätkä sitä, onko hän "alisuoriutuja", joka voisi parantaa koulumenestystään tekemällä enemmän töitä. Erityisen huonoja ovat erilaiset maailmanpolitiikan ja yleisen talouden analyytikot, joiden skenaarioarviot ovat pahemmin pielessä kuin se, että kaikille uskottaville lopputuloksille annetaan sama todennäköisyys. He arvioivat konfliktien, pörssiromahdusten, jne jne todennäköisyyksiä pahemmin pieleen kuin kolikonheitot.

Kaiken tämän taustalla on intuitio, joka siis pääasiassa valehtelee.

Mutta eivät mallitkaan saa kovin mairittelevaa kohtelua: monimutkaisempi malli menee yleensä pahemmin pieleen kuin yksinkertainen. Yksinkertaisten mallien validiteettia on helppo arvioida, ja useimmissa tapauksissa se on vain hieman sokkona tehtyä arvausta parempi. Sensijaan ns oppinut arvaus on yleensä sokkona tehtyä arvausta heikompi.

Poikkeuksia tästä kyllä on. Esimerkiksi kokeneet lääkärit arvaavat kyllä diagnoosin paremmin oikein kuin maallikot tai pelkkä arvaus. Tosin melko yksinkertainen tilastollinen päättely hakkaa usein kokeneenkin lääkärin. Ei ole ollenkaan sattumaa, että diagnostiset kriteerit toimivat yleensä niin, että luetellaan joukko oireita, ja diagnoosi varmistuu kun riittävän moni oire löytyy listasta. Diagnostiikkaa voidaankin pitää eräänlaisena intuition ja eksplisiittisen mallin yhdistämisenä. Vastasyntyneiden kohdalla ns. Apgar-pisteet ennustavat lapsen yleistilan hyvin luotettavasti, ja tarkkailu ja tehohoito kannattaa keskittää niihin, joilla on alhainen pistemäärä. Yksinkertainen tarkastuslista on pelastanut satoja tuhansia lapsia kuolemalta. Ennen Apgarin systeemiä, lääkärit ja hoitajat arvioivat lapsen tilaa kuka milläkin tavalla, ja osa tavoista oli täysin epävalideja. Itseasiassa voidaan argumentoida, että merkittävä osa kliinisen lääketieteen kyvystä pidentää elinikää ja laskea lapsikuolleisuutta perustuu samantapaisiin melko yksinkertaisiin tarkastuslistoihin, joiden perusteella sitten kiinnitetään tarkemmin huomiota yksilöön. 

Edellisessä kirjoituksessani kommenttiosiossa keskusteltiin jälleen kerran tehokkuudesta. Emme voi olettaa, että tehokkuutta voidaan tuosta vaan alkaa toteuttaa politiikassa. Tehokkuutta voidaan yleensä arvioida vasta merkittävästi jälkikäteen ja silloinkin vaihtoehtoiskustannus on melko puhtaasti arvailujen varassa. Toki kontrolloituja kokeitakin voidaan tehdä: esimerkiksi sovelletaan jossain maakunnassa tai kunnassa jotain periaatetta, ja toisessa toista.  Ehkä tämäntyyppisten prosessien kautta voimme oppia tekemään erilaisia päätöksenteon "tarkastuslistoja", joilla taataan edes jonkinlainen tehokkuus. Selvää on, että perinteisemmät ideologiat eivät tällaisia työkaluja tarjoa.

4 kommenttia:

Kumitonttu kirjoitti...

Salkunhoitajat keskimäärin eivät kykene voittamaan markkinahintojen kehitystä

Sehän vasta hassua olisikin, koska markkinoiden volyymi syntyy juuri salkunhoitajien keskinäisestä kaupasta. Yksi myy ja toinen ostaa. Muut kuin työkseen pääomamarkkinoita seuraavat muodostavat äärettömän pienen vähemmistön kaupankäynnistä.

Tiedemies kirjoitti...

Se, että salkunhoitajat eivät pysty keskimäärin voittamaan markkinaa, ei ole yllätys, eikä tässä ole se, mitä yllättävänä esitän, vaan se, että salkunhoitajien pärjääminen hommassaan ei olennaisesti poikkea nopanheitosta. Pärjäämisellä yhtenä vuonna ei ole korrelaatiota pärjäämiselle toisena vuonna.

It gets worse: toisten rahoilla pelaavat keskimäärin häviävät markkinakehitykselle, ja he saavat yleensä suurimmat bonukset niiltä vuosilta joina pärjäsivät hyvin. Korrelaatio eri vuosien "alfalle" on näillä pyöreä nolla.

Evidenssi on tavattoman vahvaa: Ei ole olemassa parempia ja huonompia salkunhoitajia. Asiaan ei liity käytännössä yhtään mitään taitoa tai tietoa. Kaikki analyysit jne ovat ennustusvoimaltaan suunnilleen frenologiaan verrattavia, ja mikä pahempaa "asiantuntijamielipide" on keskimäärin vahingollinen sille, joka sitä kuuntelee.

Lähes alalla kuin alalla, yksinkertaiset matemaattiset mallit ovat kaikista heikkouksistaan huolimatta, parasta mitä ennakoimiseen on tarjolla. Nekin pärjäävät vain pikkuisen paremmin kuin puhdas arvaaminen.

Siis kun puhutaan ihmisten toiminnasta. Fysikaaliset järjestelmät ovat sitten toinen asia.

Tomi kirjoitti...

TM:"Lähes alalla kuin alalla, yksinkertaiset matemaattiset mallit ovat kaikista heikkouksistaan huolimatta, parasta mitä ennakoimiseen on tarjolla. Nekin pärjäävät vain pikkuisen paremmin kuin puhdas arvaaminen.

Siis kun puhutaan ihmisten toiminnasta. Fysikaaliset järjestelmät ovat sitten toinen asia."

Syy on ilmeinen. Ihminen ja varsinkin yhteiskunta on aarinmaisen monimutkainen. Kun taas fysikaaliset jarjestelmat, joita kuvataan matemaattisesti ovat varsin yksinkertaisia.

Tiedemies kirjoitti...

Tomi, aivan näin.

Nythän on niin, että ihmisten toimintaa ei voi ennustaa samassa merkityksessä kuin vaikka planeettojen ratoja, eli epävarmuuksia ei edes teoriassa voi poistaa edes lyhyellä aikavälillä. Tämä johtuu ihan yksinkertaisesti siitä, että ihminen voi toimia rekursiivisesti niin, että tieto, jonka pohjalta käyttäytymistä ennakoidaan, vaikuttaa ihmiseen.

Markkinoilla taas on kyse siitä, että informaatiota etsitään koko ajan niin kuumeisesti, että on lähes varmaa että jos joku "keksii" keinon päätellä jotain, sama informaatio on jo siinä vaiheessa näkyvissä hinnoissa.

Tämä ei tarkoita vielä mitään kovin kummallista. Rahoitusmarkkina on hyvä esimerkki myös siksi, että esimerkiksi osakkeiden hinnat voivat olla hyvin tasolla, jossa käytännössä kaikki ovat sitä mieltä, että ne tulevat siitä jossain vaiheessa alas, mutta riittävän monet eivät uskalla lyödä siitä vetoa, koska aikajänteeseen liittyvä epävarmuus on niin suurta.

Tehokkaiden markkinoiden hypoteesi ei siis tarkoita sitä, että markkinahinta on "oikea" missään sellaisessa vahvassa mielessä että se heijastelisi yhtään mitään fundamenttia, kuten parasta (Tai edes hyvää!) arvausta tulevasta tuotosta. Se tarkoittaa vain, että markkinahintaa vastaan veikkaaminen sisältää riskiä ja se riski on sitä suurempi, mitä enemmän veikkaa siitä poispäin, eli että ei ole ilmaista lounasta.

Tätä voi pitää tieteellisenä tosiasiana, ja siitä voi laatia ennustuksen: Keskimäärin kun ihmiset tekevät siirtoja markkinoilla perusteella "nyt veikkaan kuplaa vastaan", heidän tienesteissään on isohko määrä volatiliteettia suhteessa odotettaviin tuottoihin.