Tämä on sinänsä aivan normaalia, mutta kolme asiaa hämmästytti minua suuresti. Ensiksikin, arvio, joka oli liitteenä, oli täynnä todella pahoja asiavirheitä. Arvioija oli esimerkiksi sekoittanut viittaamamme paperin johonkin toiseen, ja väitti ettei paperi edes puhu lainkaan asiasta, jota käsittelimme. Toiseksi, arvioija totesi lopuksi, että vaikka teoria, jonka paperissa esitimme, sattuisikin olemaan oikea (mitä se on; todistus oli oikein, eikä arvio siihen edes puuttunut), se on täysin turha, koska on olemassa toinen teoria, joka on olennaisesti vahvempi ja oikeaksi osoitettu. Arvioija siis ei ymmärtänyt edes loogisten väittämien vahvuuden merkitystä, vaan kuvitteli sen menevän eri suuntaan. Kolmanneksi, paperimme ei edes käsitellyt heuristiikkaa, vaan oli puhtaasti teoriapaperi, ja sanoimme tämän alussa. Esitimme paperissamme toki yhden esimerkin siitä, millaisessa tilanteessa teoria on informatiivisempi kuin aikaisempi. Tähän taas kommentoitiin esittämällä, että "menetelmä näyttää soveltuvan vain yhteen erityistapaukseen", vaikka mitään menetelmää ei edes esitetty.
Dear Dr. Xxxxxx,
First of all, I am sorry for the long delay for the decision about your
submission. One of my reviewers failed in delivering a review.
The review I received is however quite negative, as you will see. Moreover,
I trust his judgement well enough, so I won't request another opinion.
My own opinion about your submission is that it does not match well the scope of XXX.
Presenting heuristics can be an interesting topic, but should provide strong evidence
(e.g. experiments or qualitative estimations).
Therefore I cannot recommend publication of the paper and have to reject it now
Pidän vertaisarviointiprosessia lähes pyhänä asiana. En vihastu omasta puolestani - petyin toki siihen, ettei paperia julkaista, mutta olen tottunut saamaan hylkäyksiä - vaan suuttumukseni perustuu siihen, että joku oli rikkonut tätä pyhää instituutiota vastaan. Arvioija ei ole tehnyt työtään kunnolla. Tämä ei yllätä sinänsä, enkä oikeastaan sitä mitenkään paheksukaan. Sensijaan tämä lainaus arvion lopusta sai vereni kiehumaan:
In short, the original partial order definitions are not broken, and the purposed new definition is very similar to someEli suomeksi: Arvioijan mielestä teoriaa ei pidä kehittää eteenpäin, koska edellinen teoria oli "oikea". ja ehto jota onnistuimme heikentämään olikin "koko pointti".
existing ones, except for some omitting of a condition which is the whole point of the partial order reduction
12 kommenttia:
Mitä aiot tehdä asialle? Toivottavasti et ainakaan pelkästään hautomaan asiaa tutkijankammioosi? Tuollainen tunari ansaitsee kunnollisen nolaamisen.
No, episodi ei itseasiassa päättynyt tähän. Höyryä päästelläkseni lähetin eräälle kanssakirjoittajalleni hieman tulikivenkatkuisen viestin, jossa latelin erinäisiä totuuksia siitä, mitä ajattelin arviosta.
Tämä puolestaan vastasi samansävyisellä viestillä, mutta teki sellaisen pienen freudilaisen lipsahduksen, että lähetti liekityksen cc:nä myös lehden editorille.
Olin pakotettu sitten kirjoittamaan editorille asiallisemman vastineen, jossa esitin pahoitteluni siitä, että hän joutui vastaanottamaan yksityiseksi tarkoitettuja viestejä. Lisäksi kirjoitin asiallisen ja eritellyn analyysin arviosta ja sen puutteista. Odotan toistaiseksi, mitä editori tähän vastaa. Ongelmana on tietysti se, että hän on jo ilmaissut "luottavansa" arvioijaan, joten arvovaltasyistä hän todennäköisesti ei tee asialle mitään.
Kyllä paperissa todennäköisesti on jotain sellaisia puutteita, joiden perusteella sen hylkääminen oli ihan asianmukainen ratkaisu. Kirjoitinkin editorille, etten missään nimessä vaadi tai edes pyydä päätöksen kumoamista, vaan ainoastaan toivon että tämä "asiantuntija" saa asianmukaisen palautteen.
Referee systeemin heikkous on siinä, että jos paperin kirjoittaja on riittävän arvovaltainen voi heikohkokin paperi läpäistä seulan. Toisaalta, jos arvovaltainen henkilö on refereenä hän voi torpata hyvänkin tutkimuksen arvovallala
No tätähän ei varmaan voi tapahtua jossain muussa tieteenalassa? Ei nyt tule mieleen yhtään sellaista alaa, jota on pidetty erehtymättömänä, mutta kunhan kysyin.
Kumis: tietenkin näin voi tapahtua missä tahansa tieteessä. Tässä ei kuitenkaan ole kyse mistään "julkaisuseinästä" tai bias-ilmiöstä, vaan yksinkertaisesti yhdestä törtöstä arvioijasta, joka ei ole ymmärtänyt kontribuutiotamme, tuskin edes lukenut paperia.
Paperin hylkäys ei siis tässä perustu mihinkään salaliittoon, mihinkään paradigman suojelemiseen, vaan yksinkertaisesti typeryyteen tai vaihtoehtoisesti (ja mitä pidän itseasiassa todennäköisempänä) laiskuuteen.
Toki laiskuuskin synnyttää ongelmia.
Jos minun ja tutkijatovereideni sähköpostiviestit, joita tämän tapauksen yhteydessä toisillemme kirjoitimme, olisivat "vuotaneet" julkisuuteen, niistäkin olisi voinut saada sellaisen käsityksen, että alalla on jokin salaliitto, jolla pyritään estämään systemaattisesti jonkin tuloksen julkaiseminen. Tästä ei kuitenkaan ole kysymys.
Aika poikkeuksellinen käytäntö, että "referee ei vastannut" ja yhden arvion perusteella tehtiin päätös, eikä annettu edes teille mahdollisuutta lähettää vastinetta.
Ei ole tullut minulle ikinä vastaan mitää samankaltaista. On pikemminkin sääntö kuin poikkeus, että refereelausunnoissa on yksi äärimmäisen tyly hylkäys ja minusta se prosessi mikä sen jälkeen käydään tärkeä osa sitä "pyhyyttä" mihin viittaat.
Toivottavasti saatte editorin edes lähettämään sen yhdelle uudelle refereelle. Ei tuo ole vertaisarviointia.
Editori ilmoitti, että päätös on lopullinen. En valita lehdelle tässä vaiheessa. Julkaisen muualla ja teen sen jälkeen asiasta julkisen.
Ehkä tässä tuo arvioija oli juurikin alan suurimpia guruja, ja hänen torppauksensa riitti.
Tämä on arviointijärjestelmän suurin heikkous.
Heh,
hauska puoli tässä on, että suppeasti ymmärrettynä tämän alan suurin guru on itseasiassa esimieheni, jonka mielestä kontribuutio olisi ollut mielenkiintoinen. Se vähä, mitä menetelmään olen nyt parin vuoden aikana perehtynyt, niin voisin väittää, että maailmasta löytyy kymmenkunta todella rautaista asiantuntijaa, ja oma asiantuntemukseni ei jää näistä paljoakaan jälkeen. (Laajemmin kyllä, aivan varmasti, mutta näissä nimenomaisissa kysymyksissä ei)
En valita lehdelle tässä vaiheessa. Julkaisen muualla ja teen sen jälkeen asiasta julkisen.
Ei käy! "Asiantuntijan" ja editorin toiminta ovat molemmat niin syvältä, että oikeustajuni vaatii toimenpiteitä just eikä melkein.
Juhis,
tottakai aion valittaa tästä asiasta lehdelle jatkossa. Aion vain julkaista tulokseni ensin jossakin muualla ja tehdä asiasta täysin julkisen vasta jälkikäteen niin, että nämä tyypit saavat osansa.
Jos nyt siteeraan tässä Wrath of Khania (joka siteeraa muka klingoneita, mutta tosiasiassa jotain ranskalaista kirjailijaa vuosisatojen takaa) Revenge is a dish best served cold.
(Tähän kohtaan maanista naurua ja kissan silitystä)
Syy sille, miksi haluan toimia näin on, että haluan varmistua, etten ole itse erehtynyt. En usko olevani, tietenkään, olen henkilökohtaisella tasolla täysin varma siitä, että olen oikeassa.
Mutta tällä hetkellä minkäänlainen rutiseminen olisi vain minun oman arvovaltani asettamista editorin ja tämän "asiantuntijan" arvovaltaa vastaan. Näillä asioilla on tapana ratketa "diplomaattisesti" sellaisissa tilanteissa, eli lopputulos olisi, että paperista löydettäisiin jotain muuta vikaa, ja arvioijan näkemys olisi "oikeutettu", ja minut esitetty turhana rutisijana. Olen nähnyt tällaisen prosessin kerran aiemmin vierestä, paperista, jonka kontribuutio oli vähintään yhtä kova kuin tässä. Paperi kyllä lopulta julkaistiin, mutta missään vaiheessa tylyttänyttä ja epärehellistä arvioijaa ei edes identifioitu, ja toimitus puolusti tämän näkemystä loppuun saakka. Siinä tapauksessa oli sentään toinen arvio, joka oli positiivinen. Tässä ei ole mitään sellaista, joten en lähde tässä vaiheessa vänkäämään. Arvovaltataistelut häviäisin joka tapauksessa.
Lähetä kommentti