sunnuntai 7. syyskuuta 2014

Skeptical Science, osa 3,5 – 97 prosenttista huijausta

Käsittelin aiemmin Skeptical Scienceläisten paperia Cook et al (2013), jonka mukaan 97% ilmastotieteen parissa julkaistuista tutkimuspapereista on heidän kanssaan samaa mieltä.

Siinä siis joukko Skeptical Scienceläisiä kävi läpi reilujen 12 000 tiedepaperin abstraktit ja yritti niiden pohjalta kartoittaa kuinka moni näistä oli virallisen konsensuksen takana, eli että viime aikojen ilmaston muutoksista vastuussa olisi pääasiassa ihminen.

Piakkoin sosiaalipsykologian tohtoriksi väittelevä tutkija José Duarte on perehtynyt Cook et al:iin hyvin perusteellisesti ja on tullut erittän tylyyn tulokseen: hän on esittänyt Environmental Research Letters:lle koko paperin peruuttamista.

Duarten perustelu on hyvin pitkä, mutta ehdottomasti lukemisen arvoinen jos kokee Skeptical Scienceläiset hyväksi lähteeksi, tai muuten antaa heidän vaikuttaa omiin mielipiteisiinsä mistään. Referoin tekstin tässä heille jotka eivät jaksa kahlata moista megaeeposta lävitse.

Paperissa oli useita pahoja ongelmia, joista kukin olisi Duarten mukaan jo yksinään hyvä peruste paperin pois vetämiseksi.


1) Katselmoitujen papereiden joukossa oli papereita, jotka he väittivät rajanneensa pois.

Cook et al:n mukaan yhteiskuntatieteiden ja kasvatustieteiden alan paperit, kuten myös mielipidekyselyt, rajattiin pois konsensuksesta. Todellisuudessa näin ei kuitenkaan tehty. Kyseisessä paperissa konsensukseen laskettiin kuuluvaksi paitsi yhteiskuntatieteiden ja psykologian tutkimukset, myös markkinoinnin tutkimukset.

Näihin kuuluvat tutkimukset kuten:

Chowdhury, M. S. H., Koike, M., Akther, S., & Miah, D. (2011). Biomass fuel use, burning technique and reasons for the denial of improved cooking stoves by Forest User Groups of Rema-Kalenga Wildlife Sanctuary, Bangladesh. International Journal of Sustainable Development & World Ecology, 18(1), 88–97. 
Boykoff, M. T. (2008). Lost in translation? United States television news coverage of anthropogenic climate change, 1995–2004. Climatic Change, 86(1-2), 1–11.
Duarte kertoo löytäneensä Cook et al (2013):n paperilistauksesta vaivaisella kymmenen minuutin katselmoinnilla 19 paperia jotka kuuluvat tähän kategoriaan. Nämä kaikki laskettiin osaksi ilmastokonsensusta.

Eli väitteistään huolimatta he eivät rajoittaneet katselmointiaan vain ilmastotutkimuksen kanssa tekemisissä oleviin papereihin. Oliko tämä vahinko? Tuskin, sillä Cook toteaa:
Second, I've been rating social science papers about climate change as Methods.
Kyseessä ei siis ole edes lipsahdus, jossa vahingossa väärän kategorian papereita joutui joukkoon. He tietoisesti ja järjestelmällisesti ottivat mukaan papereita jotka he olivat rajanneet pois.


2) He jättivät pois runsaasti skeptikoiden papereita paitsi rajaamalla hakunsa surkeasti, myös selittämättömistä syistä.


Esimerkiksi he jättivät pois kaikki Richard Lindzenin vuoden 1997 jälkeen julkaisemat paperit – joita on viisikymmentä. Esimerkkeinä tutkimuksista jotka jostain syystä jätettiin pois ovat seuraavat:
Lindzen, R. S. (2002). Do deep ocean temperature records verify models? Geophysical Research Letters, 29(8), 1254. 
Lindzen, R. S., Chou, M. D., & Hou, A. Y. (2001). Does the earth have an adaptive infrared iris? Bulletin of the American Meteorological Society, 82(3), 417–432. 
Lindzen, R. S., & Giannitsis, C. (2002). Reconciling observations of global temperature change. Geophysical Research Letters, 29(12), 1583. 
Spencer, R. W. (2007). How serious is the global warming threat? Society, 44(5), 45–50.
Skeptical Scienceläiset jostain syystä jättivät tarkastelematta käytännössä kaikkien tunnettujen skeptisten tiedemiesten (Lindzen, Spencer, Pielke jne.) tutkimukset aiheen tiimoilta. Duarte selittää asian näin:
Heidän hakunsa oli suorastaan pökerryttävää epäpätevyydessään. He etsivät Web of Science:stä papereita joiden aihepiiriksi oli merkattu "global warming" ja "global climate change". He käyttivät fraasien ympärillä lainausmerkkejä, joten mukaan hyväksyttiin vain nuo täsmälliset fraasit. Tuolla tavalla tulosjoukosta rajaantuu pois iso osa skeptikoiden papereista. 
Arvatkaapa minkälaiset paperit tuppaavat käyttämään fraasia "global warming" avainsanana? Mihin suuntaan luulette että tuollaiset paperit kallistuvat? Eikö kukaan miettinyt tätä? ...
Tämä ei kuitenkaan selitä yllä olevan Spencerin paperin pois jättämistä.

3) Luokittelukategoriat olivat epäsymmetriset, kallistuen ilmastonmuutosalarmismin eduksi.

Skeptical Scienceläiset loivat useita kategorioita tyyliin "paperi olettaa ihmisen olevan pääasiallinen ilmastonmuutoksen aiheuttaja". Kuitenkin heiltä puuttui kokonaan vastaavat skeptiset kategoriat, kuten "olettaa ettei ihminen ole pääasiallinen ilmastonmuutoksen aiheuttaja". Jälkimmäisen kategorian puuttuessa siihen kuuluvat listattiin "ei kantaa" -kategoriaan. Esimerkkinä ilmastotutkija Judith Curryn:
Curry, J. A., Webster, P. J., & Holland, G. J. (2006). Mixing politics and science in testing the hypothesis that greenhouse warming is causing a global increase in hurricane intensity. Bulletin of the American Meteorological Society, 87(8), 1025–1037.
Tämä epäsymmetria johtaa vääjäämättä uskovien ja skeptisten papereiden suhteen vääristymiseen.


4) Tutkimuspapereiden joukossa oli runsaasti satunnaisia tekniikan alan papereita.

Nämä paperit mainitsivat ilmastonmuutoksen vain ohimennen, keskittyen jonkin teknisen projektin toteutukseen.

Esimerkiksi:
Tran, T. H. Y., Haije, W. G., Longo, V., Kessels, W. M. M., & Schoonman, J. (2011). Plasma-enhanced atomic layer deposition of titania on alumina for its potential use as a hydrogen-selective membrane. Journal of Membrane Science, 378(1), 438–443.
Tämäkin paperi laskettiin kuuluvaksi 97%:n konsensukseen. Duarte:
Joukossa on paljon tällaisia tekniikan alan papereita. Ne on yleensä kategorisoitu luokkaan "ilmastonmuutoksen torjuminen". Useimmat tällaiset "ilmastonmuutoksen torjumiseen" keskittyvät paperit eivät sisällä tietoa, dataa tai löydöksiä ilmastonmuutoksesta, ilmastosta, tai edes ympäristöstä. Skeptical Scienceläisten paperilistassa on paljon enemmän tällaisia papereita, kuin varsinaisia ilmastotutkimuspapereita.
Usein pelkkä ilmastonmuutoksen mainitseminen sai aikaan paperin luokittelun osaksi ilmastonmuutoskonsensusta. Duarte kysyykin aiheellisesti mikä on tämän luokittelun skeptinen vastakohta? Jos pelkkä hiilidioksidin tai ilmastonmuutoksen mainitseminen riittää leimaamaan tutkimuksen osaksi konsensusta, ovatko kaikki ne tutkimukset jotka eivät mainitse ilmastonmuutosta tai hiilidioksidia skeptikkopapereita? Olivat tai eivät, ne ovat joka tapauksessa rajattu paperilistasta pois sillä ne eivät sisällä fraaseja "global warming" tai "global climate change".


5) Skeptical Scienceläisten paperissa väitettiin käytetyn itsenäisiä arvioijia.

Kuten Cook et al (2013) toteaa:
Each abstract was categorized by two independent, anonymized raters.
Kyseisten arvioijien "itsenäisyys" on nähtävissä tässä, tässä ja tässä Skeptical Scienceläisten foorumivuodossa paljastuneessa keskustelussa. Eli "itsenäiset" arvioijat keskustelivat avoimesti luokittelukriteereistä ja papereista. Eräs arvioija yritti jopa ravitsella toisiin jonkinlaista moraalia, jääden kuitenkin huomiotta:
Giving the objective to being as close to double blind in methodology as possible, isn't in inappropriate to discuss papers on the forum until all the ratings are complete?
Tai vielä herkullisempaa tässä:
But, this is clearly not an independent poll, nor really a statistical exercise. We are just assisting in the effort to apply defined criteria to the abstracts with the goal of classifying them as objectively as possible. Disagreements arise because neither the criteria nor the abstracts can be 100% precise. We have already gone down the path of trying to reach a consensus through the discussions of particular cases. From the start we would never be able to claim that ratings were done by independent, unbiased, or random people anyhow.
Kuitenkin he väittivät juuri näin.


6) Tutkimuspapereiden kirjoittajat eivät muka olleet arvostelijoiden tiedossa.

Cook et al väittää etteivät papereita luokittelemassa olevat henkilöt saaneet tietoonsa tutkimusten kirjoittajia – puolueettomuuden varmistamiseksi:
Abstracts were randomly distributed via a web-based system to raters with only the title and abstract visible. All other information such as author names and affiliations, journal and publishing date were hidden. 
Skeptical Scienceläisten vuotanut foorumi paljastaa jotain ihan muuta. Foorumilla arvostelijat selvittävät aktiivisesti papereiden kirjoittajia:
I was mystified by the ambiguity of the abstract, with the author wanting his skeptical cake and eating it too. I thought, "that smells like Lindzen" and had to peek.
Yksi keskustelija julistaa omaavansa pääsyn Science -julkaisuun ja voivansa antaa minkä tahansa paperin sitä tarvitsevalle. Myöhemmin hän lähettää arvioijalle yhden paperin, paljastaen tälle paitsi paperin sisällön, myös sen tekijät.

Eräs kommentoija paljastaa yhden tutkimuksen tekijän todeten:
It's a bad translation. The author, Francis Meunier, is very much pro alternative / green energy sources.
Paperin päämies John Cook auttaa arvioijia muodostamaan mielipidettään näin:
FYI, here are all papers in our database by the author Wayne Evans:
Yksi arvioija jopa linkitti Sourcewatch -nettisivulle paljastaakseen kaikille paperin tekijän, kommentoiden:
Note the usual suspects listed in the above link.
Tämä käytös toistuu uudelleen ja uudelleen. Osallistujat linkittivät toistuvasti papereihin, paljastaen niiden tekijöiden henkilöllisyyden.


7) Puolueellisuus

Foorumilta paljastuu myös Skeptical Scienceläisille tyypillinen fanaattinen militanttius, jossa jokainen linjasta lipeävä paperi tai tiedemies leimataan häpeilemättä korruptoituneeksi denialistiksi. Duarte:
Minua ällistytti kuinka usein tekijät puhuivat "denialisteista" kun he viittasivat tiedemiehiin. He tuntuivat kuvittelevan että jokaisen tutkimuspaperin tekijät jotka eivät olleet selkeästi ihmisen aiheuttaman lämpenemisen kannalla tai väheksyivät sen vaikutusta, olivat denialisteja. Esimerkkinä Cook: "Definitely, we'll show information about the # of denier authors vs endorsement authors."
Tällainen ideologinen fanatismi suorastaan räiskyi foorumilla, tehden tämänkaltaisen puolueettomuutta vaativan katselmoinnin täysin mahdottomaksi.
He tuntuivat olevan vakuuttuneita siitä että jokainen heidän kanssaan eri mieltä oleva oli "denialisti" ja että maailma oli rajattu ainoastaan heidän kiihkeän ideologiseen leiriinsä ja "denialisteihin". He keskustelivat miten hallita medianäkyvyyttä ja leimasivat "denialisteiksi" jo ennalta kaikki jotka heidän katselmointiaan tulisivat arvostelemaan. 


Johtopäätöksiä

Duarte:
Kun tieteellinen paperi kuvailee metodeitaan virheellisesti, se on vedettävä pois. He kuvailivat metodeitaan väärin useita kertoja, useissa yhteyksissä. Heidän kuvailemansa metodit ovat kriittisiä kun käytetään ihmisiä tekemään subjektiivisia arvioita – jos näitä metodeja ei käytetä on koko tutkimus mitätön.  ...
Cook et al (2013):n tekijöillä ei ole suoraselkäisyyttä tai osaamista toimia tieteellisten tutkimusten arvioijina poliittisessa lemmikkiaiheessaan, ja heidät on pidettävä mahdollisimman kaukana tieteellisistä julkaisuista. He eivät ymmärrä tietoteorian perusteita, tai mikä on laskettavissa todisteeksi ihmisen aiheuttamaksi ilmastonmuutokseksi. ...
Epäilenpä että monet teistä, jotka ovat yrittäneet puolustella tätä paperia, olette vain hypänneet väärään junaan. En usko että tarkoituksenanne oli päätyä tänne. Se oli vahinko. Luulitte hyppäävänne tiedejunaan. Kuvittelitte että nämä henkilöt –– Cook, Nuccitelli, Lewandowsky –– olivat tiedejoukkoa ja että vastapuoli oli tiedevastaisia "denialisteja". Toivottavasti on nyt selvää ettei tämä ollut tiedejuna. Tämä oli ihan eri juna. Nämä ihmiset välittävät paljon vähemmän tieteestä kuin he välittävät politiikasta. He ovat valmiita tekemään aivan pöyristyttäviä, uskomattomia asioita saadakseen poliittisia pisteitä.
Olen vieläkin ällistynyt siitä mitä he tekivät, että he tekivät sen tahallaan, että se julkaistiin ja että me elämme maailmassa jossa ihmiset voivat tosiaankin julkaista tällaisia ilmiselviä huijauksia tiedejulkaisuissa.
Jos olet hypännyt tähän junaan, joudut nyt puolustamaan sitä että poliittiset aktivistit arvioivat tieteellisiä abstrakteja heidän aktivisminsa alueella ja miten he kykenevät sitä kautta synnyttämään haluamiaan tuloksia. Sinun pitää puolustaa ihmisiä jotka laskevat psykologian tutkimukset tieteelliseksi todisteeksi ilmastonmuutoksen ihmisvaikutuksesta. Sinun pitää puolustaa heidän vääriä väitteitään heidän käyttämistään metodeista. Väitteiden vääryys ei ole mielipidekysymys –- väitteet olivat yksinkertaisia ja ne olivat vääriä.
Sinun täytyy myös puolustaa kataluutta, epärehellisyyttä, pöyristyttävää vihaa ja pahaa tahtoa sopivana suhtautumisena toisinajattelijoihin.

Duarten kielikuvaa jatkaakseni totean Cook et al (2013):sta vieläkin argumenttiensa perusteena käyttäville: hypätkää pois siitä junasta ennen kuin tuhoatte uskottavuutenne. Se ei ole voittava juna.

Jos se olisi, tämänkaltaiseen suurta mediahuomiota saavuttaneisiin huijauksiin ei olisi tarvetta.