Sama data, eri tulokset – Nature-tutkimus osoittaa analyysivalintojen vaikutuksen

Uusi Nature-lehdessä julkaistu kansainvälinen tutkimus osoittaa, että yhteiskunta- ja käyttäytymistieteiden tutkimustulokset voivat vaihdella sen mukaan, miten samaa tutkimusaineistoa analysoidaan. Tutkimuksessa toisistaan riippumattomat tutkijat eri puolilta maailmaa tarkastelivat samoja aineistoja ja samaa tutkimuskysymystä, mutta päätyivät osittain erilaisiin tuloksiin.

Tutkimus on osa Systematizing Confidence in Open Research and Evidence (SCORE) -ohjelmaa, jossa analysoitiin uudelleen 100 aiemmin julkaistua yhteiskunta- ja käyttäytymistieteellistä tutkimusta. Yksittäisistä uudelleenanalyyseistä 74 prosenttia päätyi samaan johtopäätökseen kuin alkuperäinen tutkimus. Sen sijaan vain 34 prosentissa tutkimuksista kaikki samaa aineistoa analysoineet tutkijat päätyivät alkuperäisen tutkimuksen kanssa samaan johtopäätökseen.

Tutkimuksen tulokset osoittivat, että analyysivalinnat, kuten datan puhdistus, muuttujien määrittely ja tilastolliset menetelmät, voivat vaikuttaa lopputulokseen merkittävästi. Havainnoivat tutkimukset näyttivät olevan kokeellisia tutkimuksia herkempiä analyysivalintojen vaikutuksille, vaikka vaihtelua esiintyi molemmissa tutkimustyypeissä.

”Tämän tutkimuksen viesti ei ole se, että julkaistut tieteelliset tutkimustulokset pitäisi hylätä. Olennaisempaa on ymmärtää, että yksi tapa analysoida tutkimusaineistoa ei aina kerro koko kuvaa. Mitä tärkeämpi tutkimuskysymys on tieteellisesti tai yhteiskunnallisesti, sitä enemmän tarvitaan avoimuutta, robustiustestausta ja vaihtoehtoisten analyysien testaamista ennen kuin tutkimustuloksista tehdään johtopäätöksiä”, kertoo tutkimuksessa mukana ollut LAB-ammattikorkeakoulun asiantuntija ja LUT-yliopiston vieraileva tutkija Lasse Torkkeli.

Tutkimus viittaa siihen, että erityisesti silloin, kun tutkimuskysymyksillä on laajaa tieteellistä tai yhteiskunnallista merkitystä, tuloksia olisi syytä tarkastella useilla analyysitavoilla ja varmistaa niitä useamman tutkijan voimin.

Tutkimus täydentää viime vuosien keskustelua tieteen luotettavuudesta ja niin sanotusta replikaatiokriisistä. Se korostaa avoimuuden, datan jakamisen ja vaihtoehtoisten analyysien näkyväksi tekemisen merkitystä sekä tutkijoille että tutkimustietoa päätöksenteossa hyödyntäville toimijoille.