On vaikea väittää tieteen voimaa vastaan. Tutkimuksista, joissa arvioidaan uusinta ruokavaliotrendiä, kokeisiin, jotka valaisevat onnellisuuden ennustajia, ihmiset ovat alkaneet tarkastella yhä enemmän tieteellisiä tuloksia konkreettisina, luotettavina tosiasioina, jotka voivat hallita sitä, miten ajattelemme ja toimimme.
Asiaan liittyvä sisältö
- Tutkijat toistivat 100 psykologian tutkimusta, ja vähemmän kuin puolet saivat samat tulokset
Mutta viime vuosien aikana kasvava tiedemiesten joukko on alkanut kyseenalaistaa julkaistujen tutkimusten hyväksyttävyyttä - jopa sen jälkeen kun se on poistettu vertaisarvioinnin esteistä ja ilmestynyt laajalti arvostetuissa lehdissä. Ongelma on leviävä kyvyttömyys toistaa suuri osa tuloksista useilla tieteenaloilla.
Esimerkiksi vuonna 2005 Stanfordin yliopiston lääketieteen professori John Ioannidis käytti useita simulaatioita osoittaakseen, että tieteelliset väitteet ovat todennäköisemmin vääriä kuin totta. Ja viime kesänä Virginian yliopiston psykologian professori Brian Nosek yritti toistaa sadan psykologiatutkimuksen havainnot ja havaitsi, että vain 39 prosenttia tuloksista pidettiin tiukassa uudelleentestauksessa.
"On olemassa useita todistuslinjoja, sekä teoreettisia että empiirisiä, jotka ovat alkaneet asettaa kyseenalaiseksi merkittävän tieteellisen kirjallisuuden segmentin toistettavuuden", Ioannidis sanoo. "Saamme miljoonia papereita, jotka eivät mene minnekään."
Nämä alustavat havainnot ovat synnyttäneet täysin uuden kentän, nimeltään meta-tutkimus - tieteen tieteellinen tutkimus.
Tällä viikolla voittoa tavoittelematon kustantaja- ja asianajajajärjestö Public Public Science of PLOS (PLOS) aloitti uuden osion, joka on omistettu yksinomaan metatutkimukselle. Osassa tutkitaan muun muassa tutkimuksen avoimuutta, metodologisia standardeja, puolueellisuuksien lähteitä, tiedon jakamista, rahoitusta ja kannustinrakenteita.
Asioiden käynnistämiseksi Ioannidis ja hänen kollegansa arvioivat satunnaisen otoksen 441 biolääketieteellisestä artikkelista, jotka on julkaistu vuosina 2000–2014. He tarkistivat, tarjosivatko nämä julkaisut julkisen pääsyn raakatietoihin ja kokeellisiin protokolliin, toistettiinko ne myöhemmissä tutkimuksissa, oliko niiden tulokset integroitu systemaattisiin aihealueen katsaukset ja sisälsi dokumentointi rahoituslähteistä ja muista mahdollisista eturistiriidoista.
Niiden tulokset olivat vähintäänkin huolestuttavia. Esimerkiksi vain yhdessä tutkimuksessa saatiin täydet kokeelliset protokollat ja nolla-tutkimuksissa saatiin suoraan saatavilla olevaa raakadataa.
"Nämä ovat toistettavuuden kaksi peruspilaria", Ioannidis sanoo. ”Ellei tietoja ja täydellistä protokollaa ole saatavilla, mitään ei voida toistaa oikein.” Kuinka lopulta ilman tätä avaintietoa toinen ryhmä tietää tarkalleen mitä tehdä ja miten niiden tulokset eroavat alkuperäisen kokeen tuloksista?
Ryhmä havaitsi myös, että vain kahdeksan tutkitun artikkelin väitteet vahvistettiin myöhemmin myöhemmissä tutkimuksissa. Ja vaikka monilla tutkimuksilla väitettiin olevan uusia tuloksia, myöhemmissä katsausartikkeleissa sisällytettiin vain 16 artikkelin tulokset, jotka toimivat lakmusauksena tutkimuksen todelliselle vaikutukselle tiettyyn aiheeseen.
"Saamamme numerot ovat melko pelottavia", sanoo Ioannidis. "Mutta voit nähdä sen lähtökohtana siihen, missä olemme nyt, ja parantamisen varaa on paljon."
Kaikki tulokset eivät kuitenkaan ollut rohkaisevia. Niiden artikkeleiden prosenttiosuus, joissa ei ole eturistiriitoja, laski 94, 4 prosentista vuonna 2000 34, 6 prosenttiin vuonna 2014 - todennäköisesti seurauksena kasvavasta tietoisuudesta puolueellisuuksien haitallisista vaikutuksista tutkimuksen tuloksiin.
Toisessa metatutkimuksessa saksalainen ryhmä analysoi, kuinka eläinkokeiden menetys prekliinisissä tutkimuksissa saattoi osaltaan vaikuttaa laajaan kyvyttömyyteen muuntaa laboratoriotuloksia hyödyllisiksi kliinisiksi lääkkeiksi.
Tutkimuseläimet saattavat kadota tutkimuksesta satunnaisesti - esimerkiksi siksi, että eläin kuoli - tai hienovaraisesti puolueellisten toimien avulla, kuten esimerkiksi poistettiin tutkimuksesta odotetuista tuloksista heikentävien tietojen poistamiseksi. Ryhmä osoitti, että eläinkohteiden puolueellinen poistaminen voi vääristää tuloksia ja lisätä väärin positiivisen todennäköisyyttä - kun uuden lääkkeen uskotaan toimivan, mutta ei todellakaan.
Aivohalvausta ja syöpää koskevissa prekliinisissä tutkimuksissa erillisessä analyysissä samat tutkijat havaitsivat, että useimmissa kirjoituksissa ei ilmoitettu riittävästi eläinpotilaiden menetyksiä ja että monien testattavien lääkkeiden positiiviset vaikutukset voidaan suuresti yliarvioida.
Joten miksi tämä avoimuuden ja toistettavuuden kriisi tapahtuu ensisijaisesti?
Vaikka jotkut asiat saattavat olla tietoisessa tai tajuttomassa tutkimusvirheessä, on todennäköistä, että useimmat julkaisut saavat tutkimukset ovat ainutlaatuisia johtuen tieteen nykyisestä kannustinrakenteesta.
Akateemisen yliopiston sydämen kurkkumaailmassa menestyksen ensisijainen mitta on tutkijoiden suorittamien tutkimusten lukumäärä arvostetuissa lehdissä. Seurauksena on, että tutkijat painostavat käyttävänsä suurimman osan ajastaan saadakseen sellaisia läpimurtotuloksia, jotka todennäköisimmin julkaistaan.
"Vaikka me arvostamme toistettavuutta käsitteessä, emme oikein arvosta sitä käytännössä", sanoo Nosek, joka on myös avoimen tieteen keskuksen, joka on voittoa tavoittelematon teknologiayritys, johtaja, joka pyrkii edistämään tieteellisen tutkimuksen läpinäkyvyyttä ja uusittavuutta.
”Todelliset kannustimet, jotka ajavat käyttäytymistäni tiedemiehenä, ovat innovointi, uusien löytöjen tekeminen ja uuden maan purkaminen - etten toista muiden tekemiä. Se on tieteen tylsää osaa. ”
Tutkijat näkevät myös vain vähän kannustimia tarjota tietoa, jota muut tarvitsevat toistaakseen työnsä, mikä on yksi ensisijaisista syistä, miksi niin monien tutkimusten väitteet pysyvät todentamatta.
"Minua ei palkita tietojen antamisesta tai metodologian täsmentämisestä perusteellisemmin kuin mitä tarvitaan julkaisuun pääsemiseksi", Nosek sanoo.
Monet lehdet pyytävät tutkijoita antamaan yksityiskohtaisen selityksen menetelmistään ja jakamaan tietoja, mutta näitä käytäntöjä pannaan täytäntöön vain harvoin, eikä yleisiä julkaisustandardeja ole.
”Jos tietäisin, että teillä ei koskaan tule olemaan poliisia, pysynkö aina nopeusrajoituksessa? Ei - se on ihmisluonto ”, sanoo Ivan Oransky, Retraction Watch -järjestön perustaja, joka edistää vastuuvelvollisuutta ja avoimuutta seuraamalla vetoomuksia tieteellisessä kirjallisuudessa. "Jos tiedät, että kukaan ei aio rankaista sinua, et aio jakaa tietoja."
Ne tiedemiehet, jotka haluavat tehdä replikointityötä ja pystyvät hankkimaan kokeellisia yksityiskohtia, eivät todennäköisesti löydä rahoitusta julkisilta virastoilta, kuten NIH: lta, jotka arvioivat pääasiassa avustushakemuksia uutuuden ja innovaatioiden perusteella.
"Kertoimet ovat selvästi replikointia vastaan", sanoo Ioannidis.
Siellä nouseva meta-tutkimuksen kenttä voi astua sisään. Organisaatiot, kuten avoimen tieteen keskus ja Stanfordin metatutkimuksen innovaatiokeskus (METRICS), pyrkivät auttamaan palkitsemisjärjestelmän uudelleensuuntaamisessa ja asettamaan tiukat yleiset standardit, jotka rohkaisevat laajempaa leviämistä avoimuuden ja toistettavuuden käytännöt.
"Jos rahoituksen taso tai promootio riippui siitä, mitä tapahtui aiemmalle tutkimuksellesi - jos se oli toistettavaa, jos ihmiset pystyvät siihen ymmärtämään, jos ihmiset voisivat kääntää sen jotain hyödyllistä sen sijaan, kuinka monta artikkelia olet julkaissut - se olisi erittäin vahva kannustin tutkimuksen muuttamiseen entistä kopioitavammaksi ”, sanoo METRICSin johtaja Ioannidis.
"Toivon, että indikaattorit paranevat", hän lisää. "Ja joillekin heistä ei ole muuta mahdollisuutta kuin mennä ylös, koska aloitamme nollasta."
