Låter ett forskningsresultat lite för bra för att vara sant? Då är det mycket möjligt att det är så. De senaste åren har en växande rörelse inom forskarvärlden präglats av ”the replication crisis” och ”the open science problem”. Det handlar bland annat om forskning, ofta samhällsvetenskaplig, men också inom andra fack, som inte gått att styrka genom försök att återupprepa resultaten.
Det handlar också om att forskningen i flera fall bekostas av skattemedel eller donationer, bara för att sedan låsas in bakom betalväggar hos de vetenskapliga tidskrifterna där forskningen publiceras. En del av dessa frågor tas upp i journalisten Hanne Kjöllers nya bok ”Kris i forskningsfrågan – eller vad fan får vi för pengarna?”, men de tas också löpande upp av andra forskare runt om i världen och vid Lunds universitet.
”Vem kontrollerar att jag inte räknar fel?”
Burak Tunca är universitetslektor i företagsekonomi på Ekonomihögskolan. Han är kritisk mot flera av de faktorer som allmänheten och journalister ofta tar som garanter för att den publicerade forskningen är tillförlitlig.
– En högt rankad och prestigefull tidskrift vill främst publicera nya och spännande rön. En replikeringsstudie är sällan intressant för dem, säger han och fortsätter:
– Många, kanske särskilt journalister, tar peer-review som en garant för att det är god forskning. Men peer-reviewers framför främst teoretiska resonemang och begär sällan att få titta på datan bakom studien. Det förvånade mig redan som doktorand: vem kontrollerar att jag inte räknar fel? Svaret blev: ingen.
Kända konsumtionsstudier replikerade inte
I två kommande vetenskapliga artiklar testar Burak Tunca med medförfattare två kända konsumtionsstudier. Den ena visade att kvinnor med kläder och väskor från lyxmärken signalerar att deras partner är hängiven just dem – och därmed skyddar kvinnan sitt förhållande från konkurrerande kvinnor. Den andra studien visade att folk anser att konsumtionen av större portioner (av t.ex. hamburgare och kaffe) signalerar hög status. Gemensamt för de båda originalstudierna är att de fått mycket uppmärksamhet i media.
– Särskilt studien om portionsstorlekar har haft stort inflytande och nått många människor. Dess innehåll var ju sådant att det kunde få betydelse för såväl policy som marknadsföring i frågor om fetma, säger Burak Tunca.
Han och hans kollegor ansträngde sig för att inte låta förförståelse eller konfirmationsbias färga replikeringsstudien. De förregisterade sina teorier och metoder och sökte förhålla sig så neutrala som möjligt inför vad de skulle hitta.
– Men det visade sig alltså att vi inte lyckades replikera de här kända studierna. Vi fick inte fram samma starka samband, varken med lyxstudien eller portionstudien. Däremot har vi andra studier som vi jobbar på nu, där resultaten replikerar. Så det går inte att säga att det aldrig händer. Dock är det fortfarande ovanligt, särskilt inom företagsekonomi, att man gör sådana här studier. Inom andra delar av samhällsvetenskapen, som psykologi och kognitionsvetenskap, har det blivit mycket vanligare, säger han och fortsätter:
– Vi forskare vet att en del studier inte replikerar, men allmänheten hör sällan talas om det eftersom att en ”misslyckad” studie inte har samma nyhetsvärde.
Kan leda till att forskningen blir bättre
Ett känt exempel är det så kallad ”marshmallow-testet” som tidigare ansågs visa att förmågan hos barn att skjuta upp belöningar (vill du äta din marshmallow nu, eller senare) har betydelse för fortsatt framgång i livet. Men när studien återupprepades testade forskarna även om barnens sociala klasstillhörighet hade betydelse – och det hade den, så pass att sambandet mellan uppskjuten belöning och framgång senare i livet mer eller mindre försvann.
Burak Tunca är noga med att påpeka att han inte menar att de tidigare nämnda studierna är felaktiga, men däremot att mer forskning behövs. Varför gick de inte att replikera? Har till exempel något i vår kultur förändrats sedan originalstudierna gjordes för x antal år sedan?
– Och det är viktigt att skilja på själva forskningsarbetet och människorna här. Vi pekar inte ut någon enskild forskare, utan vi säger att det behövs forskas mer. Vi är alla människor. Vi gör misstag och med feedback kan de leda till något positivt, till att forskningen blir bättre. Det är allt, säger han.
Samtidigt är replikeringsstudier inget som premieras i forskningsvärlden, enligt Burak Tunca.
– Vilka incitament finns för forskarna i att göra sin data eller analys transparent? Det som är bra för forskningen är inte nödvändigtvis bra för forskaren. Är replikeringsforskning bra för min karriär? Nej. Det är inte tillräckligt överraskande och originella för topptidskrifterna att publicera, säger han.
Burak Tunca menar att det hos många finns en felaktig föreställning om att replikeringsstudier skulle vara lättare än annan forskning.
– Som forskare i en replikeringsstudie behöver du många olika kompetenser. Du behöver räkna på komplexa dataurval, olika sorters statistiska metoder och du måste verkligen förhålla dig neutral och metodologiskt noggrann. Folk måste kunna lita på att du gjorde en korrekt replikering.
Hopp inför framtiden
Burak Tunca forskar också om marknadsföring, ofta med digitalt fokus, och om konsumtion. Han ställer retoriskt frågan: ”Vilket universitet i Sverige är mest transparent med sin forskningsdata och sina resultat?” I mitt huvud är det blankt. Han nickar i Zoom-samtalet på min skärm.
– Det kan ge universitet en ny edge. Det är en marknadsföringsnisch som är ledig och som skulle kunna ge Lunds universitet, eller något annat universitet, en konkurrensmässig fördel.
Samtidigt som Burak Tunca är kritisk mot hur forskning bedrivs, har han stort hopp inför framtiden.
– Det pågår en rörelse inom open science och open acess. Särskilt många unga forskare tycker att det här är självklart. För visst blir det också ett löjligt system där allmänheten betalar dubbelt för forskningen – först genom att ge forskarna lön, sedan för att betala för tillgång till tidskrifterna.
Sedan några år tillbaka är Burak Tuncas alla tidsskriftsartiklar tillgängliga genom open acess. Och han förregistrerar alltid sina studier.
– Vetenskaplig forskning är det bästa vi har för att driva vårt samhälle framåt. Men vi behöver bli bättre för att vara säkra på att det är tillförlitlig forskning som vi förser samhället med.
Forskningsprocessen bakom artiklar i vetenskapliga tidskrifter är som en svart låda, enligt Burak Tunca: de är prydliga och välputsade; tillrättalagda.
– Hittade du inte det du letade efter, så kanske du ändrar din hypotes och fokuserar på något annat, något som du hittade. Men det kan lika gärna vara en lyckoträff att du hittade det du hittade.
Några av de nya studierna som nämns i artikeln
Samtliga länkar leder till externa webbplatser.
