En ny studie kan låta övertygande redan i rubriken: forskare har hittat en koppling, en behandling verkar lovande eller en ny teknik sägs förändra allt. Men en vetenskaplig studie är inte ett facit. Den är ett försök att besvara en avgränsad fråga med en viss metod, ett visst urval och en viss grad av osäkerhet.
Med några enkla kontrollfrågor går det att skilja ett robust resultat från en överdriven tolkning. Den här checklistan hjälper dig att läsa forskning mer kritiskt, oavsett om ämnet är medicin, teknik och AI, fysik eller något helt annat.
Börja med forskningsfrågan
Fråga först vad forskarna faktiskt försökte ta reda på. Handlar studien om att beskriva ett fenomen, hitta en statistisk koppling, testa en behandling eller förklara en mekanism? En tydlig forskningsfråga säger också något om vilka personer, platser eller mätningar som ingår.
Var uppmärksam på skillnaden mellan studiens fråga och rubriken i en nyhetsartikel. Forskare kan ha undersökt om två faktorer hänger ihop, medan rubriken antyder att den ena faktorn orsakar den andra. Läs därför gärna abstractets syfte och resultat innan du drar en egen slutsats.
Identifiera vilken typ av studie det är
Metoden avgör hur långt resultatet kan tolkas. Olika studiedesigner svarar på olika frågor och har olika svagheter.
Observationsstudier
I en observationsstudie följer forskarna vad som redan händer utan att själva bestämma vem som får en viss behandling eller exponering. Sådana studier är värdefulla när experiment vore opraktiska eller oetiska, men de kan sällan bevisa orsakssamband på egen hand. Skillnader mellan grupperna kan bero på andra faktorer som inte har mätts.
Randomiserade kontrollerade studier
Här lottas deltagarna vanligtvis till olika grupper. Randomiseringen minskar risken att grupperna skiljer sig åt redan från början och gör det lättare att bedöma en behandlingseffekt. Titta ändå på hur många som fullföljde studien, hur lång uppföljningen var och om resultatet gällde det förutbestämda utfallsmåttet.
Systematiska översikter och meta-analyser
En systematisk översikt sammanställer tidigare forskning enligt en beskriven sök- och urvalsmetod. En meta-analys går ett steg längre och räknar ihop resultat statistiskt. Det kan ge en stabilare helhetsbild, men kvaliteten blir aldrig bättre än studierna som ingår. Om de ursprungliga studierna är små, olika eller snedvridna följer osäkerheten med in i sammanställningen.
Preprints och pressmeddelanden
En preprint är ett manus som ännu inte har genomgått full fackgranskning. Det betyder inte att resultatet är fel, men att det ska behandlas som preliminärt. Ett pressmeddelande är dessutom en andrahandsbeskrivning och kan lyfta fram det mest uppseendeväckande resultatet. Den publicerade studien är den viktigaste källan.
Granska urvalet och sammanhanget
Fråga vilka som deltog och hur de valdes ut. Var deltagarna representativa för den grupp som slutsatsen påstår sig gälla? En studie på unga, friska personer kan till exempel inte automatiskt överföras till äldre personer med flera sjukdomar.
Även antalet deltagare spelar roll. Ett stort urval kan upptäcka små skillnader, medan ett litet urval kan ge osäkra uppskattningar. Kontrollera också bortfallet: om många deltagare lämnar studien kan de kvarvarande skilja sig från dem som började.
Skilj korrelation från orsakssamband
Att två saker uppträder samtidigt betyder inte att den ena orsakar den andra. Det kan finnas en tredje faktor som påverkar båda, eller så kan sambandet vara en tillfällighet. Exempelvis kan mer skärmtid och sämre sömn hänga ihop utan att en studie kan visa om skärmtiden orsakar sömnproblemen, om dålig sömn leder till mer skärmtid eller om något annat förklarar båda.
Leta efter ord som ”associerad med”, ”kopplad till” och ”förknippad med”. De är ofta mer försiktiga än ”leder till” eller ”orsakar”. För att styrka ett orsakssamband behövs vanligtvis en välplanerad experimentell studie och stöd från flera oberoende undersökningar.
Läs statistiken med två huvudfrågor
Är resultatet statistiskt signifikant?
Statistisk signifikans beskriver hur väl resultatet passar med en viss nollhypotes och en vald statistisk modell. Ett p-värde under en vanlig gräns som 0,05 betyder inte att hypotesen är bevisad och inte heller att resultatet är viktigt i praktiken. Ett mycket stort urval kan göra en liten och oviktig skillnad statistiskt signifikant.
Hur stor är effekten?
Titta på själva skillnaden, inte bara på om den passerar en gräns. En relativ ökning på 50 procent kan låta dramatisk, men om risken går från två till tre personer av hundra är den absoluta skillnaden en procentenhet. Be gärna om både relativa och absoluta mått.
Konfidensintervall visar hur osäker uppskattningen är. Ett smalt intervall tyder på större precision, medan ett brett intervall betyder att flera storlekar på effekten fortfarande är förenliga med data. Om intervallet innehåller både en liten positiv effekt och ingen effekt bör slutsatsen formuleras försiktigt.
Läs begränsningarna innan du läser slutsatsen
En bra studie redovisar vad den inte kan visa. Begränsningar kan handla om kort uppföljning, mätfel, få deltagare, bortfall eller att deltagarna inte representerar befolkningen i stort. De är inte ett tecken på att studien är värdelös; de hjälper dig att förstå hur långt resultatet kan generaliseras.
Kontrollera också om forskarna testade många utfall eller undergrupper. Ju fler analyser som görs, desto större blir risken att något ser positivt ut av slumpen. Förutbestämda utfall och en tydlig analysplan gör resultatet lättare att bedöma.
Vem finansierade studien och hur har den granskats?
Finansiering innebär inte automatiskt att resultatet är partiskt, men den är viktig information. Läs om forskarna uppger ekonomiska eller andra intressekonflikter och om rådata, analyskod eller protokoll finns tillgängliga.
Fackgranskning innebär att andra forskare har bedömt manuskriptet före publicering. Det är en kvalitetskontroll, inte en garanti för att allt är korrekt. Även en fackgranskad studie kan senare få kritik eller ändras när nya data tillkommer. Därför väger upprepade resultat från oberoende forskargrupper ofta tyngre än en enskild uppseendeväckande studie.
En snabb checklista för vardagen
- Vilken exakt fråga försökte studien besvara?
- Vilken studiedesign användes?
- Vilka deltog och hur stort var urvalet?
- Är resultatet en korrelation eller finns stöd för orsakssamband?
- Hur stor var effekten i absoluta tal?
- Hur brett är konfidensintervallet och hur stort var bortfallet?
- Vilka begränsningar nämner forskarna själva?
- Är studien fackgranskad, eller är det en preprint?
- Finns finansiering eller intressekonflikter som bör vägas in?
- Stöds resultatet av annan, oberoende forskning?
Det viktigaste är att läsa en studie som ett underlag för bättre frågor, inte som ett ensamt slutgiltigt svar. När du kombinerar forskningsfråga, metod, urval, effektstorlek och osäkerhet får du en betydligt mer rättvis bild av vad forskningen faktiskt säger – och vad den fortfarande inte kan säga.