Reproducerbarhet av p-värden: en simuleringsstudie

Abstract

Det här kandidatarbetet studerar reproducerbarhet av vetenskapliga studier. Ämnet är viktigt eftersom det har framkommit att många studier inte är reproducerbara och således att forskningsresultat kan vara felaktiga. En orsak till icke-reproducerbara studier ¨ar bias. Bias kan vara medveten då forskare manipulerar sin forskning i syfte att bli publicerad eller kan vara omedveten som följd av att forskaren har en förutfattad mening av vad resultatet ska bli i en studie. För att få en översikt av problemet simulerades ett flertal studier för att representera ett forskningsfält. En studie i det här arbetet representeras av ett p-värde som är antingen signifikant eller inte signifikant. I det här arbetet används en signifikansnivå α = 0.05 för att bestämma om ett p-värde är signifikant. I en studie kan stickprovet komma från fördelningen för nollhypotesen eller den alternativa hypotesen. Det antas genomgående i texten vara känt vilken fördelning stickprovet kommer ifrån. Detta på grund av att en viktig del av arbetet är att undersöka om det går att härleda om H0 eller H1 föreligger i en studie. De hypoteser som använts i arbetet är H0 := stickprovet kommer från N(0,52) H1 := stickprovet kommer från N(1,52) Genom grafiska framställningar undersöks studierna, det vill säga pH-värdena. Först undersöks fördelningarna av p-värdena under H0 respektive H1. Därefter implementerades en metod för medveten bias i syfte att undersöka påverkan av medveten bias på ett forskningsfält. Slutligen kombineras p-värdena under H0 och H1 både med och utan medveten bias för att kunna göra en mer realistisk bild av verklighetstillståndet. Den andra formen av bias, omedveten bias, har undersökts med hjälp av det så kallade positiva prediktiva värdet (PPV). PPV ¨ar sannolikheten att H1 föreligger givet att ett signifikant p-värde erhållits. Detta arbete betraktade proportionen av studier med omedveten bias som känd. Användningen av bland annat dessa metoder resulterade i grafiska framställningar och tabeller som visar på en tydlig skillnad mellan fallen då bias förekommer och då det inte förekommer. Resultaten i simuleringen har även jämförts med en verklig studie och bekräftar resultaten av arbetet. Slutsatsen av de grafiska representationerna av forskningsfält ¨ar att det till exempel går att utröna att medveten bias förekommit inom ett forskningsfält. En vidare slutsats ¨ar att PPV påverkas negativt av båda formerna av bias och antalet studier med signifikanta p-värden kommer att öka då studier är biased inom ett forskningsfält.