De toename van de kans op toevallige significante resultaten bij het toetsen van meerdere hypotheses

Abstract

Er is een hoge prevalentie van p-waardes net onder het significantieniveau (Brodeur, Lé, Sangnier & Zylberberg, 2016; De Winter & Dodou, 2014; Lakens, 2015; Masicampo & Lalande, 2012). Eerdere onderzoeken hebben geprobeerd dit fenomeen te verklaren (Gerber & Malhotra, 2008; Ioannidis, 2005; Simmons, Nelson & Simonsohn, 2011). In onderstaand onderzoek ligt de focus op de inflatie van de type 1 fout wanneer meerdere hypotheses gelijktijdig worden getoetst. Dit is onderzocht aan de hand van data gesimuleerd uit een populatie waar geen correlatie aanwezig is. Tevens is data gesimuleerd uit een populatie waar een kleine, irrelevante correlatie van .1 aanwezig is. Tijdens de analyses zijn verschillende aantallen respondenten gebruikt en een verschillend aantal variabelen. De resultaten die uit de analyses naar voren kwamen zijn dat de kans op ten minste één significant resultaat, wanneer geen correlatie in de populatie aanwezig is, groeit wanneer meer variabelen worden getoetst. Wanneer er een irrelevantie correlatie van .1 aanwezig is, groeit deze kans sneller. Het aantal significante resultaten bij een correlatie van 0 blijft beperkt tot 1 à 2 op de 28 significante resultaten, terwijl het bij een populatie met een correlatie van .1 kan gaan om 1 op de 4 significante resultaten. Conclusie is dat een correctie, zoals de Bonferronicorrectie, gebruikt moet worden bij het toetsen van meerdere hypotheses om het onderzoek meer betrouwbaar en valide te maken.