En forskare måste publicera i vetenskapliga tidskrifter. Dessa har en benägenhet att föredra studier som visar på signifikanta resultat. Dessa signifikanser kommer genom p-värdet på en variabel. Det är detta som kallas tidskrifters signifikans-bias.
Det innebär att en forskare kör sitt material i ett statistikprogram. Får den signifikans på den variabel som dennes teori pekat ut, är allt frid och fröjd, och arbetet med artikeln kan fortsätta.
Men blir det inte ett p-värde under 0,05, då är variabeln inte signifikant, och tidskrifterna kommer att vara ointresserade. Därför fortsätter forskaren som fått insignifikans på sin variabel att fortsätta sitt analysarbete. Den kan försöka förändra variabeln, genom transformeringar eller genom att relatera den till någon annan variabel, dvs utföra en multiplikation eller division. Blir det då signifikans, fortsätter arbetet med artikeln.
Men blir det försatt insignifikanta resultat står forskaren inför ett moraliskt dilemma. Eftersom sådana studier har deduktionen som föredöme, att man har en teori som producerar en hypotes som testat genom att faktorerna i hypotesen operationaliseras till variabler, kan en korrekt studie endast genomföras där man testar de variabler som teorin pekat ut.
Men man kan köra hela datamaterialet på kors och tvärs, för att någonstans hitta en signifikans. Hittar man en signifikans, då vänder man på forskningslogiken och försöker hitta en teoretisk förklaring till signifikansen. När den är hittad, så skriver man sin artikel, men under sken att den är deduktiv, dvs att man började med teorin, som sedan testas. Medan man i själva verket gjort det motsatta, det som kallas induktion, att se mönster i ett material. Detta kallas HARKing, ‘Hypothesizing After the Results are Known’, dvs hypoteser efter att resultaten är kända.
Men signifikansjakten glömmer bort det som är det väsentliga, inte att variabeln är statistiskt signifikant, utan att effekten är signifikant, dvs att det statistiska sambandet har någon som helst betydelse.
Statistisk signifikans innebär att beta-värdet, dvs lutningen på linjen, inte sannolikt kan vara 0, dvs ingen lutning. Men en lutning, vilken som, men som är sannolikt skild från 0, är förvisso signifikant statistiskt sett, dvs lutningen är sannolikt inte 0, men lutningen kan vara utan betydelse. Det är här beta-värdet kommer in, dvs hur stor lutningen linjen har. För att något skall ha en betydelse, måste lutningen ha en betydelsefull lutning. Inte bara vara skild från 0.
Därför skall man inte stanna vid en signifikant variabel, utan fråga om beta-värdet spelar roll. En korrekt bedömning av en statistisk analys kräver därför att man först granskar p-värdet, för att se om det är statistiskt signifikant, och sedan granskar beta-värdet, för att se om det är betydelsefullt.
Det senare görs nästan aldrig. Därför finns det mycket forskning med signifikanta resultat som är insignifikanta, i betydelsen av att vara betydande.
Den 2 december 2021
Sven-Olof Yrjö Collin
Det innebär att en forskare kör sitt material i ett statistikprogram. Får den signifikans på den variabel som dennes teori pekat ut, är allt frid och fröjd, och arbetet med artikeln kan fortsätta.
Men blir det inte ett p-värde under 0,05, då är variabeln inte signifikant, och tidskrifterna kommer att vara ointresserade. Därför fortsätter forskaren som fått insignifikans på sin variabel att fortsätta sitt analysarbete. Den kan försöka förändra variabeln, genom transformeringar eller genom att relatera den till någon annan variabel, dvs utföra en multiplikation eller division. Blir det då signifikans, fortsätter arbetet med artikeln.
Men blir det försatt insignifikanta resultat står forskaren inför ett moraliskt dilemma. Eftersom sådana studier har deduktionen som föredöme, att man har en teori som producerar en hypotes som testat genom att faktorerna i hypotesen operationaliseras till variabler, kan en korrekt studie endast genomföras där man testar de variabler som teorin pekat ut.
Men man kan köra hela datamaterialet på kors och tvärs, för att någonstans hitta en signifikans. Hittar man en signifikans, då vänder man på forskningslogiken och försöker hitta en teoretisk förklaring till signifikansen. När den är hittad, så skriver man sin artikel, men under sken att den är deduktiv, dvs att man började med teorin, som sedan testas. Medan man i själva verket gjort det motsatta, det som kallas induktion, att se mönster i ett material. Detta kallas HARKing, ‘Hypothesizing After the Results are Known’, dvs hypoteser efter att resultaten är kända.
Men signifikansjakten glömmer bort det som är det väsentliga, inte att variabeln är statistiskt signifikant, utan att effekten är signifikant, dvs att det statistiska sambandet har någon som helst betydelse.
Statistisk signifikans innebär att beta-värdet, dvs lutningen på linjen, inte sannolikt kan vara 0, dvs ingen lutning. Men en lutning, vilken som, men som är sannolikt skild från 0, är förvisso signifikant statistiskt sett, dvs lutningen är sannolikt inte 0, men lutningen kan vara utan betydelse. Det är här beta-värdet kommer in, dvs hur stor lutningen linjen har. För att något skall ha en betydelse, måste lutningen ha en betydelsefull lutning. Inte bara vara skild från 0.
Därför skall man inte stanna vid en signifikant variabel, utan fråga om beta-värdet spelar roll. En korrekt bedömning av en statistisk analys kräver därför att man först granskar p-värdet, för att se om det är statistiskt signifikant, och sedan granskar beta-värdet, för att se om det är betydelsefullt.
Det senare görs nästan aldrig. Därför finns det mycket forskning med signifikanta resultat som är insignifikanta, i betydelsen av att vara betydande.
Den 2 december 2021
Sven-Olof Yrjö Collin
RSS-flöde
