La dimensione dell'effetto, nota anche come efficacia dell'effetto, indica l'entità di un effetto empirico quantificabile con l'ausilio di parametri statistici e viene utilizzata per evidenziare la rilevanza pratica dei risultati dei test di verifica d'ipotesi. Esistono molteplici misure della dimensione dell'effetto.

Definizione Esistono diversi modi per misurare l'efficacia. Secondo lo psicologo Jacob Cohen, per misurare l'intensità dell'effetto dovrebbe valere quanto segue: si tratta di un numero adimensionale, non dipende dall'unità di misura dei dati di partenza,, a differenza dei test statistici di verifica di ipotesi, è indipendente dalla numerosità del campione e il suo valore dovrebbe tendere a zero quando non è stata rifiutata l'ipotesi nulla del test statistico rilevato.

Esempio Si confronti il quoziente di intelligenza dei bambini che sono stati istruiti secondo un nuovo metodo con quello dei bambini che sono stati istruiti secondo il metodo tradizionale. Se in ognuno dei due campioni è stato registrato un numero molto elevato di bambini, anche differenze di soli 0,1 punti di QI tra i due gruppi possono diventare significative. Tuttavia, nonostante un risultato significativo del test, una differenza di 0,1 punti di QI non comporta quasi nessun miglioramento.

Basandosi esclusivamente sulla significatività (valore p) del risultato, si potrebbe concludere che il nuovo metodo produce un miglioramento delle prestazioni intellettuali e che il vecchio metodo didattico dovrebbe essere abolito anche a fronte di un costo potenzialmente elevato, sebbene l'effetto effettivamente ottenuto – un aumento di 0,1 punti – difficilmente potrebbe giustificare tale spesa.

Utilizzo nella ricerca La dimensione dell'effetto indica negli esperimenti scientifici (in particolare in medicina, scienze sociali e psicologia), l'entità dell'influenza di un fattore sperimentale. Nei modelli di regressione, funge da indicatore dell'influenza di una variabile sulla variabile spiegata. Gli effetti vengono calcolati nelle meta-analisi per poter comparare i risultati di diversi studi in un'unità di misura uniforme, che è appunto la dimensione dell'effetto.

Essa può essere calcolata dopo uno studio per poter confrontare le differenze tra gruppi eterogenei in una misura standardizzata.

Tuttavia, può anche essere utile stabilire una dimensione minima-soglia critica dell'effetto prima di eseguire uno studio o un test di ipotesi. Supponiamo che sia stato condotto un esperimento con un fattore che ha un effetto molto limitato sul parametro studiato. Un successivo test statistico basato su un campione molto ampio sarà comunque molto probabilmente significativo. Il conseguente rifiuto dell'ipotesi nulla potrebbe indurre a ritenere che il fattore studiato abbia un significato pratico. Tuttavia, la piccola dimensione dell'effetto indica che non è così.

Significatività statistica Nell'applicazione pratica dei test statistici, un valore p basso è spesso associato a un alto potere (forza) dell'effetto. È vero che, mantenendo invariati gli altri parametri di un di test di ipotesi (dimensione del campione, livello di significatività scelto, selettività-potere richiestiProbabilità di rilevare un effetto (ovvero di rifiutare l'ipotesi nulla) dato che un effetto prestabilito esiste utilizzando un determinato test di ipotesi in un determinato contesto.), un valore p più basso è associato a una maggiore potere dell'effetto. Tuttavia, questo è solo la probabilità di errore e il suo valore concreto dipende dal test di ipotesi specifico (o dalle distribuzioni sottostanti) e dalla dimensione del campione (campioni più grandi generano sistematicamente valori p più piccoli), quindi non è significativo per i confronti tra i risultati di test diversi o campioni di dimensioni diverse. Ci si aspetta però che una misura dell'efficacia possa essere utilizzata in modo significativo per tali confronti.

È possibile, ad esempio nell'esecuzione di una meta-analisi, determinare un'efficacia associata da una certa probabilità di errore, se la dimensione del campione è nota. Un test statistico consiste essenzialmente nel verificare, sulla base di una distribuzione campionaria specifica (preferibilmente non centrale) per il test di ipotesi utilizzato (ad esempio nel test F per un'analisi della varianza o nel test t) per verificare se il valore empirico della statistica sia plausibile (o non plausibile), supponendo che una specifica ipotesi nulla da verificare sia corretta. Dalla probabilità di errore data, dalle informazioni sulla dimensione del campione e da altri parametri necessari della distribuzione scelta, è quindi possibile calcolare la forza dell'effetto associato al risultato del test. Allo stesso modo, un livello di significatività fissato può essere utilizzato per fornire una stima della forza minima dell'effetto necessaria perché il livello di significatività prescelto possa essere mantenuto per una data dimensione del campione.

Nella teoria dei test di Fisher, il valore p può rappresentare una dimensione dell'effetto, poiché un valore p basso viene interpretato come un'alta probabilità che l'ipotesi di ricerca sia vera. Tuttavia, a causa della standardizzazione delle statistiche di test, aumentando la dimensione del campione è possibile “rendere” significativo qualsiasi effetto. Secondo Neyman-Pearson, tuttavia, occorre tenere conto del fatto che l'accettazione dell'ipotesi di ricerca comporta sempre il rifiuto dell'ipotesi nulla. Un risultato che diventa altamente significativo nell'ipotesi nulla può essere ancora più improbabile nell'ipotesi di ricerca, poiché la selettività si riduce drasticamente. Il valore p non è quindi adatto come grandezza dell'effetto, poiché l'effetto nell'ipotesi di ricerca può essere troppo piccolo per avere un significato pratico.

Indici di misura dell'efficacia Il coefficiente di correlazione di Bravais-Pearson r è uno degli indici più utilizzati e più antichi per misurare l'efficacia dell'effetto nei modelli di regressione. Esso soddisfa in modo naturale i requisiti stabiliti da Cohen per l'efficacia dell'effetto.

Secondo Cohen , indica un effetto piccolo, un effetto medio e un effetto forte. In alternativa è possibile utilizzare il coefficiente di determinazione .

d di Cohen La d di CohenJ. Cohen: Statistical Power Analysis for the Behavioral Sciences, 2a ed., Lawrence Erlbaum Associates, Hillsdale 1988, ISBN 0-8058-0283-5. è la dimensione dell'effetto per le differenze di media tra due gruppi con uguale dimensione e uguale varianza e aiuta a valutare la rilevanza pratica di una differenza significativa di media (vedi anche t-test):

Come stimatore per gruppi di uguale dimensione e varianze diverse, Cohen ha utilizzato

dove rappresenta la media dei due campioni e rappresenta le varianze stimate dei due campioni secondo l'equazione

Secondo Cohen, un valore compreso tra 0,2 e 0,5 indica un effetto lieve, un valore compreso tra 0,5 e 0,8 indica un effetto medio, mentre un valore superiore a 0,8 indica un effetto forte.

Dimensioni dei gruppi disomogenee e varianze dei gruppi Altri autori diversi da Cohen stimano la deviazione standard utilizzando la varianza dei (meta)dati aggregatiJ. Hartung, G. Knapp, B. K. Sinha: Statistical Meta-Analysis with Application. Wiley, New Jersey 2008, ISBN 978-0-470-29089-7. calcolata come:

con

Conversione in r Se l'appartenenza a un campione viene codificata con zero e all'altro con uno, è possibile calcolare un coefficiente di correlazione. Esso risulta da Cohen d come: .

A differenza del di Cohen, il coefficiente di correlazione ha un limite superiore pari a 1. Cohen ha suggerito di parlare di effetto debole a partire da r=0,10, di effetto medio a partire da r=0,30 e di effetto forte a partire da r=0,50. A seconda del contesto, questa classificazione è stata nel frattempo rivista. Per la psicologia, ad esempio, è stato dimostrato empiricamente che r=0,05 corrisponde a un effetto molto piccolo, r=0,10 a un effetto piccolo, r=0,20 a un effetto medio, r=0,30 a un effetto grande e r≥0,40 a un effetto molto grande.<ref name="funder19">D. C. Funder, & D. J. Ozer, Evaluating Effect Size in Psychological Research: Sense and Nonsense', in Advances in Methods and Practices in Psychological Science, vol. 2, 2019, pp. 156–168. </ref>

Δ di Glass Nel 1976 Gene V. Glass propose di utilizzare solo la deviazione standard del secondo gruppo:

Il secondo gruppo è considerato qui come gruppo di controllo. Se si effettuano confronti con più gruppi sperimentali, è preferibile stimare dal gruppo di controllo, in modo che la dimensione dell'effetto non dipenda dalle varianze stimate dei gruppi sperimentali. Tuttavia, ipotizzando varianze disuguali nei due gruppi, la varianza aggregataLa varianza aggregata (o pooled variance, Sp2) è una stima della varianza di una popolazione, calcolata combinando le varianze di due o più campioni, assumendo che provengano dalla stessa popolazione con la stessa deviazione standard è lo stimatore più opportuno.

g di Hedges Nel 1981 Larry Hedges propose un'ulteriore modifica.L. V. Hedges, Distribution theory for Glass's estimator of effect size and related estimators, in: Journal of Educational Statistics. 6, (2) 1981, pp. 107–128. Si tratta dello stesso approccio utilizzato da Cohen per il suo d, con una correzione della deviazione standard aggregata. Purtroppo, la terminologia è spesso imprecisa. Inizialmente anche questa forza dell'effetto corretta veniva chiamata d.Comparison of groups with different sample size (Cohen's d, Hedges' g) – Spiegazione e calcolo della 'g di Hedges</ref> La d di Cohen e la g di Hedges sono in gran parte comparabili, ma la modifica di Hedges è considerata più soggetta a errori.Henriette Reinecke, Klinische Relevanz der therapeutischen Reduktion von chronischen nicht tumorbedingten Schmerzen, Logos Verlag, Berlin 2010, p. 49. In particolare, la g di Hedges non fornisce stime attendibili per campioni di piccole dimensioni, ma può essere corretto.Markus Bühner, Matthias Ziegler, Statistik für Psychologen und Sozialwissenschaftler, Pearson Deutschland, 2009, p. 175. La g di Hedges può essere utile quando le dimensioni dei campioni sono diverse.Paul D. Ellis, The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results, Cambridge University Press, 2010, p. 10.

La g di Hedges viene calcolato come segue:

e

fornisce una stima distorta dell'effetto.

Una stima non distorta g* si ottiene mediante la seguente correzione:Jürgen Margraf. Kosten und Nutzen der Psychotherapie. Eine kritische Literaturauswertung, 2009, p. 15.

e

fornisce uno stimatore non distorto, più adatto al calcolo degli intervalli di confidenza dell'efficacia dell'effetto dei molteplici campioni rispetto alla d di Cohen, che stima l'efficacia dell'effetto nella popolazione.

f2 di Cohen La f2 di Cohens è una misura dell'efficacia nell'ambito dell'analisi della varianza o del test F e dell'analisi di regressione.

Analisi di regressione La dimensione dell'effetto f2 è calcolata come segue:

con il coefficiente di determinazione con tutte le variabili del modello di regressione e senza la variabile da testare. Se interessa solo l'effetto combinato di tutte le variabili, la formula sopra riportata si riduce a

Secondo Cohen, indica un effetto lieve, un effetto medio e un effetto forte.

Test F o analisi della varianza La dimensione dell'efetto f per k gruppi si calcola come:

con lo stimatore per la deviazione standard dei singoli gruppi.

Secondo Cohen, indica un effetto lieve, un effetto medio e un effetto forte.

Eta quadrato parziale La dimensione dell'effetto può essere indicata anche tramite l'eta quadrato parziale. Il calcolo viene effettuato come segue: