Pourquoi mesurer la taille d’effet
Une valeur p indique si une différence est probablement réelle ; elle ne dit pas si elle est grande. Avec suffisamment de données, des écarts insignifiants deviennent « significatifs ». La taille d’effet mesure l’ampleur de la différence, indépendamment de la taille de l’échantillon. Le d de Cohen est la mesure la plus utilisée pour comparer deux moyennes.
Les formules
- Écart type commun sp = √[((n₁ − 1)s₁² + (n₂ − 1)s₂²) ÷ (n₁ + n₂ − 2)]
- d de Cohen = (m₁ − m₂) ÷ sp
- g de Hedges = d × (1 − 3 ÷ (4(n₁ + n₂) − 9))
- Probabilité de supériorité = Φ(d ÷ √2)
- U3 de Cohen = Φ(d), la part du groupe 2 sous la moyenne du groupe 1
Exemple chiffré
Un programme d’entraînement : le groupe 1 obtient 105 en moyenne, le groupe 2 100, avec un écart type de 15 et 50 personnes dans chaque groupe.
- Écart type commun : 15.
- d = (105 − 100) ÷ 15 ≈ 0,33, un petit effet.
- g de Hedges ≈ 0,331.
- Probabilité de supériorité ≈ 59 % : une personne du groupe 1 tirée au hasard dépasse une personne du groupe 2 dans 59 % des cas.
- U3 ≈ 63 % du groupe 2 se situe sous la moyenne du groupe 1.
Les repères de Cohen
| d | Effet | Recouvrement des deux distributions |
|---|---|---|
| 0,2 | petit | environ 92 % |
| 0,5 | moyen | environ 80 % |
| 0,8 | grand | environ 69 % |
| 1,2 | très grand | environ 55 % |
Cohen proposait ces seuils faute de mieux. En éducation, un effet de 0,2 à 0,4 obtenu par un dispositif pédagogique est souvent jugé notable ; en médecine, c’est la pertinence clinique de l’écart qui compte.
À quoi sert le d de Cohen
- Comparer des études mesurées sur des échelles différentes : c’est la base des méta-analyses.
- Calculer un nombre de sujets : détecter d = 0,2 avec une puissance de 80 % au seuil de 5 % demande environ 394 personnes par groupe ; d = 0,5 environ 64 ; d = 0,8 environ 26.
- Rendre compte d’un résultat : de nombreuses revues demandent la taille d’effet en plus de la valeur p.
Précautions
- Le d de Cohen suppose des données à peu près normales et des écarts types voisins dans les deux groupes. Si les dispersions diffèrent beaucoup, le delta de Glass, qui utilise l’écart type du groupe témoin, est préférable.
- Pour des mesures appariées, avant et après sur les mêmes personnes, une autre formule, fondée sur l’écart type des différences, s’applique.