Ce qu’est une p-value
Un test statistique part d’une hypothèse nulle, le plus souvent « il n’y a pas d’effet » ou « il n’y a pas de différence ». La p-value est la probabilité d’obtenir un résultat au moins aussi extrême que celui observé si cette hypothèse nulle était vraie. Une p-value faible signifie que les données seraient surprenantes sous l’hypothèse nulle, ce qui constitue un indice contre elle. Le calculateur convertit une statistique de test z en p-value et la compare au seuil α choisi.
Les formules
Avec Φ la fonction de répartition de la loi normale centrée réduite :
- Bilatéral : p = 2 × (1 − Φ(|z|))
- Unilatéral à droite (on teste une hausse) : p = 1 − Φ(z)
- Unilatéral à gauche (on teste une baisse) : p = Φ(z)
- Valeur critique d’un test bilatéral : z* = Φ⁻¹(1 − α/2)
Le résultat est significatif quand p < α, ce qui revient à |z| > z*.
Exemple chiffré
L’évaluation d’une nouvelle méthode pédagogique donne une statistique z de 2,1. Vous aviez prévu un test bilatéral au seuil α = 0,05.
- Φ(2,1) = 0,98214.
- p = 2 × (1 − 0,98214) = 0,0357.
- 0,0357 < 0,05 : le résultat est statistiquement significatif, on rejette l’hypothèse nulle d’absence d’effet.
- De façon équivalente, |z| = 2,1 dépasse la valeur critique 1,96.
- Au seuil plus strict de 0,01, la valeur critique passe à 2,576 et le résultat ne serait plus significatif.
Statistique z et p-value
| z | p bilatérale | p unilatérale |
|---|---|---|
| 1,000 | 0,3173 | 0,1587 |
| 1,645 | 0,1000 | 0,0500 |
| 1,960 | 0,0500 | 0,0250 |
| 2,326 | 0,0200 | 0,0100 |
| 2,576 | 0,0100 | 0,0050 |
| 3,000 | 0,0027 | 0,0013 |
| 3,291 | 0,0010 | 0,0005 |
Unilatéral ou bilatéral
Choisissez un test bilatéral sauf si vous avez décidé, avant de recueillir les données, que seul un sens d’effet vous intéresse et qu’un effet dans l’autre sens serait traité comme une absence d’effet. Passer à un test unilatéral après avoir vu les résultats divise la p-value par deux : c’est une façon bien connue de fabriquer de la significativité.
Ce que la p-value n’est pas
La déclaration de l’American Statistical Association sur les p-values, publiée en 2016, rappelle plusieurs points essentiels :
- La p-value n’est pas la probabilité que l’hypothèse nulle soit vraie, ni la probabilité que le résultat soit dû au hasard.
- Le seuil de 0,05 est une convention, pas une loi de la nature : 0,049 et 0,051 apportent presque le même niveau de preuve.
- Significatif ne veut pas dire important : avec un échantillon assez grand, une différence minime devient significative. Indiquez toujours la taille de l’effet et son intervalle de confiance.
- Multiplier les tests et ne publier que ceux qui sont significatifs, le « p-hacking », produit de fausses découvertes. Il faut corriger pour les comparaisons multiples, par exemple avec la méthode de Bonferroni.
Pour les tests de Student sur de petits échantillons, les tests du khi-deux ou les tests F, utilisez la loi correspondante ; ce calculateur couvre les tests z et les approximations pour grands échantillons. Pour comparer deux taux de conversion, utilisez le calculateur de test A/B.