Pourquoi corriger les tests multiples
Chaque test au seuil de 5 % a 5 % de chances de donner un faux positif quand il n’y a aucun effet réel. Multipliez les tests et les faux positifs deviennent presque certains : avec 10 tests indépendants, la probabilité d’au moins un faux positif, le risque d’erreur global (FWER), vaut 1 − 0,95¹⁰ ≈ 40 %. C’est ainsi que des études qui testent de nombreux critères, sous-groupes ou gènes produisent de fausses « découvertes ».
Les corrections
- Bonferroni : testez chaque hypothèse au seuil α ÷ m, m étant le nombre de tests. De façon équivalente, multipliez chaque valeur p par m (plafonnée à 1) et comparez-la à α.
- Šidák : testez chaque hypothèse au seuil 1 − (1 − α)^(1/m). Exacte pour des tests indépendants, elle est très légèrement moins stricte que Bonferroni.
Les deux maintiennent le risque d’erreur global au plus à α.
Exemple
Vous réalisez 10 tests au seuil α = 0,05, et l’un d’eux donne p = 0,004 :
- seuil de Bonferroni : 0,05 ÷ 10 = 0,005 ; seuil de Šidák : 0,00512 ;
- sans correction, le risque global est de 40,1 %, et l’on attendrait 0,5 faux positif si aucun effet n’était réel ;
- la valeur p ajustée vaut 0,004 × 10 = 0,04, sous 0,05 : le résultat reste significatif après correction.
Une valeur p de 0,02, en revanche, serait significative isolément, mais plus après correction (p ajustée = 0,2).
La méthode de Holm, plus puissante
La procédure séquentielle de Holm contrôle aussi le risque global, mais rejette plus souvent :
- Triez les valeurs p de la plus petite à la plus grande.
- Comparez la plus petite à α ÷ m, la suivante à α ÷ (m − 1), et ainsi de suite.
- Arrêtez-vous à la première qui dépasse son seuil : elle et toutes les suivantes sont non significatives.
Hormis la simplicité, rien ne justifie de préférer Bonferroni à Holm.
Quand corriger, et quand s’en dispenser
- Corrigez quand un seul résultat significatif parmi plusieurs tests suffirait à conclure, du type « le traitement améliore au moins un critère ».
- Le critère principal, fixé à l’avance dans le protocole, est souvent testé sans correction ; les critères secondaires sont corrigés ou présentés comme exploratoires.
- Avec des centaines ou des milliers de tests, comme en génomique, contrôler le taux de fausses découvertes (Benjamini-Hochberg) est en général plus utile que le seuil très sévère de Bonferroni.
La correction a un prix : la perte de puissance. Plus on multiplie les tests, plus un effet doit être grand pour être détecté.