Por qué corregir las pruebas múltiples
Cada prueba al nivel del 5 % tiene un 5 % de probabilidades de dar un falso positivo cuando no hay ningún efecto real. Si se multiplican las pruebas, los falsos positivos se vuelven casi seguros: con 10 pruebas independientes, la probabilidad de al menos un falso positivo, el riesgo de error global (FWER), vale 1 − 0,95¹⁰ ≈ 40 %. Así es como los estudios que contrastan muchos criterios, subgrupos o genes producen falsos «descubrimientos».
Las correcciones
- Bonferroni: contrasta cada hipótesis al nivel α ÷ m, siendo m el número de pruebas. De forma equivalente, multiplica cada valor p por m (con tope en 1) y compáralo con α.
- Šidák: contrasta cada hipótesis al nivel 1 − (1 − α)^(1/m). Es exacta para pruebas independientes y es muy ligeramente menos estricta que Bonferroni.
Ambas mantienen el riesgo de error global como máximo en α.
Ejemplo
Realizas 10 pruebas al nivel α = 0,05, y una de ellas da p = 0,004:
- umbral de Bonferroni: 0,05 ÷ 10 = 0,005; umbral de Šidák: 0,00512;
- sin corrección, el riesgo global es del 40,1 %, y se esperaría 0,5 falsos positivos si no hubiera ningún efecto real;
- el valor p ajustado vale 0,004 × 10 = 0,04, por debajo de 0,05: el resultado sigue siendo significativo tras la corrección.
Un valor p de 0,02, en cambio, sería significativo de forma aislada, pero ya no tras la corrección (p ajustado = 0,2).
El método de Holm, más potente
El procedimiento secuencial de Holm también controla el riesgo global, pero rechaza más a menudo:
- Ordena los valores p de menor a mayor.
- Compara el menor con α ÷ m, el siguiente con α ÷ (m − 1), y así sucesivamente.
- Detente en el primero que supere su umbral: ese y todos los siguientes no son significativos.
Aparte de la sencillez, nada justifica preferir Bonferroni a Holm.
Cuándo corregir y cuándo no hace falta
- Corrige cuando un solo resultado significativo entre varias pruebas bastaría para concluir, del tipo «el tratamiento mejora al menos un criterio».
- El criterio principal, fijado de antemano en el protocolo, suele contrastarse sin corrección; los criterios secundarios se corrigen o se presentan como exploratorios.
- Con cientos o miles de pruebas, como en genómica, controlar la tasa de falsos descubrimientos (Benjamini-Hochberg) suele ser más útil que el umbral muy severo de Bonferroni.
La corrección tiene un precio: la pérdida de potencia. Cuantas más pruebas se multiplican, mayor debe ser un efecto para ser detectado.