Por qué importa el tamaño de muestra en una prueba A/B
Una prueba A/B compara una página de control (A) con una variante (B). Si se detiene demasiado pronto, puede señalar un falso ganador; si es demasiado pequeña, deja pasar una mejora real. Fijar el tamaño de muestra antes de la prueba resuelve ambos problemas e indica cuánto tiempo debe durar.
Los parámetros
- Tasa de conversión actual: la del control, por ejemplo el 5 % de los visitantes que compran.
- Efecto mínimo detectable (MDE): el aumento relativo más pequeño que merece la pena detectar, por ejemplo +20 % (del 5 al 6 %).
- Nivel α: en general el 5 %, el riesgo de declarar un ganador que no lo es.
- Potencia: en general el 80 %, la probabilidad de detectar el efecto si existe.
La fórmula
Para dos proporciones p₁ y p₂, con p̄ = (p₁ + p₂) ÷ 2, cada grupo debe contar con:
n = [z₁₋α/₂ √(2p̄(1 − p̄)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂))]² ÷ (p₂ − p₁)²
Ejemplo
Tasa actual del 5 %, MDE de +20 % relativo, α = 5 % bilateral, potencia del 80 %, 2000 visitantes por día repartidos entre dos variantes:
- tasa objetivo: 6 %, es decir, 1 punto de diferencia absoluta;
- 8158 visitantes por variante, 16.316 en total;
- con 2000 visitantes por día: 9 días, que conviene redondear a 14 días para cubrir dos semanas completas.
Qué hace subir el tamaño
- Un efecto más pequeño: dividir el MDE por dos multiplica el tamaño por cuatro aproximadamente. Detectar +10 % en lugar de +20 % exigiría aquí cerca de 31.000 visitantes por variante.
- Una tasa de partida más baja: hacen falta más visitantes para el mismo aumento relativo.
- Más variantes: el tráfico total aumenta, y hay que corregir las comparaciones múltiples (Bonferroni).
Buenas prácticas
- No mires los resultados para parar en cuanto p < 0,05: esas miradas repetidas inflan los falsos positivos. Espera al tamaño previsto, o usa un método secuencial diseñado para la parada anticipada.
- Mantén la prueba durante semanas enteras, porque los comportamientos difieren entre los días laborables y el fin de semana.
- Elige el MDE según lo que esté en juego económicamente: ¿qué aumento justificaría desplegar el cambio?
- Comprueba que el reparto del tráfico se ajusta al plan: un desequilibrio suele señalar un error.
- En España y en la Unión Europea, la obtención del consentimiento para las cookies y otros rastreadores puede reducir la muestra medible: basa el tráfico en los visitantes realmente incluidos.
Al terminar la prueba, la calculadora de significación A/B da el valor p y el intervalo de confianza de la diferencia observada.