Saltar al contenido
Omnikalc

Prueba A/B: ¿cuántos visitantes y cuántos días?

Averigua el número de visitantes necesarios por variante para detectar un aumento dado de la tasa de conversión, y la duración de la prueba según tu tráfico.

Actualizado el
Tus datos
%

Valor fuera de rango

%

Valor fuera de rango

Tipo de contraste
%

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Resultados

Visitantes necesarios por variante

8158

Días necesarios con este tráfico

9

Visitantes en total
16.316
Tasa de conversión que detectar en la variante
6,00 %
Diferencia absoluta que detectar
1,00 %

Por qué importa el tamaño de muestra en una prueba A/B

Una prueba A/B compara una página de control (A) con una variante (B). Si se detiene demasiado pronto, puede señalar un falso ganador; si es demasiado pequeña, deja pasar una mejora real. Fijar el tamaño de muestra antes de la prueba resuelve ambos problemas e indica cuánto tiempo debe durar.

Los parámetros

  • Tasa de conversión actual: la del control, por ejemplo el 5 % de los visitantes que compran.
  • Efecto mínimo detectable (MDE): el aumento relativo más pequeño que merece la pena detectar, por ejemplo +20 % (del 5 al 6 %).
  • Nivel α: en general el 5 %, el riesgo de declarar un ganador que no lo es.
  • Potencia: en general el 80 %, la probabilidad de detectar el efecto si existe.

La fórmula

Para dos proporciones p₁ y p₂, con p̄ = (p₁ + p₂) ÷ 2, cada grupo debe contar con:

n = [z₁₋α/₂ √(2p̄(1 − p̄)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂))]² ÷ (p₂ − p₁)²

Ejemplo

Tasa actual del 5 %, MDE de +20 % relativo, α = 5 % bilateral, potencia del 80 %, 2000 visitantes por día repartidos entre dos variantes:

  • tasa objetivo: 6 %, es decir, 1 punto de diferencia absoluta;
  • 8158 visitantes por variante, 16.316 en total;
  • con 2000 visitantes por día: 9 días, que conviene redondear a 14 días para cubrir dos semanas completas.

Qué hace subir el tamaño

  • Un efecto más pequeño: dividir el MDE por dos multiplica el tamaño por cuatro aproximadamente. Detectar +10 % en lugar de +20 % exigiría aquí cerca de 31.000 visitantes por variante.
  • Una tasa de partida más baja: hacen falta más visitantes para el mismo aumento relativo.
  • Más variantes: el tráfico total aumenta, y hay que corregir las comparaciones múltiples (Bonferroni).

Buenas prácticas

  • No mires los resultados para parar en cuanto p < 0,05: esas miradas repetidas inflan los falsos positivos. Espera al tamaño previsto, o usa un método secuencial diseñado para la parada anticipada.
  • Mantén la prueba durante semanas enteras, porque los comportamientos difieren entre los días laborables y el fin de semana.
  • Elige el MDE según lo que esté en juego económicamente: ¿qué aumento justificaría desplegar el cambio?
  • Comprueba que el reparto del tráfico se ajusta al plan: un desequilibrio suele señalar un error.
  • En España y en la Unión Europea, la obtención del consentimiento para las cookies y otros rastreadores puede reducir la muestra medible: basa el tráfico en los visitantes realmente incluidos.

Al terminar la prueba, la calculadora de significación A/B da el valor p y el intervalo de confianza de la diferencia observada.

Preguntas frecuentes

¿Cuántos visitantes hacen falta para una prueba A/B?

Depende de la tasa de conversión de partida, del efecto mínimo que se quiere detectar, del nivel de significación y de la potencia.

¿Qué es el efecto mínimo detectable?

La mejora relativa más pequeña que la prueba puede detectar de forma fiable. Cuanto menor es, más tráfico hace falta.

¿Por qué una potencia del 80 %?

Es un compromiso habitual: un 80 % de probabilidad de detectar un efecto real sin una muestra desmesurada.

¿Se puede detener una prueba en cuanto parece significativa?

No. Mirar demasiado pronto infla los falsos positivos; llega hasta el tamaño previsto.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.