¿Ganó de verdad la variante B?
En un test A/B se reparte el tráfico entre dos versiones de una página, un correo o un anuncio y se cuentan las conversiones de cada una. Casi siempre una versión convierte algo más que la otra, pero eso no significa que sea mejor: con muestras limitadas, el azar también produce diferencias. La calculadora aplica un contraste z de dos proporciones para decirte si la diferencia es estadísticamente significativa.
Las fórmulas
Tasa de conversión = conversiones ÷ visitas
Proporción conjunta p = (conversiones A + conversiones B) ÷ (visitas A + visitas B)
z = (tasa B − tasa A) ÷ √(p × (1 − p) × (1 ÷ visitas A + 1 ÷ visitas B))
El valor p bilateral es la probabilidad de observar una diferencia tan grande o mayor si las dos versiones fueran en realidad iguales.
Ejemplo resuelto
La versión A recibe 10.000 visitas y consigue 200 conversiones, un 2 %. La versión B, con otras 10.000 visitas, consigue 245, un 2,45 %. La mejora relativa es del 22,5 %, la puntuación z es de 2,16 y el valor p, de 0,031. Con un nivel de confianza del 95 %, la diferencia es significativa. El intervalo de la diferencia va de 0,04 a 0,86 puntos: B es mejor, pero la ganancia real puede ser pequeña.
Buenas prácticas
- Decide de antemano el tamaño de muestra o la duración, y no pares el test en cuanto el resultado te guste.
- Deja correr al menos una o dos semanas completas para recoger el comportamiento de todos los días de la semana.
- Cambia una sola cosa por test si quieres saber qué ha producido la diferencia.
- Desconfía de las mejoras espectaculares con pocas conversiones: suelen reducirse al repetir el test.
Significativo no siempre es importante
Con millones de visitas, una diferencia de una centésima de punto puede salir significativa sin tener ningún interés para el negocio. Mira también el intervalo de la diferencia y pregúntate si la mejora mínima compensa el coste del cambio.
Privacidad
En la Unión Europea, medir conversiones con cookies de analítica o de publicidad exige el consentimiento del usuario según el RGPD y la normativa de cookies. Las visitas que rechazan las cookies no aparecen en el recuento, así que tu muestra puede no representar a todos los visitantes.