Pourquoi la taille d’échantillon compte dans un test A/B
Un test A/B compare une page de contrôle (A) à une variante (B). Arrêté trop tôt, il risque de désigner un faux gagnant ; trop petit, il laisse passer une vraie amélioration. Fixer la taille d’échantillon avant le test règle ces deux problèmes et indique combien de temps il doit durer.
Les paramètres
- Taux de conversion actuel : celui du contrôle, par exemple 5 % des visiteurs qui achètent.
- Effet minimal détectable (MDE) : la plus petite hausse relative qui vaut la peine d’être détectée, par exemple +20 % (de 5 à 6 %).
- Seuil α : en général 5 %, le risque de déclarer un gagnant qui n’en est pas un.
- Puissance : en général 80 %, la probabilité de détecter l’effet s’il existe.
La formule
Pour deux proportions p₁ et p₂, avec p̄ = (p₁ + p₂) ÷ 2, chaque groupe doit compter :
n = [z₁₋α/₂ √(2p̄(1 − p̄)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂))]² ÷ (p₂ − p₁)²
Exemple
Taux actuel de 5 %, MDE de +20 % relatifs, α = 5 % en bilatéral, puissance de 80 %, 2 000 visiteurs par jour répartis entre deux variantes :
- taux visé : 6 %, soit 1 point d’écart absolu ;
- 8 158 visiteurs par variante, 16 316 au total ;
- à 2 000 visiteurs par jour : 9 jours, à arrondir à 14 jours pour couvrir deux semaines complètes.
Ce qui fait grimper l’effectif
- Un effet plus petit : diviser le MDE par deux multiplie l’effectif par quatre environ. Détecter +10 % au lieu de +20 % demanderait ici près de 31 000 visiteurs par variante.
- Un taux de base plus faible : il faut plus de visiteurs pour la même hausse relative.
- Plus de variantes : le trafic total augmente, et il faut corriger les comparaisons multiples (Bonferroni).
Bonnes pratiques
- Ne regardez pas les résultats pour arrêter dès que p < 0,05 : ces coups d’œil répétés gonflent les faux positifs. Attendez l’effectif prévu, ou utilisez une méthode séquentielle conçue pour l’arrêt anticipé.
- Faites tourner le test sur des semaines entières, car les comportements diffèrent entre semaine et week-end.
- Choisissez le MDE selon l’enjeu économique : quelle hausse justifierait de déployer la modification ?
- Vérifiez que la répartition du trafic est conforme au plan : un déséquilibre signale souvent un bug.
- En France, le recueil du consentement aux traceurs (cookies) peut réduire l’échantillon mesurable : basez le trafic sur les visiteurs réellement inclus.
À la fin du test, le calculateur de significativité A/B donne la valeur p et l’intervalle de confiance de l’écart observé.