La version B a-t-elle vraiment gagné ?
Dans un test A/B, on présente deux versions d’une page, d’un e-mail ou d’une publicité à deux groupes comparables de visiteurs, et l’on compare leurs taux de conversion. La version B fera presque toujours un peu mieux ou un peu moins bien par simple hasard. Toute la question est de savoir si l’écart est assez grand, compte tenu du nombre de visiteurs, pour être raisonnablement sûr qu’il est réel. Le calculateur réalise un test z de comparaison de deux proportions et donne les taux de conversion, le gain relatif, la p-value et un intervalle de confiance de l’écart.
Les formules
Avec n visiteurs et c conversions dans chaque groupe :
- Taux de conversion : p_A = c_A ÷ n_A et p_B = c_B ÷ n_B
- Taux commun : p = (c_A + c_B) ÷ (n_A + n_B)
- Erreur type : ET = √(p × (1 − p) × (1/n_A + 1/n_B))
- z = (p_B − p_A) ÷ ET, et la p-value bilatérale = 2 × (1 − Φ(|z|))
- Intervalle de confiance de l’écart : (p_B − p_A) ± z* × √(p_A(1 − p_A)/n_A + p_B(1 − p_B)/n_B)
Exemple chiffré
Une boutique en ligne teste un nouveau bouton de commande. Chaque version reçoit 10 000 visiteurs : A obtient 200 commandes (2,00 %), B en obtient 245 (2,45 %).
- Gain relatif : 2,45 ÷ 2,00 − 1 = +22,5 %.
- Taux commun : 445 ÷ 20 000 = 2,225 % ; erreur type : 0,209 point.
- z = 0,45 ÷ 0,209 = 2,16, d’où p = 0,031.
- À 95 % de confiance, l’écart est significatif. L’avantage réel de B se situe probablement entre +0,04 et +0,86 point : il est positif, mais peut-être bien plus faible que les 0,45 point observés.
Quel écart devient significatif
En gardant A à 200 conversions sur 10 000 :
| Conversions de B | Gain relatif | P-value |
|---|---|---|
| 210 | +5,0 % | 0,62 |
| 220 | +10,0 % | 0,32 |
| 230 | +15,0 % | 0,14 |
| 245 | +22,5 % | 0,031 |
| 260 | +30,0 % | 0,005 |
| 280 | +40,0 % | 0,0002 |
Avec 10 000 visiteurs par version et 2 % de conversion, même un gain de 15 % ne se distingue pas du hasard.
Les bonnes pratiques
- Fixez la taille à l’avance à partir du taux de conversion attendu et du plus petit gain qui vous intéresse. Pour détecter +20 % sur un taux de 2 %, il faut environ 21 000 visiteurs par version à 95 % de confiance et 80 % de puissance.
- Ne regardez pas les résultats tous les jours pour vous arrêter au premier p < 0,05 : cette pratique peut faire grimper le taux de faux positifs au-delà de 20 %.
- Couvrez des semaines complètes, car le comportement diffère entre la semaine et le week-end.
- Choisissez un indicateur principal : multiplier les indicateurs et les segments multiplie les risques de coïncidence.
- Méfiez-vous de l’effet de nouveauté : un nouveau design attire l’attention au début, puis l’effet s’estompe.
- Consentement aux cookies : en France, les outils de test et de mesure d’audience doivent respecter les règles de la CNIL ; les visiteurs qui refusent les traceurs peuvent sortir de l’échantillon.
Un résultat significatif indique que l’écart est probablement réel, pas qu’il est important. Vérifiez l’intervalle de confiance et l’intérêt économique du changement avant de le déployer.