Test A/B et significativité statistique : combien de trafic vous faut-il vraiment ?

La significativité statistique signifie que l’écart entre vos variantes est probablement réel et non le fruit du hasard. La réponse honnête pour la plupart des sites B2B : il vous faut au minimum plusieurs centaines de conversions par variante avant qu’un test A/B devienne fiable, et beaucoup de sites n’atteindront jamais ce volume. Peu de trafic ? Alors pilotez plutôt d’autres signaux qu’un tableau de bord saturé de bruit. Dans cet article, vous découvrirez le trafic et les conversions dont vous avez réellement besoin, la durée sur laquelle faire tourner un test, et le moment où une autre méthode s’impose.

Nous préférons regarder cela avec honnêteté plutôt qu’avec optimisme. Un test qui n’atteint jamais la significativité ne rapporte ni clients ni chiffre d’affaires. Il ne produit qu’une fausse certitude. Notre approche CRO commence donc toujours par cette question : votre trafic est-il assez important pour tester, tout simplement ?

Testez vous-même : vérifiez si votre résultat est statistiquement significatif avec notre calculateur de test A/B gratuit.

Que signifie la significativité statistique dans un test A/B ?

Dans un test A/B, vous montrez deux versions d’une page à des visiteurs comparables et vous mesurez laquelle convertit le mieux. La significativité statistique est le seuil qui indique à quel point vous pouvez être certain que l’écart mesuré ne vient pas du hasard.

En pratique, la plupart des outils travaillent avec un niveau de confiance de 95 %. Cela veut dire qu’il y a au maximum 5 % de risque de voir un « gagnant » qui n’en est pas un en réalité. Cela paraît sévère, mais c’est précisément l’objectif. Sans ce seuil, vous déployez des améliorations qui ne rapportent rien, ou pire : qui font discrètement baisser votre taux de conversion.

Le problème, c’est que la significativité n’apparaît qu’avec suffisamment de données. Et « suffisamment » représente presque toujours plus que ce que les gens imaginent. Si vous voulez comprendre comment un taux de conversion se construit exactement, lisez d’abord calculer le taux de conversion. Ce chiffre est en effet la base à partir de laquelle vous calculez la taille de votre échantillon.

De combien de conversions avez-vous besoin pour un test A/B fiable ?

Voici le chiffre que beaucoup d’agences préfèrent taire. Peep Laja, de CXL (ConversionXL), affirme que le test A/B ne devient vraiment utile qu’à partir d’environ 1 000 conversions par mois. Pas 1 000 visiteurs, mais 1 000 conversions. Pour la plupart des sites B2B qui génèrent quelques dizaines de leads par mois, ce chiffre est déroutant.

Par test individuel, vous voulez au moins 250 conversions par variante avant de pouvoir vous fier au résultat. Si vous en récoltez moins, il y a de fortes chances que votre « gagnant » se révèle perdant le mois suivant. Ce n’est pas de l’optimisation, c’est un pari avec un graphique à l’appui.

Faites le calcul pour vous-même :

• Votre site reçoit 2 000 visiteurs par mois.
• Votre taux de conversion est de 2 %, soit 40 conversions par mois.
• Répartissez-les sur deux variantes et vous obtenez 20 conversions par variante.

Avec 20 conversions par variante, vous n’approchez même pas de la significativité. Il vous faudrait tester pendant des mois, parfois des années, sur une seule modification. D’ici là, votre marché, votre offre ou votre audience auront déjà changé.

Combien de temps faut-il laisser tourner un test A/B ?

Une bonne règle empirique : au minimum deux semaines complètes, afin d’intégrer tous les jours de la semaine et les schémas du week-end. Mais la durée seule ne dit rien. Votre test ne tourne assez longtemps que lorsque vous avez atteint la taille d’échantillon nécessaire et observé quelques cycles commerciaux complets.

N’arrêtez jamais un test au moment où il semble « tout juste » significatif. Cela s’appelle le peeking, et c’est l’une des erreurs les plus fréquentes en CRO. En arrêtant tôt, vous augmentez énormément le risque de faux positif. Déterminez votre taille d’échantillon à l’avance, et n’arrêtez qu’une fois celle-ci atteinte.

Faites également attention à l’ampleur de ce que vous testez. Les tout petits changements, comme la couleur d’un bouton ou une virgule dans votre titre, produisent rarement un effet assez important pour devenir significatif avec un trafic limité. Testez plutôt des modifications structurelles de plus grande envergure qui touchent tout le tunnel de conversion. Elles ont plus de chances de créer un écart mesurable et valent le temps de test.

Que faire si votre site a trop peu de trafic pour tester ?

C’est le cœur honnête de cet article. Votre site B2B n’atteint pas 1 000 conversions par mois ? Alors le test A/B classique n’est pour l’instant pas votre meilleur outil. Et ce n’est pas grave. Cela ne signifie pas que vous ne pouvez pas optimiser, cela signifie que vous mobilisez d’autres méthodes, souvent meilleures.

Avec de faibles volumes, ces approches livrent plus vite des enseignements exploitables :

• Entretiens clients et conversations commerciales. Cinq bons échanges avec des clients vous en apprennent souvent plus sur les hésitations et les objections qu’un test qui n’atteint jamais la significativité. Lisez aussi recherche de conversion.
• Tests d’utilisabilité. Faites utiliser votre site à voix haute par une poignée de personnes. La friction se voit immédiatement, sans avoir besoin de centaines de conversions.
• Heatmaps et enregistrements de session. Ils montrent où les visiteurs décrochent ou se bloquent, de façon qualitative et immédiate.
• Améliorations à l’échelle du site. Avec peu de trafic, mieux vaut optimiser tout le parcours en une fois que tester des éléments isolés séparément. Voyez optimisation de la conversion B2B pour l’approche.

La différence entre une agence honnête et une agence à tableaux de bord se situe exactement ici. Nous disons ce qu’une grande agence n’ose parfois pas dire : votre site peut être trop petit pour tester de façon fiable, et dans ce cas vous choisissez une méthode qui fonctionne vraiment plutôt que de faire semblant.

Comment calculer la taille d’échantillon de votre test A/B ?

Vous n’avez pas besoin d’être statisticien. Utilisez un calculateur de taille d’échantillon gratuit (d’Evan Miller et de VWO) et renseignez trois éléments :

1. Votre taux de conversion actuel. Par exemple 2 %. Vous ne le connaissez pas ? Calculez-le d’abord via calculer le taux de conversion.
2. L’effet minimal que vous voulez détecter. Si vous voulez pouvoir mesurer une amélioration de 20 %, il vous faut moins de données que pour une amélioration de 5 %.
3. Votre niveau de confiance. Le plus souvent 95 %.

Le calculateur vous donne alors le nombre de visiteurs par variante. Ne vous effrayez pas si ce chiffre se compte en dizaines de milliers : ce n’est pas une erreur de l’outil, c’est la réalité de la statistique. Plus l’effet que vous voulez mesurer est petit, plus il vous faut de trafic. C’est pourquoi il est payant de tester d’abord de grandes hypothèses prometteuses.

Questions fréquentes sur les tests A/B et la significativité

Une significativité de 95 % suffit-elle toujours ?

Pour la plupart des décisions B2B, oui. 95 % signifie 5 % de risque de faux positif. Pour des décisions à fort impact financier, vous pouvez viser 99 %, mais il vous faudra alors encore plus de données. Plus important que de relever le pourcentage : ne pas arrêter le test prématurément.

Puis-je tester avec très peu de trafic ?

Techniquement, un outil peut toujours afficher un résultat, mais il n’est pas fiable. En dessous de 250 conversions par variante, le risque de faux positif est trop élevé. Avec de faibles volumes, optez pour des entretiens clients, des tests d’utilisabilité ou des améliorations à l’échelle du site.

Quelle est la différence avec les tests multivariés ?

Dans un test A/B, vous comparez deux versions ; dans un test multivarié, vous testez plusieurs éléments en même temps. Le test multivarié exige encore beaucoup plus de trafic pour devenir significatif. Pour la plupart des sites B2B, ce n’est pas une option. Plus d’informations dans test A/B vs test multivarié.

Combien de temps dure un test moyen ?

Au minimum deux semaines complètes, et une clôture uniquement lorsque la taille d’échantillon définie à l’avance est atteinte. Avec peu de trafic, cela peut prendre des mois, et c’est précisément pourquoi le test A/B n’est pas le bon outil pour chaque site.

Chaque conversion compte-t-elle, ou seulement la conversion finale ?

Cela dépend de votre objectif. Si vous testez une étape intermédiaire comme une étape de formulaire, vous mesurez cette microconversion. Si vous testez toute votre offre, vous mesurez le lead ou la demande finale. Examinez d’abord l’ensemble de votre tunnel via la recherche de conversion avant de choisir ce que vous mesurez.

Prêt à regarder honnêtement votre potentiel de test ?

La significativité statistique n’est pas un bouton que vous activez, c’est un seuil que votre trafic doit atteindre. Vous avez ce volume ? Alors nous vous aidons à tester de façon structurée ce qui rapporte des clients et du chiffre d’affaires. Vous ne l’avez pas ? Alors nous choisissons ensemble une méthode qui fonctionne vraiment, plutôt qu’un test qui mesure du bruit. Des conseils honnêtes, une petite équipe qui bouge vite, et une attention portée à la croissance plutôt qu’aux chiffres de vanité.

Planifiez votre entretien gratuit