Calculer la taille d'échantillon d'un test A/B : combien de trafic faut-il ?

Avant de lancer un test A/B, vous devez d’abord répondre à une question : ai-je assez de trafic pour en tirer un jour un résultat ? Beaucoup d’équipes sautent cette étape, lancent un test et regardent après deux semaines un tableau de bord qui affiche « pas encore significatif ». Il est alors trop tard. Vous avez perdu du temps sur une expérience vouée à l’échec dès le départ. Cet article montre comment calculer la taille de votre échantillon à l’avance, afin de savoir si un test est faisable avant même de le mettre en place.

C’est le côté planification de l’expérimentation. Sur la page consacrée à la significativité, vous découvrez comment interpréter un test en cours ou terminé. Ici, tout tourne autour de ce que vous faites avant que le premier visiteur ne voie votre variante.

Pourquoi calculer votre taille d’échantillon à l’avance

Un test A/B est un pari dont votre trafic est la mise. Vous ne pouvez inclure chaque visiteur qu’une seule fois dans une expérience. Si vous gaspillez ces visiteurs sur un test trop petit pour prouver quoi que ce soit, vous ne les récupérez pas. C’est pourquoi le calcul de l’échantillon n’est pas un exercice académique, mais simplement une façon d’utiliser avec parcimonie une ressource rare.

Le problème, en l’absence de calcul, prend deux formes. La première : vous testez trop peu de temps et arrêtez dès que le tableau de bord passe au vert. On appelle cela le peeking, et cela produit des faux positifs que vous laissez en production sans qu’ils fonctionnent réellement. La seconde : vous testez sans fin, parce que la différence que vous voulez mesurer est si petite qu’il vous faut des mois de trafic que vous n’obtiendrez jamais. Dans les deux cas, un calcul préalable vous aurait évité de perdre du temps.

Un échantillon défini à l’avance impose de la discipline. Vous convenez : ce test tourne jusqu’à ce que nous ayons X visiteurs par variante, et ce n’est qu’ensuite que nous regardons le résultat. Cela retire l’émotion et le wishful thinking du processus. Pour une équipe growth qui pilote sur le pipeline et le chiffre d’affaires, cette discipline fait la différence entre apprendre et parier.

Les trois leviers qui déterminent votre échantillon

La taille d’échantillon dont vous avez besoin dépend de trois données. Si vous comprenez ces trois-là, vous comprenez tout le calcul.

1. Votre taux de conversion actuel (baseline)

C’est le pourcentage de visiteurs qui effectuent déjà l’action souhaitée : remplir un formulaire, demander une démo, télécharger un devis. Supposons que 4 visiteurs sur 100 de votre landing page fassent une demande, alors votre baseline est de 4 pour cent. Plus votre baseline est basse, plus il vous faut de trafic, car les petits pourcentages ont besoin de plus de données pour être estimés de façon fiable.

2. L’effet minimal détectable (MDE)

C’est le levier le plus important et le plus négligé. Le MDE est la plus petite différence que vous jugez encore digne d’être détectée. Vous voulez savoir si votre variante fait passer votre conversion de 4 à 5 pour cent ? Alors votre MDE est d’un point de pourcentage. Vous ne voulez voir que les grands bonds, par exemple de 4 à 6 pour cent ? Alors votre MDE est de 2 points de pourcentage.

C’est là que se trouve le plus grand levier. Plus l’effet que vous voulez pouvoir voir est petit, plus votre test doit être sensible, et plus cela coûte de trafic. Un test qui doit pouvoir démontrer une différence d’un point de pourcentage demande à peu près quatre fois plus de visiteurs qu’un test qui doit voir une différence de 2 points de pourcentage. Beaucoup d’équipes fixent leur MDE trop bas sans s’en rendre compte, puis s’étonnent d’avoir besoin de dizaines de milliers de visiteurs.

Une approche sensée : choisissez un MDE assez grand pour fonder dessus une décision business. Une amélioration d’un demi-point de pourcentage sur une page à faible trafic ne change pas votre pipeline. Visez alors des changements plus importants, capables de produire un effet plus grand.

3. Certitude et puissance

Le troisième levier se compose de deux réglages qui sont le plus souvent fixés à des valeurs standard. Votre niveau de confiance (souvent 95 pour cent) détermine votre sévérité face aux faux positifs : à quelle fréquence vous voyez une différence qui n’existe pas. Votre puissance statistique (souvent 80 pour cent) détermine la capacité de votre test à repérer une vraie différence lorsqu’elle existe. Si vous les rendez plus stricts, par exemple 99 pour cent de certitude, votre échantillon nécessaire augmente. Pour la plupart des expériences B2B, 95 pour cent et 80 pour cent sont un excellent point de départ.

Comment le calcul fonctionne en pratique

Vous n’avez pas besoin de connaître la formule statistique par cœur. Il existe en ligne des calculateurs de taille d’échantillon gratuits où vous saisissez votre baseline, votre MDE, votre certitude et votre puissance, et qui calculent pour vous le nombre de visiteurs par variante. La valeur ne réside pas dans le calcul lui-même, mais dans le fait de prendre le résultat au sérieux.

Le schéma que vous voyez à chaque fois : une baseline basse et un petit MDE font exploser l’échantillon nécessaire. Une page qui convertit aujourd’hui à 2 pour cent et où vous voulez prouver une amélioration de 0,5 point de pourcentage peut vite demander des dizaines de milliers de visiteurs par variante. Si vous n’avez que quelques centaines de visiteurs par semaine, ce test dure presque un an. Ce n’est pas un test, c’est de l’attente.

Renversez donc le raisonnement. Regardez d’abord le trafic que vous obtenez de façon réaliste en quatre à six semaines sur une page. Calculez ensuite à rebours quel effet vous pouvez détecter avec ce trafic. S’il s’avère que vous ne pouvez voir que des différences de 3 points de pourcentage ou plus, vous savez aussitôt : les ajustements subtils ne donneront rien ici. Votre temps est mieux investi dans de plus grandes refontes ou sur une page à plus fort trafic.

Et si vous avez trop peu de trafic ?

C’est la réalité pour beaucoup d’entreprises B2B : le trafic est tout simplement trop faible pour des tests A/B classiques sur la plupart des pages. Ce n’est pas une raison pour arrêter d’optimiser, mais bien pour changer d’approche.

Testez des changements plus importants. Avec un trafic limité, vous ne pouvez pas prouver une couleur de bouton, mais bien une offre complètement différente, un titre radicalement autre ou une nouvelle structure de page. Les grands changements donnent de grands effets, et les grands effets se démontrent plus vite avec moins de données.

Concentrez vos tests sur vos pages les plus fréquentées. Une ou deux pages captent en général la part du lion de votre trafic. Là, un test fiable est faisable. Sur la longue traîne de pages à faible fréquentation, vous pilotez mieux sur des choix argumentés et des bonnes pratiques que sur la statistique.

Ou regardez au-delà des tests. Parfois, la réponse growth la plus intelligente n’est pas une meilleure variante d’une page, mais plus de trafic qualifié dirigé vers elle. C’est précisément là que l’optimisation de la conversion rejoint le moteur de croissance plus large : SEO, contenu, paid et CRO ne doivent pas fonctionner isolément, mais comme un seul système qui pilote ensemble sur les leads et le chiffre d’affaires. Un test sur une page à trop faible trafic est souvent un signal qu’il faut d’abord travailler du côté du trafic.

La taille d’échantillon a sa place dans votre calendrier d’expérimentation

Faites du calcul de l’échantillon une étape fixe de votre processus d’expérimentation. Avant qu’un test ne passe en ligne, vous notez : baseline, MDE, trafic nécessaire par variante et durée estimée. Si cela ne tient pas dans un délai raisonnable, le test ne se fait pas sous cette forme. Vous évitez ainsi que votre calendrier ne se remplisse d’expériences qui ne donnent jamais de résultat.

Cette discipline est précisément ce qui fait que l’expérimentation devient rentable. Une équipe qui teste au hasard accumule un tas de « non significatif » et peu de gains d’apprentissage. Une équipe qui calcule à l’avance sait quels tests sont faisables, choisit consciemment des effets plus grands sur des pages plus fréquentées et construit ainsi un flux régulier d’améliorations prouvées. C’est la différence entre s’occuper et avancer.

Vous voulez intégrer l’expérimentation dans une approche qui fait travailler SEO, CRO, contenu et paid comme un tout ? En tant qu’agence de growth marketing, nous construisons ce moteur de croissance avec vous, avec des tests qui pilotent sur le pipeline et le chiffre d’affaires plutôt que sur des vanity metrics. Prenez contact et nous regardons ensemble quelles expériences sont réalistes pour votre trafic.