Durée test A/B : combien de temps laisser tourner un test ?

La durée de votre test A/B détermine si votre résultat est juste ou non. En résumé : calculez la durée à l’avance sur la base de la taille d’échantillon nécessaire et de l’effet attendu, puis laissez le test tourner au moins un à deux cycles d’activité complets avant de tirer une conclusion. Si vous l’arrêtez plus tôt parce qu’une variante a l’air prometteuse, vous mesurez probablement du bruit et non une vraie différence. Dans cet article, vous verrez comment planifier la durée à l’avance et quelles erreurs vous évitez ainsi.

Soyons honnêtes d’emblée : il n’existe aucun chiffre fixe valable pour tous les tests. Deux semaines est une règle empirique pratique, mais ce n’est pas une loi. La bonne durée dépend du trafic que vous recevez, de l’ampleur de la différence que vous voulez démontrer et de la forme de votre processus de vente. Voyons cela concrètement.

Pourquoi vous fixez la durée à l’avance

La plus grande erreur en test A/B n’a rien à voir avec l’outil, mais avec le comportement humain : vous regardez trop tôt, vous voyez que la variante B est en tête et vous arrêtez le test. Cela s’appelle le peeking, et c’est le chemin le plus rapide vers une mauvaise conclusion.

Le problème est statistique. En début de test, les chiffres fluctuent fortement. Une variante peut avoir 20 pour cent d’avance après trois jours et être à égalité après deux semaines. Si vous regardez chaque jour et arrêtez dès que cela vous arrange, vous finirez toujours par trouver un “gagnant”, même si les deux variantes performent en réalité aussi bien l’une que l’autre. Vous décidez alors sur base du hasard.

La solution est simple sur le papier et difficile en discipline : vous déterminez la durée et l’échantillon nécessaire avant le démarrage du test, et vous vous y tenez. Vous pouvez regarder en cours de route pour vérifier que rien n’est cassé, mais vous ne tirez votre conclusion qu’au point d’arrivée convenu. Le test passe ainsi du pari à la mesure fiable.

Cette discipline est précisément ce qui distingue le growth marketing des astuces isolées. La croissance devient prévisible quand vous mesurez de façon systématique et honnête, pas quand vous interprétez de façon optimiste. Si vous voulez comprendre comment les tests s’inscrivent dans un système plus large, lisez notre article pilier sur ce qu’est le growth marketing en tant que moteur de croissance orchestré.

Les trois facteurs qui déterminent votre durée

Trois éléments déterminent ensemble la durée d’un test. Vous les pesez les uns par rapport aux autres à l’avance.

1. Votre taille d’échantillon

La taille d’échantillon est le nombre de visiteurs ou de conversions dont vous avez besoin par variante pour démontrer une différence de manière fiable. Plus l’effet que vous voulez mesurer est petit, plus il vous faut de personnes. Une différence de 50 pour cent se démontre avec peu de trafic. Une différence de 2 pour cent exige un échantillon nettement plus grand.

En pratique, vous utilisez un calculateur de taille d’échantillon. Vous y entrez trois éléments : votre taux de conversion actuel, le plus petit effet qui vaille la peine d’être détecté, et le niveau de confiance souhaité. Le calculateur vous donne le nombre de visiteurs par variante. Divisez-le par votre trafic quotidien et vous savez à peu près combien de jours votre test doit tourner.

C’est ici que se situe le retour à la réalité. Si vous avez peu de trafic et voulez mesurer un petit effet, vous arrivez à une durée de plusieurs mois. C’est souvent irréalisable. Mieux vaut alors tester des changements plus francs et plus visibles, qui produisent un effet plus important, plutôt que des micro-ajustements que vous ne prouverez jamais de façon fiable.

2. Des cycles d’activité complets

Les visiteurs ne se comportent pas de la même façon tous les jours. Une audience B2B convertit différemment un lundi matin qu’un dimanche soir. En fin de mois, les budgets entrent en jeu ; en début de mois, ce sont d’autres priorités. Si votre test ne tourne que quelques jours, vous mesurez par hasard une période favorable ou défavorable.

C’est pourquoi vous laissez toujours tourner un test au moins une semaine complète, et de préférence deux. Ainsi, chaque jour de la semaine pèse le même poids. Pour le B2B, avec une phase d’orientation plus longue, deux à quatre semaines sont souvent plus réalistes, car un prospect convertit rarement dès sa première visite.

Important : clôturez aussi votre test sur un cycle complet. Si vous arrêtez après dix jours, un week-end pèse double par rapport aux jours ouvrables. Si vous clôturez à sept ou quatorze jours, chaque jour de la semaine est représenté aussi souvent.

3. Votre cycle d’activité et votre cycle de vente

Pour le B2B, c’est le facteur le plus souvent oublié. Votre conversion sur le site est rarement la fin de l’histoire. Quelqu’un remplit un formulaire, et ce n’est que des semaines plus tard qu’en sort une offre ou un contrat. Si vous ne testez que sur la conversion directe du site, vous mesurez peut-être davantage de demandes de moindre qualité, alors que le chiffre d’affaires réel baisse.

Planifiez donc aussi votre durée en fonction de votre processus de vente. Si vous testez un changement qui influence la qualité des leads, votre test doit tourner assez longtemps pour voir ces leads avancer dans le pipeline. Un test de deux semaines que vous jugez sur le nombre de demandes peut être trompeur si vous ne voyez qu’après six semaines quelles demandes génèrent du pipeline.

C’est exactement pour cela que vous pilotez sur la bonne statistique. Optimisez sur le chiffre d’affaires, les leads qualifiés et le pipeline, pas sur des vanity metrics qui font joli mais ne rapportent pas d’argent. Une agence de growth marketing qui construit votre moteur de croissance relie donc toujours les résultats de test à ce qui se passe au bas du compte.

Un plan d’action pratique

Voici comment planifier la durée en quatre étapes :

1. Déterminez votre métrique cible. Que voulez-vous vraiment améliorer ? Choisissez la métrique la plus proche du chiffre d’affaires, pas la plus facile à mesurer.
2. Calculez votre taille d’échantillon. Entrez votre conversion actuelle, votre effet minimal pertinent et votre niveau de confiance dans un calculateur. Notez le nombre de visiteurs par variante.
3. Convertissez en jours et arrondissez à des cycles entiers. Divisez la taille d’échantillon par votre trafic quotidien. Si cela donne par exemple douze jours, arrondissez à quatorze pour mesurer des semaines entières.
4. Fixez le point d’arrivée et n’y touchez plus. Notez la date de fin et l’échantillon nécessaire avant de démarrer. En cours de route, regardez uniquement pour détecter des erreurs techniques, pas pour décider trop tôt.

Avec cette approche, vous évitez les deux écueils opposés. Trop court et vous mesurez du bruit : vous tirez des conclusions du hasard et vous construisez sur des fondations inexistantes. Trop long et vous gaspillez du trafic : chaque semaine supplémentaire où un résultat clair continue inutilement est une semaine où vous ne travaillez pas à l’amélioration suivante. L’optimum se situe entre les deux, et vous le trouvez en calculant à l’avance.

Et si vous n’avez pas assez de trafic ?

Beaucoup de sites B2B ont tout simplement trop peu de trafic pour des tests A/B classiques sur de petits effets. Ce n’est pas une raison pour arrêter d’optimiser, mais bien pour adapter votre approche.

Testez dans ce cas des changements plus larges et plus nets, qui produisent un effet plus important, comme une landing page entièrement réécrite plutôt qu’une autre couleur de bouton. Les effets plus importants se voient plus vite. Vous pouvez aussi vous appuyer sur la recherche qualitative, comme les enregistrements de session et les entretiens utilisateurs, pour comprendre où les visiteurs décrochent avant de construire une variante. Vous ne perdez ainsi pas des mois sur un test que vous ne bouclerez jamais de façon fiable.

Un bon calendrier de test évite aussi que des expériences isolées tournent côte à côte sans cohérence. Comment passer d’expériences isolées à un programme structurel, vous le lisez dans de tests A/B isolés à un programme de test. Et si vous hésitez encore sur les bases, ce qu’est précisément le test A/B vous donne tout le fondement.

Conclusion : la durée est un choix, pas une découverte

La durée d’un test A/B se détermine à l’avance, pas après coup. Calculez votre taille d’échantillon, laissez le test tourner au moins un à deux cycles complets, tenez compte de votre cycle de vente et fixez le point d’arrivée avant de commencer. Chaque expérience devient ainsi une brique fiable de votre moteur de croissance, plutôt qu’un pari qui tombe bien ou mal par hasard.

Vous voulez faire de vos expériences la pièce d’un système qui pilote sur le pipeline et le chiffre d’affaires plutôt que sur des chiffres isolés ? Contactez-nous et nous verrons ensemble à quoi doit ressembler votre programme de test pour votre croissance.