A/B-testen en statistische significantie: hoeveel verkeer heb je echt nodig?

Statistische significantie betekent dat het verschil tussen je varianten waarschijnlijk echt is en niet toeval. Het eerlijke antwoord voor de meeste B2B-sites: je hebt minimaal honderden conversies per variant nodig voordat een A/B-test betrouwbaar wordt, en veel sites halen dat volume nooit. Heb je weinig verkeer? Dan stuur je beter op andere signalen dan op een dashboard vol ruis. In dit artikel lees je hoeveel verkeer en conversies je echt nodig hebt, hoe lang je een test draait, en wanneer je beter een andere methode kiest.

Wij bekijken dat liever eerlijk dan optimistisch. Een test die nooit significant wordt, levert geen klanten en geen omzet op. Hij levert alleen schijnzekerheid. Onze CRO-aanpak begint daarom altijd met de vraag: is jouw verkeer groot genoeg om überhaupt te testen?

Wat betekent statistische significantie bij een A/B-test?

Bij een A/B-test toon je twee versies van een pagina aan vergelijkbare bezoekers en meet je welke versie beter converteert. Statistische significantie is de drempel die aangeeft hoe zeker je mag zijn dat het gemeten verschil niet door toeval komt.

In de praktijk werken de meeste tools met een betrouwbaarheidsniveau van 95%. Dat betekent: er is hooguit 5% kans dat je een “winnaar” ziet die in werkelijkheid geen winnaar is. Klinkt streng, maar dat is precies het punt. Zonder die drempel rol je verbeteringen uit die niets opleveren, of erger: die je conversieratio stilletjes verlagen.

Het probleem is dat significantie pas ontstaat bij voldoende data. En “voldoende” is bijna altijd meer dan mensen denken. Wil je begrijpen hoe een conversieratio precies wordt opgebouwd, lees dan eerst conversieratio berekenen. Dat getal is namelijk de basis waarmee je sample size berekent.

Hoeveel conversies heb je nodig voor een betrouwbare A/B-test?

Hier komt het cijfer dat veel bureaus liever verzwijgen. Peep Laja van ConversionXL stelt dat A/B-testen pas echt zinvol wordt vanaf ongeveer 1.000 conversies per maand. Niet 1.000 bezoekers, maar 1.000 conversies. Voor de meeste B2B-sites met enkele tientallen leads per maand is dat een confronterend getal.

Per individuele test wil je minstens 250 conversies per variant voordat je de uitkomst mag vertrouwen. Verzamel je minder, dan is de kans groot dat je “winnaar” volgende maand een verliezer blijkt. Dat is geen optimalisatie, dat is gokken met een grafiek erbij.

Reken het even na voor jezelf:

• Je site krijgt 2.000 bezoekers per maand.
• Je conversieratio is 2%, dus 40 conversies per maand.
• Verdeel je die over twee varianten, dan zit je op 20 conversies per variant.

Met 20 conversies per variant kom je niet in de buurt van significantie. Je zou maanden, soms jaren moeten doortesten op één enkele wijziging. Tegen die tijd is je markt, je aanbod of je doelgroep alweer veranderd.

Hoe lang moet je een A/B-test laten lopen?

Een goede vuistregel: minimaal twee volledige weken, zodat je alle dagen van de week en weekendpatronen meeneemt. Maar looptijd alleen zegt niets. Je test draait pas lang genoeg als je de benodigde sample size hebt bereikt én een paar volledige bedrijfscycli hebt gezien.

Stop nooit een test op het moment dat hij “net even” significant lijkt. Dat heet piepen, en het is een van de meest gemaakte fouten in CRO. Door vroeg te stoppen vergroot je de kans op een vals positief enorm. Bepaal vooraf je sample size, en stop pas als die is gehaald.

Let ook op de omvang van wat je test. Hele kleine wijzigingen, zoals een knopkleur of een komma in je koptekst, geven zelden een effect dat groot genoeg is om bij beperkt verkeer significant te worden. Test liever grotere, structurele wijzigingen die de hele conversiefunnel raken. Die hebben meer kans op een meetbaar verschil en zijn de testtijd waard.

Wat doe je als je site te weinig verkeer heeft om te testen?

Dit is de eerlijke kern van dit artikel. Heeft jouw B2B-site geen 1.000 conversies per maand? Dan is klassiek A/B-testen voorlopig niet jouw beste gereedschap. En dat is oké. Het betekent niet dat je niet kunt optimaliseren, het betekent dat je andere, vaak betere methodes inzet.

Bij lage volumes leveren deze aanpakken sneller bruikbare inzichten:

• Klantinterviews en salesgesprekken. Vijf goede gesprekken met klanten vertellen je vaak meer over twijfels en bezwaren dan een test die nooit significant wordt. Lees ook conversie-onderzoek.
• Usability-testen. Laat een handvol mensen je site hardop gebruiken. Frictie zie je direct, zonder dat je honderden conversies nodig hebt.
• Heatmaps en sessie-opnames. Die tonen waar bezoekers afhaken of vastlopen, kwalitatief en meteen.
• Sitebrede verbeteringen. Bij weinig verkeer optimaliseer je beter de hele flow in één keer dan losse elementen los te testen. Zie B2B conversie-optimalisatie voor de aanpak.

Het verschil tussen een eerlijk bureau en een dashboardbureau zit precies hier. Wij zeggen wat een groot bureau soms niet durft: jouw site kan te klein zijn om betrouwbaar te testen, en dan kies je een methode die wél werkt in plaats van te doen alsof.

Hoe bereken je de sample size voor jouw A/B-test?

Je hoeft geen statisticus te zijn. Gebruik een gratis sample size calculator (Evan Miller en VWO bieden er een) en vul drie dingen in:

1. Je huidige conversieratio. Bijvoorbeeld 2%. Weet je die niet? Bereken hem eerst via conversieratio berekenen.
2. Het minimale effect dat je wilt detecteren. Wil je een verbetering van 20% kunnen meten, dan heb je minder data nodig dan voor een verbetering van 5%.
3. Je betrouwbaarheidsniveau. Meestal 95%.

De calculator geeft je dan het aantal bezoekers per variant. Schrik niet als dat getal in de tienduizenden loopt: dat is geen fout in de tool, dat is de realiteit van statistiek. Hoe kleiner het effect dat je wilt meten, hoe meer verkeer je nodig hebt. Daarom loont het om eerst grote, kansrijke hypotheses te testen.

Veelgestelde vragen over A/B-testen en significantie

Is 95% significantie altijd genoeg?

Voor de meeste B2B-beslissingen wel. 95% betekent 5% kans op een vals positief. Bij beslissingen met grote financiële impact kun je 99% aanhouden, maar dan heb je nog meer data nodig. Belangrijker dan het percentage opschroeven is dat je de test niet vroegtijdig stopt.

Kan ik testen met heel weinig verkeer?

Technisch kan een tool altijd een resultaat tonen, maar betrouwbaar is het niet. Onder de 250 conversies per variant is de kans op een vals positief te groot. Kies bij lage volumes voor klantinterviews, usability-testen of sitebrede verbeteringen.

Wat is het verschil met multivariate testen?

Bij A/B-testen vergelijk je twee versies, bij multivariate testen test je meerdere elementen tegelijk. Multivariate testen vraagt nog veel meer verkeer om significant te worden. Voor de meeste B2B-sites is dat geen optie. Meer hierover in A/B-test vs multivariate test.

Hoe lang draait een gemiddelde test?

Minimaal twee volledige weken, en pas afsluiten als je vooraf bepaalde sample size is bereikt. Bij weinig verkeer kan dat maanden duren, en dat is precies waarom A/B-testen niet voor elke site het juiste gereedschap is.

Telt elke conversie mee, of alleen de eindconversie?

Dat hangt van je doel af. Test je een tussenstap zoals een formulierstap, dan meet je die microconversie. Test je je hele aanbod, dan meet je de uiteindelijke lead of aanvraag. Bekijk eerst je hele funnel via conversie-onderzoek voordat je kiest wat je meet.

Klaar om eerlijk naar je testpotentieel te kijken?

Statistische significantie is geen knop die je aanzet, het is een drempel die je verkeer moet halen. Heb je dat volume? Dan helpen we je gestructureerd testen op wat klanten en omzet oplevert. Heb je het niet? Dan kiezen we samen een methode die wél werkt, in plaats van een test die ruis meet. Eerlijk advies, een klein team dat snel beweegt, en focus op groei in plaats van vanity-cijfers.

Plan je gratis intake