Wat is een token in AI? Uitleg voor marketeers

Een token is het kleinste stukje tekst waarin een AI-model taal opdeelt om het te kunnen verwerken. Vaak is dat een woord, maar het kan ook een deel van een woord, een leesteken of een spatie zijn. Alles wat een taalmodel doet, van je vraag lezen tot een antwoord opbouwen, gebeurt in tokens en niet in letters of woorden. In dit artikel lees je wat een token precies is, hoe tokenisatie werkt, waarom kosten en limieten in tokens worden uitgedrukt, en wat dat betekent voor de zichtbaarheid van jouw content in AI-zoekmachines.

Wat is een token precies?

Een token is de bouwsteen waarmee een taalmodel tekst verwerkt: een tekstfragment dat het model als één eenheid behandelt. Een model leest geen zinnen zoals wij, het knipt tekst eerst op in een reeks tokens en werkt daarna alleen nog met die stukjes.

Hoe groot een token is, verschilt. Korte, veelvoorkomende woorden zoals “de” of “en” zijn meestal één token. Langere of zeldzamere woorden worden opgesplitst in meerdere delen. Als vuistregel komt één token in het Engels grofweg overeen met vier tekens, en in het Nederlands vaak iets minder omdat onze samengestelde woorden langer zijn. Een woord als “klantenservice” kan dus makkelijk uit twee of drie tokens bestaan.

Het belangrijkste om te onthouden: het model denkt niet in woorden of betekenissen zoals jij, maar in deze numerieke bouwstenen. Elke token krijgt een getal, en op basis van die getallenreeks voorspelt het model welk volgend stukje het meest waarschijnlijk is. Zo ontstaat, token voor token, een antwoord.

Hoe werkt tokenisatie?

Tokenisatie is het proces waarbij tekst wordt omgezet in een reeks tokens voordat het model ermee aan de slag gaat. Dat gebeurt volgens een vast systeem dat het model tijdens zijn training heeft geleerd, zodat dezelfde tekst altijd op dezelfde manier wordt opgeknipt.

Het systeem zoekt naar veelvoorkomende tekstpatronen. Frequente woorden en woorddelen krijgen hun eigen token, terwijl zeldzame woorden in kleinere stukjes uiteenvallen. Dat verklaart een paar dingen die op het eerste zicht vreemd lijken:

• Spaties en leestekens tellen mee. Een spatie voor een woord hoort vaak bij die token, en een punt of komma kan een eigen token zijn.
• Getallen en code splitsen anders. Een lang getal of een stuk programmeercode wordt soms in verrassend veel tokens opgedeeld.
• Talen verschillen. Talen die minder in de trainingsdata voorkomen, worden gemiddeld in meer tokens opgeknipt, wat ze “duurder” maakt om te verwerken.

Deze mechaniek staat los van betekenis. Hoe een model betekenis berekent en teksten op inhoud vergelijkt, gebeurt in een latere stap. Dat leggen we uit in wat embeddings zijn voor marketeers.

Waarom worden kosten en limieten in tokens gemeten?

Tokens zijn de rekeneenheid van een taalmodel, dus zowel de prijs als de grenzen van een model worden erin uitgedrukt. Wie een AI-model via een API gebruikt, betaalt doorgaans per duizend tokens, en wel voor twee stromen: de tokens die je erin stopt (je vraag plus context) en de tokens die het model teruggeeft (het antwoord).

Ook de werkgeheugengrens van een model wordt in tokens uitgedrukt. Die grens heet het contextvenster: de maximale hoeveelheid tokens die een model tegelijk kan meewegen voor één antwoord. Alles wat daarbuiten valt, bestaat op dat moment simpelweg niet voor het model. Hoe dat precies werkt en waarom een groot venster niet hetzelfde is als een goed geheugen, lees je in wat een contextvenster is.

Voor jou is de praktische conclusie belangrijk: een AI-systeem heeft altijd een beperkte ruimte, en jouw content deelt die ruimte met de vraag van de gebruiker en met de fragmenten van andere bronnen. Compacte, heldere tekst neemt minder tokens in en laat zich makkelijker meenemen dan wollige tekst.

Wat betekenen tokens voor je AI-zichtbaarheid?

Voor je zichtbaarheid telt niet hoeveel tokens jouw pagina bevat, maar of je kernantwoord vooraan en compact staat, zodat een model het efficiënt kan oppikken en citeren. Wanneer iemand iets vraagt aan ChatGPT, Perplexity of Google AI Overviews, haalt het systeem relevante stukken van het web op en plaatst die, omgezet in tokens, samen in het contextvenster naast andere bronnen. Jouw content concurreert dus om beperkte ruimte.

Daar volgt een concrete les uit. Een lange pagina waarbij het echte antwoord pas onderaan valt, kost veel tokens voordat de kern in beeld komt, en loopt het risico dat net dat stuk niet wordt meegewogen. Content die vooraan een volledig, zelfstandig leesbaar antwoord geeft, is goedkoper te verwerken en heeft een grotere kans om daadwerkelijk in het AI-antwoord te belanden. Dit sluit aan op de bredere aanpak in onze gids over generative engine optimization.

Concreet betekent dat: zet het antwoord bovenaan elke sectie, schrijf in afgebakende brokken die elk één vraag beantwoorden, en wees dicht waar het kan. Niet om tokens te sparen, maar omdat heldere, compacte content het wint van wijdlopige tekst.

Eerlijk: staar je niet blind op tokens

We zeggen het liever meteen: het tokenaantal van je content is geen doel op zich. Sommige tools tonen graag hoeveel tokens een tekst telt, maar dat cijfer zegt niets over of je gevonden of gekozen wordt. Het is een technische maat, geen groeimeter.

Wat wél telt, is of je content de juiste B2B-koper naar je toe brengt. In B2B, met lange salescycli en meerdere beslissers, weegt één gekwalificeerde lead zwaarder dan honderd vermeldingen. Bij Customer Impact sturen we daarom niet op tokens, vertoningen of andere ijdele cijfers, maar op leads en omzet. Wil je dit structureel aanpakken, dan is dat het werk van onze GEO-dienst voor AI-zoekmachines, waar tokens en contextvensters onderdeel zijn van het GEO-vak en niet het doel.

Veelgestelde vragen

Is een token hetzelfde als een woord?

Nee. Een token is vaak een woord, maar korte woorden zijn meestal één token en langere of zeldzamere woorden worden in meerdere tokens opgesplitst. Ook spaties en leestekens kunnen aparte tokens zijn. Als vuistregel komt één token grofweg overeen met een paar tekens.

Hoeveel tokens zit er in een gemiddelde tekst?

Grofweg geldt dat honderd woorden Engels ongeveer 130 tot 150 tokens zijn. In het Nederlands ligt de verhouding vaak iets hoger door onze langere samengestelde woorden. Het exacte aantal hangt af van het model en van hoe zeldzaam de woorden zijn.

Waarom betaal ik per token bij een AI-model?

Omdat tokens de rekeneenheid zijn waarmee een model werkt. Elk token dat je invoert en elk token dat het model teruggeeft, kost rekenkracht. Aanbieders rekenen die kost door per aantal tokens, meestal per duizend, gesplitst in invoer en uitvoer.

Moet ik mijn content optimaliseren op tokenaantal?

Nee, dat is geen zinvol doel. Optimaliseer op helderheid en op een compleet antwoord dat vooraan staat. Dat maakt je content vanzelf efficiënt om te verwerken en vergroot je kans op een SEO- en AI-citatie, zonder dat je op een tokenteller hoeft te sturen.

Klaar om zichtbaar te worden in AI?

Vertel ons waar je vandaag staat met je content en je vindbaarheid in AI-zoekmachines, en we zeggen je eerlijk waar je grootste kansen liggen. We zijn een klein team dat snel beweegt, dus je krijgt concrete stappen in plaats van een rapport dat blijft liggen. Plan je gratis intake