Token

Een token is het kleinste stukje tekst waarin een AI-model taal opdeelt om ze te verwerken. Een token is niet altijd een heel woord: het kan een woord zijn, een woorddeel of een leesteken. Een large language model leest en genereert tekst token per token, en alles wat je invoert of terugkrijgt wordt eerst in tokens opgesplitst.

Hoe werkt tokenisatie?

Voor het model jouw prompt verwerkt, hakt het de tekst in tokens via een vast schema. Korte, veelvoorkomende woorden zijn vaak één token, terwijl langere of zeldzame woorden in meerdere stukken worden geknipt. Als vuistregel komt een token grofweg overeen met een kort woorddeel, en bevat een gewone alinea al snel enkele honderden tokens. Het model voorspelt vervolgens telkens het volgende token, en zo ontstaat het antwoord stap voor stap.

Waarom tokens ertoe doen

Tokens zijn de meeteenheid achter zowel kosten als limieten. AI-aanbieders rekenen doorgaans per token af, voor zowel je input als de gegenereerde output. Daarnaast heeft elk model een contextvenster: het maximale aantal tokens dat het in één keer kan overzien. Wie lange documenten of veel achtergrond meegeeft, loopt sneller tegen die grens aan en betaalt meer. Bij generatieve AI op schaal tikt dat aan.

Wat het voor B2B-bedrijven betekent

Als je AI inzet in processen of automatiseringen, bepaalt het tokenverbruik mee je kostprijs per actie. Korte, gerichte prompts en het weglaten van overbodige context houden de kosten beheersbaar zonder aan kwaliteit in te boeten. Stuur daarbij op wat telt: een proces dat klanten en omzet oplevert, niet op het zo goedkoop mogelijk knijpen van elke prompt. De techniek is een hefboom, en tokens zijn simpelweg de brandstofmeter.