Token

Un token est la plus petite unité de texte dans laquelle un modèle d’IA découpe le langage pour le traiter. Un token n’est pas toujours un mot entier : ce peut être un mot, un fragment de mot ou un signe de ponctuation. Un large language model lit et génère le texte token par token, et tout ce que vous saisissez ou recevez est d’abord découpé en tokens.

Comment fonctionne la tokenisation ?

Avant que le modèle ne traite votre prompt, il découpe le texte en tokens selon un schéma fixe. Les mots courts et fréquents constituent souvent un seul token, tandis que les mots plus longs ou plus rares sont découpés en plusieurs morceaux. En règle générale, un token correspond grosso modo à un court fragment de mot, et un paragraphe ordinaire contient vite plusieurs centaines de tokens. Le modèle prédit ensuite à chaque fois le token suivant, et c’est ainsi que la réponse se construit étape par étape.

Pourquoi les tokens comptent

Les tokens sont l’unité de mesure derrière les coûts comme les limites. Les fournisseurs d’IA facturent généralement au token, aussi bien pour votre input que pour l’output généré. En outre, chaque modèle dispose d’une fenêtre de contexte : le nombre maximal de tokens qu’il peut embrasser en une seule fois. Qui fournit de longs documents ou beaucoup de contexte atteint plus vite cette limite et paie davantage. Avec l’IA générative à grande échelle, cela finit par peser.

Ce que cela signifie pour les entreprises B2B

Si vous déployez l’IA dans des processus ou des automatisations, la consommation de tokens détermine en partie votre coût par action. Des prompts courts et ciblés, ainsi que l’omission de contexte superflu, maintiennent les coûts maîtrisables sans rien concéder à la qualité. Pilotez à cet égard sur ce qui compte : un processus qui génère des clients et du chiffre d’affaires, et non la volonté de comprimer chaque prompt au maximum. La technique est un levier, et les tokens ne sont que la jauge de carburant.