Glossaire · GEO

Token

Un token est l'unité de base que manipule un grand modèle de langage (LLM) : un fragment de texte qui peut représenter un mot entier, une partie de mot, un caractère ou un signe de ponctuation. Avant de traiter une requête ou un document, le modèle découpe le texte en tokens via un processus appelé tokenisation, puis convertit chaque token en vecteur numérique. En français, un mot courant correspond souvent à un seul token, tandis qu'un terme long, rare ou technique se fragmente en plusieurs tokens. Les modèles raisonnent et facturent en tokens, pas en mots : leur fenêtre de contexte, leurs limites d'entrée et de sortie ainsi que le coût d'usage des API se mesurent tous en nombre de tokens. Pour le GEO, comprendre le token éclaire la façon dont un LLM lit, segmente et pondère le contenu d'une page avant de décider quels passages citer dans ses réponses.

Le token est la brique élémentaire avec laquelle tout grand modèle de langage perçoit le texte. Là où un humain lit des mots et des phrases, le modèle ne voit qu'une suite de tokens : des fragments standardisés qu'il a appris à reconnaître pendant son entraînement.

Comment ça marche

Avant tout calcul, le modèle applique une tokenisation au texte reçu. Un découpeur (tokenizer) segmente la chaîne de caractères en tokens selon un vocabulaire fixe, généralement appris par compression statistique (algorithmes de type Byte-Pair Encoding). Chaque token est ensuite associé à un identifiant numérique, puis transformé en embedding, un vecteur que le modèle peut manipuler mathématiquement.

Le découpage n'est pas intuitif. Le mot « optimisation » peut devenir un seul token ou se scinder en « optim » + « isation » selon le tokenizer. Les espaces, la ponctuation et les majuscules comptent aussi. C'est pourquoi un même contenu n'occupe pas le même nombre de tokens d'une langue à l'autre.

Pourquoi c'est important en GEO

Les modèles ne raisonnent pas en mots mais en tokens, et trois conséquences concrètes en découlent pour la visibilité IA.

D'abord, la fenêtre de contexte — la quantité de texte qu'un modèle peut traiter d'un coup — se mesure en tokens. Un contenu trop dense ou mal structuré risque d'être tronqué.

Ensuite, le coût et la latence des API dépendent du volume de tokens entrée/sortie. Cela influence la façon dont les moteurs de réponse échantillonnent les sources.

Enfin, la manière dont votre page est segmentée en tokens conditionne le découpage en passages, donc votre citabilité IA.

A retenir

Les LLM lisent, comptent et facturent en tokens, pas en mots. Un contenu clair et bien segmenté est plus efficace à traiter — et plus susceptible d'être cité.

Exemple concret

La phrase « LUWIZ optimise la visibilité IA » fait cinq mots, mais peut représenter sept à neuf tokens selon le tokenizer, le nom de marque « LUWIZ » étant souvent découpé en plusieurs morceaux faute d'être dans le vocabulaire. C'est l'une des raisons pour lesquelles le renforcement de l'entité nommée d'une marque pèse autant en GEO.

FAQ

Questions fréquentes

Un mot est une unité linguistique, un token une unité technique du modèle. Un mot courant équivaut souvent à un token, mais un terme long ou rare se découpe en plusieurs tokens. En moyenne, en français, comptez environ 1,3 à 1,5 token par mot.

Les API de LLM facturent au nombre de tokens en entrée et en sortie, pas au nombre de mots. La fenêtre de contexte du modèle est aussi mesurée en tokens. Réduire la verbosité d'un prompt diminue donc directement le coût et la latence.

Pour aller plus loin