Jeton (token)

Avant que le modèle ne voie ton message, un découpeur de texte (tokenizer) le sépare en morceaux pris dans un vocabulaire fixe de plusieurs dizaines de milliers d’entrées. Un mot courant tient en général dans un seul jeton, un mot rare est coupé en plusieurs, et un terme technique ou un nom propre peut en demander quatre ou cinq. Ainsi « incroyable » peut devenir « in », « croy » et « able », alors que « le » reste entier ; majuscules, accents et tabulations changent aussi le découpage. Chaque jeton est ensuite converti en une liste de nombres, ce que le réseau de neurones traite réellement.

Le découpage dépend de la langue et du découpeur de chaque modèle. Un texte anglais consomme souvent moins de jetons par mot qu’un texte aux formes plus variées ou à l’écriture différente : la même phrase peut coûter plus en japonais ou en arabe qu’en anglais. Le code, les longs nombres, les émojis et les adresses web se brisent aussi en petits morceaux. Les découpeurs varient d’une famille de modèles à l’autre : le décompte fait avec le découpeur d’un éditeur n’est qu’une estimation pour un autre.

Les jetons comptent pour trois raisons pratiques. Ils mesurent la longueur : un modèle ne peut traiter qu’un certain nombre de jetons à la fois et n’en écrire qu’un certain nombre par réponse. Ils mesurent le coût : les fournisseurs facturent en général séparément les jetons lus (entrée) et écrits (sortie). Facturation, latence, troncature et plafonds de débit découlent du même compte, que tu résumes une réunion, rédiges une clause de bail, corriges une regex ou traduises un menu. Et ils expliquent des comportements étranges : un modèle qui travaille sur des jetons plutôt que sur des lettres peut trébucher sur des énigmes comme le nombre de « r » dans « strawberry », ou l’inversion d’une longue chaîne. Les algorithmes de découpage comme le codage par paires d’octets partent d’octets isolés et fusionnent sans cesse les paires voisines les plus fréquentes jusqu’à obtenir le vocabulaire voulu : les syllabes courantes deviennent des entrées uniques, les suites rares restent fragmentées.

Dans NeverNo, les jetons apparaissent dans les limites affichées pour chaque modèle. DeepSeek V4 Flash, un modèle privé gratuit, a une fenêtre de contexte de 128 000 jetons et peut écrire jusqu’à 8 192 jetons par réponse : de quoi faire tenir un long document et une longue réponse dans la même conversation. D’autres modèles offrent plus ou moins de place, et chaque page de modèle donne ses propres chiffres.

Dans l’API, la consommation est rapportée en jetons, et le paramètre max_tokens (ou max_completion_tokens) plafonne la longueur d’une réponse. Le point d’entrée des embeddings, qui transforme du texte en vecteurs pour la recherche, compte lui aussi en jetons. La page sur l’alternative à ChatGPT explique comment changer d’assistant en gardant ton historique dans ton navigateur.