Qu'est-ce qu'un token ?

Un token, c'est quoi exactement ?

Un token est la plus petite unité de texte qu'un modèle de langage manipule. Ce n'est ni un mot, ni un caractère : c'est un morceau de texte intermédiaire, produit par un algorithme de découpage appelé tokenisation.

En pratique, un token représente environ quatre caractères, ce qui correspond à peu près à trois quarts d'un mot en français. La phrase « Bonjour, comment allez-vous ? » représente ainsi une poignée de tokens, pas des dizaines.

C'est cette unité que les modèles utilisent pour lire, comprendre et produire du texte. Tout ce qui entre dans un modèle et tout ce qui en sort est mesuré en tokens.

Comment un texte est découpé en tokens

Imaginez que le modèle « lit » un texte en le découpant en petits blocs avant de le traiter. Les mots courants et courts tendent à former un seul token ; les mots longs, rares, accentués ou composés sont souvent divisés en plusieurs morceaux. Les espaces et la ponctuation comptent aussi — ils peuvent former un token à eux seuls ou être rattachés au mot adjacent.

Le tableau suivant donne des ordres de grandeur indicatifs pour avoir une idée concrète :

Texte	Nombre de tokens (ordre de grandeur)
Un mot courant court (« chat », « vous »)	1 token
Un mot long ou rare (« anticonstitutionnellement »)	5 à 7 tokens
Une phrase simple (10 mots environ)	12 à 16 tokens
Un paragraphe (100 mots environ)	130 à 160 tokens
Une page A4 de texte courant	500 à 700 tokens

Ces valeurs varient selon le modèle et la langue utilisée. Elles sont données à titre indicatif pour vous aider à vous repérer.

Pourquoi les tokens comptent

Les modèles d'IA traitent le texte token par token. C'est pourquoi trois dimensions importantes sont toutes exprimées en tokens :

• La limite de contexte : un modèle ne peut traiter qu'un certain nombre de tokens à la fois — c'est ce qu'on appelle la fenêtre de contexte. Au-delà, il ne « voit » plus ce qui précède.
• Le coût d'utilisation : les fournisseurs de modèles facturent leurs API au token. Plus un échange est long, plus il consomme de tokens, et donc plus il coûte.
• Le réservoir Modik : chez Modik, votre abonnement inclut un réservoir exprimé en tokens réels. Chaque message envoyé ou contenu généré en prélève une partie, selon la longueur de l'échange et le modèle sélectionné. Pour en savoir plus sur le fonctionnement du réservoir, consultez la page tokens et réservoir.

Les tokens sont comptés dans les deux sens : ce que vous envoyez (votre message, un fichier joint, un prompt) et ce que le modèle vous répond contribuent tous les deux à la consommation.

Tokens et langue française

L'anglais est la langue la mieux représentée dans l'entraînement des grands modèles. Ses mots courants valent souvent un seul token. En conséquence, un texte en français consomme en général un peu plus de tokens qu'un texte de même sens en anglais : les mots accentués, les mots composés et les terminaisons variables sont davantage découpés.

En pratique, retenez cet ordre de grandeur : 750 mots en anglais ≈ 1 000 tokens ; en français, le même volume de texte représente plutôt 1 050 à 1 150 tokens. L'écart reste modeste pour un usage courant, mais peut devenir sensible sur de longs documents.