IA et automatisation · Comprendre pour progresser

Token · unité de texte

Unité utilisée par un modèle pour découper le texte. Selon le modèle et la langue, elle peut correspondre à une partie de mot, un mot ou un signe.

Un ruban représentant du texte est découpé en segments de longueurs différentes, puis ces segments sont rangés dans un bac.
Un token est une unité utilisée par le modèle pour traiter le texte ; il peut correspondre à un mot, à un morceau de mot ou à un autre signe.

Un exemple concret

Un long document consomme des tokens en entrée ; la réponse en consomme aussi. Une limite peut donc être atteinte avant la fin du document.

  1. Texte original
  2. Découpage en unités
  3. Traitement du modèle

Le point à retenir

Un token n’est pas toujours un mot. Les règles de découpage et les limites varient selon le modèle.

Pour aller plus loin

Google · glossaire du machine learning (nouvel onglet)

Définition et exemple rédigés pour la communauté SCN. Mise à jour : 12 octobre 2026.