La tokenization est le processus par lequel les modèles découpent l'entrée textuelle en unités discrètes (tokens) avant de la traiter. Comprendre la tokenization aide à expliquer certaines façons dont les modèles interprètent et parfois méinterprètent les prompts. La longueur du prompt en tokens affecte le coût de traitement et la capacité du modèle à accorder une attention égale à toutes les parties du prompt.