Token (jeton de modèle)

Un token est l'unité de base de texte qu'un modèle IA traite. Plutôt que de lire des caractères bruts ou des mots complets, les modèles opèrent sur des séquences de tokens produites en découpant le texte d'entrée en unités standardisées par un tokenizer. Les comptes de tokens importent parce qu'ils déterminent les limites de longueur de prompt, la taille de mémoire de session et les coûts d'utilisation d'API : et parce que la capacité d'un modèle à prêter attention à du contenu à travers une très longue séquence de tokens diminue pour du contenu éloigné du point de génération courant, affectant la qualité de génération pour des prompts longs ou complexes.

Une règle empirique utile est que cent tokens correspondent à environ soixante-quinze mots en anglais, soit environ un et un tiers de tokens par mot. Les mots courts courants comme the ou and sont typiquement des tokens uniques, tandis que les mots plus longs ou plus rares peuvent se diviser en deux tokens ou plus. La ponctuation, les espaces et les caractères spéciaux consomment aussi des tokens, de sorte que les ratios réels mots-tokens varient avec le style d'écriture, la complexité du vocabulaire et le schéma de tokenisation spécifique qu'un modèle utilise.

Une fenêtre de contexte est le nombre maximal de tokens qu'un modèle IA peut traiter dans une seule session : sa mémoire de travail. Tous les tokens d'entrée (le prompt) et de sortie (la réponse) comptent dans cette limite. Lorsqu'une conversation ou un prompt dépasse la fenêtre de contexte, le contenu antérieur est tronqué ou sous-pondéré, ce qui signifie que le modèle perd l'accès à l'information qui lui a été donnée plus tôt. Les tailles de fenêtre de contexte varient sensiblement entre modèles, de quelques milliers de tokens dans les systèmes plus petits à des centaines de milliers dans les modèles de pointe.

Oui : dans les modèles multimodaux qui acceptent des entrées image, les images sont divisées en patchs spatiaux et chaque patch est converti en un token visuel. Une image typique peut générer plusieurs centaines de tokens visuels selon sa résolution et la taille de patch du modèle. Les images haute résolution consomment plus de tokens, ce qui signifie qu'utiliser des images de référence haute résolution dans un prompt multimodal peut réduire significativement le budget de tokens restant pour les instructions textuelles. Être attentif à la résolution des images lors de l'utilisation d'entrées visuelles aide à gérer l'usage de la fenêtre de contexte dans les workflows de génération conditionnée par image.

Les modèles traitent les tokens séquentiellement et distribuent l'attention à travers la séquence complète, mais cette attention n'est pas parfaitement uniforme. Le contenu près du début d'un prompt et le contenu immédiatement avant le point de génération tendent à recevoir l'attention la plus constante. Les instructions enfouies au cœur d'un long prompt (à plusieurs centaines de tokens du début) sont plus à risque d'être sous-pondérées, en particulier si le prompt approche de la limite de fenêtre de contexte du modèle. Placer les instructions créatives les plus critiques tôt dans le prompt et garder les prompts concis réduit cet effet.

Les tokens d'entrée sont les tokens qui composent le prompt soumis au modèle : tout le texte, les patchs d'image ou autre contenu fourni par l'utilisateur. Les tokens de sortie sont les tokens que le modèle génère en réponse. Dans les APIs IA commerciales, ils sont typiquement facturés différemment parce que générer des tokens de sortie requiert d'exécuter la passe avant complète du modèle pour chaque token produit, ce qui est plus intensif en calcul que de traiter les tokens d'entrée. Pour des tâches de génération à longues sorties (telles que générer un script complet ou un traitement créatif long), les coûts de tokens de sortie peuvent dépasser significativement les coûts de tokens d'entrée.

Pour les prompts de génération vidéo et image, la conscience des tokens signifie commencer par les décisions créatives et compositionnelles les plus importantes (cadrage du sujet, mouvement de caméra, style visuel, éclairage) avant d'ajouter des détails secondaires. Les modèles prêtent attention le plus constamment aux tokens précoces, de sorte qu'enfouir l'instruction clé au milieu ou à la fin d'un paragraphe dense risque une exécution incohérente. Visez des prompts concis et précis qui placent les spécificités créatives en tête et évitez les formulations redondantes qui consomment des tokens sans ajouter d'information nouvelle. Des prompts plus courts et bien structurés surpassent souvent des prompts plus longs et plus exhaustifs pour cette raison.

Non : les tokens et les paramètres décrivent des aspects entièrement différents d'un modèle IA. Les tokens sont les unités de texte ou d'entrée visuelle qu'un modèle traite au moment de l'inférence ; ils décrivent ce qui entre et sort du modèle pendant l'utilisation. Les paramètres sont les poids numériques appris stockés dans le réseau de neurones du modèle qui encodent sa connaissance et ses capacités ; ils décrivent ce que le modèle sait et comment il traite l'information. Un modèle avec plus de paramètres a plus de capacité apprise, tandis qu'un modèle avec une fenêtre de contexte de tokens plus grande peut traiter plus d'information à la fois : ce sont des propriétés indépendantes qui varient séparément entre différents modèles.