LLM Tokens
LLM tokens (à ne pas confondre avec design-tokens), l'unité de mesure des LLM. Un token ≈ ¾ d'un mot en anglais (moins en français). Les LLMs lisent et écrivent en tokens, pas en mots, pas en caractères. La facturation est toujours en tokens.
Forces
- Universel, tous les LLMs utilisent des tokens, même si les ratios varient
Limites
- Le nombre de tokens varie selon la langue, le français consomme plus de tokens que l'anglais
Pour qui
- Toute personne utilisant une API LLM et voulant contrôler ses coûts