LLM Day-to-Day Degradation
7 mécanismes expliquant la variance de qualité des LLMs d'un jour à l'autre, même avec des weights figés : drift de température, routing A/B des providers, contamination de cache, pollution du context window, bruit de tokenization, instabilité des prompts système, et variance d'infrastructure. Chacun est diagnosticable avec des techniques spécifiques. Le mécanisme 'pollution du contexte' a été officialisé par Anthropic sous le nom Context Rot, la dégradation progressive de la qualité de raisonnement à mesure que la fenêtre se remplit, avec autocompacts faits 'au pire moment' qui produisent des résumés incohérents. Seuil opérationnel pour le mécanisme #4 (context window pollution) : au-delà de ~40% de remplissage de la fenêtre, la dégradation devient mesurable, l'attention se dilue sur le milieu du prompt, l'IA 'se souvient du début et de la fin' mais hallucine sur le milieu (dump zone). Conséquence pratique : démarrer une nouvelle conversation est plus efficace qu'empiler des messages dans la même session, même si la fenêtre annonce 1M tokens.
Forces
- 7 mécanismes distincts avec diagnostic et correction, pas une liste de problèmes, un guide d'action
- S'applique à tous les LLMs, pas seulement Claude, utile dans un workflow multi-modèle
- Connaissances fondamentales stables, ne devient pas obsolète avec les mises à jour de modèle
Limites
- Niveau avancé, nécessite de comprendre l'infrastructure des providers pour appliquer certains diagnostics
- Peu de solutions directes : plusieurs mécanismes sont hors de contrôle de l'utilisateur final
Pour qui
- Équipes déployant des agents Claude en production et observant des régressions inexpliquées
- Power users Claude Code diagnostiquant une baisse de qualité entre deux sessions identiques
- Ingénieurs ML évaluant la stabilité d'un modèle avant de l'intégrer dans un pipeline critique