Observabilité LLM
Tracer ce que fait vraiment ton app IA en production : chaque appel au modèle, son coût, sa latence, et surtout la qualité de la réponse. Une app LLM peut échouer sans rien casser : le serveur est vert, l'API répond vite, et le chatbot sort quand même une réponse fausse. Le monitoring d'infra classique ne voit rien. L'observabilité LLM capture la trace complète (prompt, réponse, étapes de l'agent) pour que tu puisses débugger après coup.
Forces
- Rejoue la trace exacte (prompt, réponse, étapes agent) qui a produit un bug
- Mesure le coût et la latence par appel, pas juste au global
- Sert de socle pour brancher des évals et détecter les régressions de qualité
Limites
- Un outil de plus à instrumenter et à maintenir dans la stack
- Les traces contiennent des données utilisateur : attention au périmètre de rétention
Pour qui
- Une app ou un agent IA qui passe en production face à de vrais utilisateurs
- Une équipe qui veut arrêter de débugger les hallucinations au feeling