Observabilité LLM
Tracer ce que fait vraiment ton app IA en production : chaque appel au modèle, son coût, sa latence, et surtout la qualité de la réponse. Une app LLM peut échouer sans rien casser : le serveur est vert, l'API répond vite, et le chatbot sort quand même une réponse fausse. Le monitoring d'infra classique ne voit rien. L'observabilité LLM capture la trace complète (prompt, réponse, étapes de l'agent) pour que tu puisses débugger après coup. Deux mots qu'on confond : un journal (log) enregistre des événements isolés de ton application, une trace suit une seule requête de bout en bout, à travers les appels au modèle, les outils, la recherche documentaire et les agents. C'est la trace qui te dit où une réponse a déraillé.
Forces
- Rejoue la trace exacte (prompt, réponse, étapes agent) qui a produit un bug
- Mesure le coût et la latence par appel, pas juste au global
- Sur un agent, expose le taux de réussite et la suite d'étapes suivies : c'est ce qui montre une boucle, qu'aucune moyenne ne révèle
- Sert de socle pour brancher des évals et détecter les régressions de qualité
Limites
- Un outil de plus à instrumenter et à maintenir dans la stack
- Les traces contiennent des données utilisateur : attention au périmètre de rétention
Pour qui
- Une app ou un agent IA qui passe en production face à de vrais utilisateurs
- Une équipe qui veut arrêter de débugger les hallucinations au feeling