Opik
Plateforme d'observabilité pour systèmes à base de modèles, sous licence Apache 2.0, éditée par Comet. Tu instrumentes tes appels et tu obtiens le traçage complet de chaque requête (prompt envoyé, réponse, tokens, coût, latence), plus une couche d'évaluation qui rejoue des jeux de tests sur tes traces. L'auto-hébergement se fait par Docker Compose ou Kubernetes, sans fonctionnalité bridée ; l'offre cloud gérée existe en parallèle avec un palier gratuit.
Forces
- Apache 2.0 et auto-hébergeable sans fonctionnalité retirée, contrairement à la plupart des concurrents
- Traçage et évaluation dans le même produit : tu rejoues des tests directement sur des traces réelles
- Coût et latence visibles par appel, ce qui rend le budget discutable avec des chiffres
Limites
- L'auto-hébergement est une stack à maintenir : ce n'est gratuit qu'en licence, pas en temps
- Catégorie encombrée et jeune : le choix peut être à refaire dans un an
Pour qui
- Comprendre après coup pourquoi un agent en production a produit une réponse donnée
- Suivre le coût réel par appel avant que la facture devienne le sujet