LangSmith
Plateforme de l'équipe LangChain pour observer, évaluer et versionner les prompts d'une application LLM : chaque étape d'un appel ou d'un agent est tracée, les sorties se notent sur des jeux de données ou par un modèle juge, et les prompts se testent dans un playground. Elle ne demande pas LangChain : la documentation cite OpenAI, Anthropic, CrewAI, Vercel AI SDK ou Pydantic AI, et elle reçoit les traces OpenTelemetry de n'importe quelle application sur son point d'entrée `/otel`. Offre Developer gratuite (un siège, 5 000 traces par mois), offre Plus à 39 $ par siège (10 000 traces), traces de base conservées 14 jours, auto-hébergement réservé à l'offre Enterprise.
Forces
- Traces de chaque étape, évaluation et playground de prompts dans le même produit
- Indépendant de LangChain : traces OpenTelemetry acceptées depuis n'importe quelle pile
- Offre gratuite suffisante pour instrumenter un prototype (5 000 traces par mois)
Limites
- Service hébergé : les traces quittent ta machine, auto-hébergement seulement en Enterprise
- Traces de base conservées 14 jours, la rétention longue se paie
- Ne remplace pas un suivi d'erreurs : il observe la qualité des réponses, pas les plantages
Pour qui
- Relier une mauvaise réponse en production à l'étape de l'agent qui l'a produite
- Noter les sorties d'un prompt sur un jeu de cas avant et après une modification
- Instrumenter une application qui n'utilise pas LangChain, par OpenTelemetry