promptfoo
Outil en ligne de commande, sous licence MIT, pour tester des prompts, des agents et des RAG. Tout se déclare dans un fichier `promptfooconfig.yaml` : les prompts, les fournisseurs de modèles à comparer (OpenAI, Anthropic, Bedrock, Ollama et d'autres), les variables de chaque cas et les assertions attendues, déterministes (`contains`, `is-json`, code JavaScript) ou notées par un modèle juge (`llm-rubric`). `promptfoo view` ouvre un rapport où chaque sortie ratée se lit. Il fait aussi des tests d'attaque sur ton application (injection de prompt, fuite de données). Rachat par OpenAI annoncé le 9 mars 2026 ; le projet reste open source sous MIT et continue de servir les autres fournisseurs, d'après l'annonce et le README.
Pour qui
- Faire échouer une demande de fusion quand une modification de prompt fait baisser le score sur tes cas de référence
- Comparer deux modèles ou deux versions de prompt sur exactement les mêmes cas
- Noter les sorties subjectives (ton, refus poli, fidélité d'un résumé) par un modèle juge déclaré en YAML