Evals (évaluation d'un système LLM)
Le jeu de tests qui mesure si ton système à base de modèle fait ce qu'il doit, sur des cas que tu as choisis à l'avance. Sans evals, tu changes un prompt, tu regardes trois réponses, tu trouves que c'est mieux, et tu n'as aucune idée de ce que tu viens de casser ailleurs. Avec des evals, une modification devient un chiffre qui monte ou qui descend, et une régression se voit avant la mise en ligne.
Forces
- Deux paires à distinguer. Évals hors ligne : des questions ou tâches préparées, souvent avec la réponse attendue, passées avant le déploiement. Évals en ligne : les vraies interactions en production, qui attrapent ce que ton jeu de test a raté. Côté retours, l'explicite est ce que l'utilisateur dit (pouce haut ou bas), l'implicite est ce que tu déduis de ses actes (il clique sur un lien de la réponse) ([Instagram reel DezVgr8gjd1](https://www.instagram.com/reel/DezVgr8gjd1/))
- Rend une modification de prompt mesurable au lieu d'être une impression
- Attrape les régressions silencieuses, celles qui ne cassent rien mais dégradent la réponse
Limites
- Les métriques jugées par un modèle consomment des appels API : une suite large coûte à chaque run
- Facile de mesurer ce qui est facile à mesurer plutôt que ce qui compte pour l'utilisateur
Pour qui
- Prouver avec des chiffres que le changement de prompt a bien amélioré le système