Guardrails (garde-fous d'un système LLM)
Les contrôles posés autour du modèle pour empêcher une sortie inacceptable de partir en production : filtrage de l'entrée, vérification de la sortie contre un schéma, refus des sujets hors périmètre, détection d'injection de prompt. Le modèle n'est pas le garde-fou de lui-même : c'est la couche autour de lui qui décide de ce qui passe et de ce qui est bloqué.
Forces
- À ne pas confondre avec une API de modération : le garde-fou applique des règles pendant la requête et peut bloquer une entrée ou une réponse (une réponse qui exposerait des données privées, par exemple) ; l'API de modération signale seulement un contenu nuisible (haine, menaces). La modération est un des contrôles que ton garde-fou peut appeler, pas son synonyme ([Instagram reel DezVgr8gjd1](https://www.instagram.com/reel/DezVgr8gjd1/))
- Cas concret : l'agent de prospection Harvey fait passer chaque mail rédigé par un contrôle écrit en code avant l'envoi (balises non remplacées, phrases bannies, longueur, liens en trop, adresses non vérifiées). Le modèle rédige, ce n'est pas lui qui décide si le mail part
- Vit dans ton code, donc hors de portée d'une injection de prompt
- La validation par schéma attrape aussi les erreurs de format, pas seulement les abus
- Se posent à trois moments distincts : avant la génération (filtrer l'entrée), pendant (contraindre le format demandé), après (vérifier la sortie). Un seul des trois laisse passer ce que les deux autres auraient arrêté
- Posé dans l'outil et dans le périmètre donné, pas seulement dans la consigne : un agent qui bute sur une limite cherche un chemin. Anthropic en a observé en évaluation raccourcissant une URL pour passer la limite d'un outil de lecture web, ou réutilisant un jeton trouvé dans un fichier de configuration. Les parades qui ont tenu : resserrer les outils d'accès à Internet et détecter puis bloquer ces comportements par classifieur.
Limites
- Trop de contrôles et le système refuse des demandes légitimes : le réglage se paie en faux positifs
Pour qui
- Cadrer un agent en production dont la sortie est lue par des utilisateurs