Heretic
Heretic est un outil en ligne de commande qui retire d'un modèle de langage ses refus appris (l'alignement de sécurité), sans le réentraîner. Il s'appuie sur l'ablation directionnelle, ou « abliteration » (Arditi et al., 2024) : il repère dans le modèle la direction qui déclenche le refus, puis l'atténue. Un optimiseur (Optuna, méthode TPE) cherche seul les réglages qui minimisent à la fois le nombre de refus et l'écart avec le modèle d'origine (divergence KL), pour garder l'intelligence du modèle. Licence AGPL-3.0, prise en charge de la plupart des modèles denses, de plusieurs architectures à mélange d'experts et de certains modèles multimodaux ; les modèles à espace d'états purs ne sont pas encore pris en charge.
Forces
- Entièrement automatique : une commande et un nom de modèle, sans comprendre les entrailles d'un transformeur
- Cherche l'équilibre lui-même : il minimise à la fois les refus et l'écart avec le modèle d'origine, pour limiter la perte de qualité
- Utile à la recherche et au red teaming : mesurer à quel point l'alignement d'un modèle ouvert tient vraiment
Limites
- Retire des garde-fous : le modèle produit répond à ce que l'original refusait, et la responsabilité de l'usage est entièrement la tienne
- AGPL-3.0 : l'intégrer à un service en ligne oblige à publier les sources de ce service
- Limites de couverture : seules les projections de sortie de l'attention et de descente du MLP sont ciblées, et les modèles à espace d'états purs ne sont pas pris en charge
Pour qui
- Chercheurs et équipes de sécurité qui testent la robustesse de l'alignement d'un modèle ouvert
- Développeurs qui déploient un modèle ouvert et veulent savoir ce qu'un tiers peut en faire avant de décider de leurs propres filtres