Chunking (découpage de documents)
L'opération qui découpe un document en morceaux avant de les vectoriser pour un RAG. La taille et le recouvrement des morceaux décident de ce que le modèle retrouvera : trop gros et la recherche ramène du bruit, trop petit et la phrase perd le contexte qui la rendait compréhensible. Un morceau qui commence au milieu d'un tableau ou coupe une définition en deux ne sera jamais rattrapé par le classement en aval.
Forces
- Le levier de qualité le moins cher : aucun changement de modèle, aucune ligne de plus dans le prompt
- Explique en une phrase pourquoi un RAG répond à côté alors que la donnée est bien indexée
Limites
- Pas de réglage universel : la bonne taille dépend du type de document et de la question posée
Pour qui
- Diagnostiquer un RAG qui remonte du bruit avant de toucher au modèle