Reranking : trier ce que la recherche a trouvé

La deuxième passe d'une recherche documentaire. La première, la recherche (retrieval), va vite sur une grande collection : elle compare des vecteurs calculés à l'avance et ramène par exemple les cinquante passages les plus proches de la question. Le reranking reprend cette courte liste et relit chaque passage avec la question sous les yeux, grâce à un modèle qui note chaque paire question et passage, puis réordonne. Seuls les premiers partent au modèle qui rédige la réponse. Les deux étapes ne font pas le même travail. La recherche est rapide parce qu'elle a résumé chaque document en un vecteur avant même que la question existe, et ce résumé perd de l'information. Le reranker est plus juste parce qu'il lit vraiment, et beaucoup plus lent pour la même raison : Pinecone estime que passer 40 millions de documents au reranker prendrait plus de cinquante heures, là où la recherche vectorielle répond en moins de 100 millisecondes. D'où l'ordre : trouver large et vite, puis trier court et bien.

Site officiel

Voir sur Coeurdar