RAG causal : quand la similitude entre les mots ne permet pas de trouver la bonne réponse

Pourquoi l'analyse de similarité peut-elle sélectionner un document erroné ?

Un système RAG classique convertit la requête et les documents en représentations, calcule la similarité cosinus et retient les meilleurs candidats. Il peut ensuite intégrer un « cross-encoder reranker ». Le raisonnement est logique : un document pertinent devrait être sémantiquement proche de la requête. Cependant, la similarité mesure si deux textes traitent d'un sujet similaire, et non si l'un d'eux contient les éléments nécessaires à une réponse correcte.

Le travail De l'association à la causalité part d’un cas d’entreprise concernant l’évaluation de la sécurité des transferts transfrontaliers de données. Les documents relatifs aux données automobiles se sont classés en tête car ils reprenaient fréquemment des termes tels que « données », « transfrontalier », « données », « transfrontalier », « sécurité » et « évaluation ». La directive décrivant la procédure recherchée s’est classée en sixième position, car elle expliquait les différentes étapes à l’aide d’un vocabulaire plus technique et spécialisé.

Pour une entreprise, il s'agit d'un problème lié au produit et pas seulement d'un indicateur de classement. Si des informations erronées sont introduites dans la prompt, même un LLM puissant est limité par un contexte insuffisant. Une réponse fiable commence par la recherche d'informations, comme le montre l'architecture pratique d'un chatbot privé avec RAG basé sur la base de connaissances de l'entreprise.

Qu'est-ce que le « causal RAG reranking » exactement ?

La proposition ne construit pas de graphe de causes au sein des documents et ne demande pas au LLM de suivre des chemins causaux. Elle modélise le processus de recherche. Pour chaque document retrouvé, l'ensemble latent A comprend les termes communs à la question et au document, qu'il s'agisse d'une correspondance exacte ou d'une proximité sémantique. Le B comprend le vocabulaire résiduel et pondéré du document.

Dans le schéma des auteurs, A sert de cause commune à la question et au document, tandis que B relie le document à la réponse idéale. Le document récupéré est un « collider » dans la structure A → d ← B. Son sélection en tant que candidat « établit » une corrélation entre la requête et B, que la méthode utilise comme motivation pour un nouveau score.

Il convient d'accorder une attention particulière à la terminologie. Les auteurs indiquent clairement qu’ils n’estiment pas l’effet causal et que le score n’est pas un estimant causal identifié. L’article fournit une justification structurelle et motivationnelle ; ce sont les expériences qui permettront de déterminer si le concept fonctionne.

Comment fonctionne le score de type « attention » sans nouvel apprentissage ?

Le processus s'applique à l'ensemble de documents candidats, déjà restreint, fourni par le moteur de recherche. Un extracteur de mots-clés génère des termes pondérés pour la requête et chaque document candidat. Les termes du document qui correspondent exactement ou sémantiquement au vocabulaire de la requête sont transférés vers A. Lors des expériences, un seuil d'absorption sémantique de 0,6 a été utilisé.

Pour les termes restants dans B, on calcule un embedding de centroïde pondéré. Le score d'attention causale correspond à la similarité cosinus entre l'embedding de la question et ce centroïde. Un document qui se contente de répéter les mots de la question présente un B faible ou pauvre et a tendance à être déclassé. Un document dont le vocabulaire résiduel décrit le processus ou l'élément contenant la réponse peut être reclassé à la hausse.

Cette méthode ne nécessite aucun réglage fin et, conformément au flux proposé, n'ajoute pas d'appel LLM au moment de la requête. Elle ajoute l'extraction de mots-clés et des embeddings pour des dizaines de termes résiduels dans un ensemble de candidats de taille à un chiffre ou à deux chiffres. Cela peut sembler faible par rapport à la recherche initiale, mais ne constitue pas une garantie universelle en matière de latence pour toutes les infrastructures.

Pourquoi l'absorption sémantique est-elle nécessaire ?

La version « exact-match » ne retirait de B que les termes qui correspondaient exactement à la requête. Le problème est qu’un distracteur peut utiliser des synonymes ou une terminologie apparentée et conserver dans B suffisamment de signaux superficiels pour obtenir un score élevé. L’absorption sémantique transfère vers A les termes proches des termes de la requête dans l’espace d’embedding.

Dans le corpus testé, la variante « exact-match » a présenté un comportement irrégulier. La variante « semantic » a placé le document contenant la réponse en première ou deuxième position pour les huit thèmes. La position moyenne s'est améliorée, passant de 2,88 dans la référence de similarité à 1,25, tandis que la position moyenne des deux distracteurs bourrés de mots-clés par sujet est passée de 2,00 à 4,50.

Le score hybride, qui accorde une pondération égale à la similarité normalisée et au score d’attention causale, a atteint une position moyenne de 1,38 et, dans ces séries de tests, n’a pas placé la cible en dessous de la valeur de référence. Cela plaide en faveur d'une fusion prudente des signaux, comme c'est le cas dans le Recherche hybride basée sur l'IA combinant mots, embeddings et solutions de repli, ce qui ne prouve pas qu'une répartition fixe de 50/50 soit optimale dans tous les cas.

Que révèlent les 471 documents en termes de base de connaissances réelle ?

L'étude de cas de déploiement a utilisé 471 fichiers locaux d'une taille totale de 2,95 Go : lois, règlements, rapports internes, ouvrages spécialisés et articles au format Word et PDF. Les fichiers ont été nettoyés, divisés en segments de 4 096 caractères avec un chevauchement de 512, puis intégrés à l'aide de BGE-M3 dans des vecteurs de 1 024 dimensions.

En ce qui concerne la question de la sécurité des transports transfrontaliers, la directive appropriée est passée de la sixième place au top 3. Ce résultat démontre que le mécanisme a corrigé une véritable erreur au sein de ce corpus spécifique. Il ne s'agit pas d'une preuve statistique d'une supériorité générale : il s'agit d'une étude de cas sélectionnée, tandis que l'analyse quantitative contrôlée provient des expériences suivantes.

Ce scénario est familier aux gestionnaires de connaissances. À mesure que s’accumulent les versions, les notes de politique, les présentations et autres manuels similaires, la proximité thématique s’accroît. L'architecture de recherche doit alors faire la distinction entre « traite du même sujet » et « contient la procédure demandée ». Les techniques de compression, telles que les Arbres de compression sémantique pour réduire le contexte RAG, elles apportent une réponse à un aspect différent du problème et ne remplacent pas le choix d'une preuve pertinente.

Le test de diagnostic pour le bourrage de mots-clés

Pour disposer d'une « ground truth » connue, les chercheurs ont constitué un petit corpus synthétique comprenant huit sujets, dont cinq en chinois et trois en anglais. Chaque thème comportait une cible contenant la réponse, des textes quasi-pertinents, deux distracteurs délibérément bourrés de mots-clés et des documents non pertinents. Les thèmes abordaient la sécurité du transfert de données, les traitements de la médecine traditionnelle chinoise, la tâche de sélection de Wason, le nettoyage des données de pré-entraînement des LLM, l'évaluation de l'impact sur la vie privée, ColBERT et SPLADE.

Le cross-encoder BGE-reranker-v2-m3 n'a amélioré la position moyenne de la cible que de 2,88 à 2,63 et a laissé les distracteurs près du sommet. La variante « semantic causal » a atteint 1,25. Ce résultat montre que la technique résout le mode de défaillance pour lequel elle a été conçue, mais ne signifie pas pour autant qu’elle excelle dans toutes les charges de travail de recherche.

Les résultats négatifs obtenus aux tests de performance BEIR modifient la conclusion

Dans les ensembles de données SciFact, NFCorpus et ArguAna du BEIR, le « causal score » a clairement sous-performé. Dans SciFact, la méthode de référence affichait un nDCG@10 de 0,642, le « cross-encoder » de 0,716 et le « causal score » de 0,157. Dans NFCorpus, les valeurs correspondantes étaient respectivement de 0,317, 0,337 et 0,136. Dans ArguAna, elles étaient de 0,398, 0,470 et 0,213.

L'explication est plausible : dans les corpus de type « factoid », le document pertinent utilise souvent exactement le vocabulaire de contenu de la question. Si ce vocabulaire est intégré dans A, B peut se retrouver avec des termes distincts mais qui ne constituent pas une réponse pertinente. Le score récompense alors des textes thématiquement proches sans qu'ils constituent la meilleure preuve.

Le cross-encoder et le causal score ne sont pas de simples concurrents. Le premier est performant lorsque la pertinence sémantique « soft » constitue un signal fiable. Le second vise les contextes où ce signal est faussé par la répétition et par des distracteurs proches du sujet. La bonne question est « dans quel type de corpus chacun fonctionne-t-il ? », et non « quel reranker l'emporte-t-il en général ? ».

La porte d'étalonnage avant la production

Les auteurs ont testé trois indicateurs peu coûteux par requête sur les 10 meilleurs candidats : le chevauchement des mots-clés, le pourcentage de poids absorbé dans A et l'écart normalisé entre les deux scores de similarité les plus élevés. Aucun de ces indicateurs n'a permis de distinguer de manière fiable le « keyword stuffing » du régime « factoid ». La relation entre le classement basé sur les mots-clés et la pertinence réelle n'est pas visible sans étiquettes.

La proposition pratique consiste en un calibrage hors ligne au niveau du corpus. L'équipe échantillonne des requêtes, identifie la réponse correcte à l'aide d'un jugement humain ou d'un LLM supervisé, compare le classement de référence et le nouveau classement, puis active le reranker uniquement si la différence est positive. Sur 2 000 tirages bootstrap, 30 sondes ont fourni une fiabilité d'au moins 95% pour la bonne décision de désactivation sur les trois ensembles de données BEIR. Dans le petit corpus de diagnostic, quatre sondes ont fourni une fiabilité de 1 001 TP3T pour l'activation.

Ces chiffres se rapportent à ces données. Ils ne garantissent pas que 30 sondes suffisent pour chaque organisme. L'échantillon doit être représentatif du corpus et des intentions réelles, tandis qu'une base de connaissances en constante évolution nécessite un recalibrage périodique. La valeur architecturale réside dans le « release gate » et le « fallback », et non dans un benchmark ponctuel.

Coût, confidentialité et dépendances techniques

L'implémentation de référence a été reconstruite localement avec Qwen3-4B comme générateur et module de traduction, et BGE-M3 pour les embeddings. Elle comprend l'analyse syntaxique de fichiers Word/PDF, le nettoyage des données, le découpage en segments, la recherche avec seuil, la traduction des segments et la génération de prompts. Le code du banc d'essai et des expériences est mis à disposition du public par les auteurs.

Le fonctionnement en mode local est utile pour les organisations qui ne peuvent pas envoyer de documents juridiques, réglementaires ou internes à des services externes. Cela ne signifie pas pour autant qu’il s’agit d’une solution « plug-and-play ». La qualité dépend de l'extracteur de mots-clés, des poids, du seuil d'absorption, du modèle d'embedding, du chunking, de la fenêtre de candidats et de la manière dont les scores sont combinés. Le travail reconnaît qu'une analyse par ablation plus complète de ces paramètres est nécessaire.

Le pipeline de récupération nécessite également une traçabilité. Sa logique RAG sensible au champ et routage contrôlé par schéma Cela montre pourquoi les autorisations et la portée de la récupération sont tout aussi importantes que le classement. Si l'agent peut rechercher la mauvaise collection ou utiliser un document non autorisé, même un meilleur reclassement ne comble pas cette lacune en matière de gouvernance.

Qu'est-ce que cela signifie pour un RAG opérationnel ?

Pour le service client, les opérations de commerce électronique, la conformité et la recherche interne, l'équipe doit vérifier si le bon fragment parvient jusqu'à la ligne de commande. La qualité de la réponse sans trace de recherche masque les échecs : une bonne réponse peut provenir des connaissances antérieures du modèle, tandis qu’une réponse erronée peut être due à des preuves incorrectes et non au générateur.

L'observabilité doit enregistrer la requête, le classement initial, le nouveau classement, la taille A/B, les identifiants de source, les éléments fournis dans le prompt et le résultat fourni par l'évaluateur ou la tâche en aval. C'est ce même principe de provenance dont a besoin la mémoire d'un agent IA avec preuves C'est également vrai ici : sans lien entre l'affirmation et la source, l'équipe ne peut pas distinguer une amélioration d'un succès fortuit.

Le modèle opérationnel doit comporter un responsable, une fréquence de réévaluation et une condition d'arrêt. Les pratiques des les applications de l'IA d'entreprise et des preuves de vérification dans les environnements d'exécution d'IA sont liés : le changement de classement doit produire un artefact documenté, et non rester un choix invisible au sein d'une chaîne.

Sept étapes pour un pilotage en toute sécurité

Un projet pilote peut être de petite envergure, mais il doit tester le corpus réel et les intentions réelles. L'objectif n'est pas de reproduire l'étude dans son intégralité, mais de démontrer s'il existe bel et bien un système de bourrage de mots-clés et si la modification améliore la recherche de preuves sans nuire aux autres questions.

Le NIST AI RMF inscrit la mesure et la gestion dans un cycle continu : « Govern », « Map », « Measure » et « Manage ». Pour un système RAG, cela implique un périmètre documenté, des tests avant le déploiement, une surveillance en production et une décision claire quant au moment où la technique doit être désactivée.

Limites et conclusion pratique

Cet article est un prépublication de 16 pages, version v1 du 22 août 2026. Le corpus d'entreprise est privé et la principale expérience quantitative positive est de petite envergure et synthétique. Le résultat de l'étalonnage repose sur une méthode de bootstrap appliquée aux scores disponibles, et non sur de nombreuses installations de production indépendantes.

La méthode dépend de la qualité de l'extraction des mots-clés et de l'hypothèse selon laquelle le vocabulaire résiduel B porte le signal porteur de la réponse. Dans les corpus de factoïdes, cette hypothèse s'est révélée erronée. L'agrégation par similarité, les seuils et le routage par collection restent des choix de conception ouverts qui nécessitent une validation spécifique au domaine.

Cette conclusion mûrement réfléchie est utile précisément parce qu’elle n’est pas d’une absoluité spectaculaire. Le reclassement causal RAG mérite d’être testé lorsque la base de connaissances d’une entreprise contient de nombreux documents similaires et présente des faux positifs regorgeant de termes de requête. Son activation en production ne vaut la peine que lorsque des sondes étiquetées démontrent un avantage sur le corpus en question. La meilleure innovation en matière de recherche n'est pas celle qui modifie chaque classement ; c'est celle qui sait quand il faut conserver le classement de référence.