CoreSec : pourquoi un système d'IA fiable doit savoir quand ne pas donner de réponse

CoreSec explique pourquoi la abstention, la définition claire des rôles et la piste d'audit renforcent la sécurité d'un système d'IA lorsque des données manquent ou sont contradictoires.

Réponse d'abord : Un système d'IA fiable ne doit pas transformer chaque ensemble de données imparfait en une réponse certaine. Il faut un droit explicite à l'abstention, des règles précises permettant de déterminer quelles preuves sont obligatoires ou déterminantes, ainsi qu'un parcours sécurisé vers l'intervention humaine lorsque les signaux font défaut ou sont contradictoires.

CoreSec, un système de production d'analyse des causes profondes pour les réseaux Clos d'Azure, montre comment ce principe fonctionne à grande échelle. Il remplace la notation pondérée par une synthèse de type PAM, cinq configurations tenant compte de la topologie et une piste d'audit vérifiable. Le AI : abstention Il ne s'agit pas ici d'une faiblesse du système ; c'est le mécanisme qui empêche qu'un diagnostic incertain ne se traduise par une action automatisée erronée.

Sommaire

Le problème, c'est le bruit, et pas seulement le manque de données

Qu'est-ce qui est le plus dangereux pour un système automatisé : retarder une réponse ou donner une réponse erronée avec certitude ? Dans le cadre de l'analyse des causes profondes d'une grande infrastructure cloud, la deuxième option peut déclencher une mesure corrective inappropriée, prolonger un incident et faire perdre à l'équipe de précieuses minutes en recherches inutiles. CoreSec a été conçu selon un principe différent : lorsque les données sont incomplètes, obsolètes ou contradictoires, le système doit pouvoir s'abstenir d'identifier une cause.

Une grande infrastructure de centre de données n'est jamais dans un état de « santé » parfaite. Les câbles présentent des erreurs CRC, les liaisons subissent des fluctuations, les modules optiques se dégradent et les commutateurs redémarrent ou sont mis à niveau de manière progressive. L'architecture Clos dispose de nombreux chemins équivalents, de sorte que le trafic contourne une grande partie de ces défaillances sans que le client ne rencontre de problème immédiat et visible.

L'étude indique qu'à un moment donné, il est normal que 0,3 % à 1 % des liaisons présentent des pertes, des fluctuations ou une dégradation des performances optiques. Lorsqu’une charge de travail présente une latence élevée ou des pertes, le système détecte simultanément plusieurs entités suspectes. Certaines sont liées à cet incident spécifique, tandis que d’autres font partie du bruit de fond constant des défaillances. L'abondance des données de télémétrie n'équivaut donc pas à une preuve irréfutable.

Les « gray failures » compliquent encore davantage la situation. Il ne s'agit pas d'interruptions totales, mais de défaillances partielles, intermittentes ou aléatoires : un module optique peut perdre un faible pourcentage de paquets dans un seul sens, une carte de ligne peut affecter les flux transitant par un chemin ECMP spécifique, ou un bug de firmware peut provoquer de brefs redémarrages qui échappent aux moniteurs de santé.

L'idée va au-delà des réseaux. Chaque flux de travail opérationnel utilisant l'IA pour automatiser des tâches implique une forme de jugement entre des données incomplètes et une action qui a un coût. La différence est que, dans un système sérieux, l'incertitude ne se cache pas derrière un score de confiance.

Pourquoi la notation pondérée donnait des réponses convaincantes mais instables

L'approche précédente sur Azure rassemblait les signaux provenant de différents agents de télémétrie, attribuait un poids à chacun d'entre eux et retenait finalement l'entité présentant la somme la plus élevée. Le raisonnement semble logique : le signal le plus fiable se voit attribuer un poids plus important. Dans la pratique, cependant, la fiabilité n'était pas une propriété constante d'un agent ; elle variait en fonction du mode de défaillance.

Les sondes actives détectent rapidement les problèmes de connexion, mais peuvent présenter des lacunes de couverture. Les compteurs de périphériques fournissent des indications directes sur le matériel, mais comportent du bruit et ont des fréquences de mise à jour variables. Les signaux dérivés du trafic reflètent l'impact réel sur les clients, mais nécessitent un trafic suffisant. Les synthèses d'infrastructure couvrent des situations générales, mais sont disponibles plus tardivement. Le fait de condenser tout cela en un seul chiffre efface la différence entre « je n’ai pas de données », « les données divergent » et « un signal décisif suffit ».

Selon l'article, l'approche pondérée présentait un taux de faux positifs compris entre 18 % et 22 %. La modification des poids visant à améliorer un type de défaillance en aggravait un autre, tandis que le système devait toujours désigner un coupable, même lorsque le réseau n'était pas en cause. C’est là une leçon cruciale également pour l’IA d’entreprise : la note la plus élevée parmi des options peu convaincantes ne se traduit pas automatiquement par une décision sûre.

Note pondérée

Tous les signaux se résument à un chiffre. L'absence, le désaccord et l'indication décisive perdent leur signification propre.

Classement forcéAccord instable

Composition basée sur les rôles

Chaque agent est désigné comme « requisite », « required », « sufficient » ou « optional » pour la surface de défaillance concernée.

Rôle expliciteAffaire « Freshness »

Abstention avec trace

Lorsque des éléments de preuve essentiels font défaut ou que les signaux sont contradictoires, la procédure d'atténuation est interrompue et l'opérateur cherche à en déterminer la cause.

IndéterminéEscalade humaine

Quatre rôles pour chaque signal

CoreSec considère le RCA comme un problème de composition et s'inspire de la logique des modules d'authentification enfichables (PAM). Au lieu de se contenter de demander « dans quelle mesure cet agent est-il fiable ? », il définit précisément quel rôle il est autorisé à jouer dans la prise de décision concernant une surface de faille donnée.

  • Condition requise : Si le signal déterminant est absent, s'il est périmé ou s'il ne respecte pas son seuil, la configuration en question est immédiatement interrompue.
  • Obligatoire : Tous les agents requis doivent réussir le test pour qu'un vote soit émis ; si l'un d'entre eux échoue, la configuration est finalement rejetée.
  • Suffisant : Un signal positif et fort suffit pour voter immédiatement, sans attendre les autres.
  • Facultatif : Il apporte un contexte utile, mais ne peut à lui seul déterminer le résultat.

Pour un câble serveur-TOR, le signal de perte de porteuse provenant de la carte réseau peut servir de condition nécessaire, un délai d'expiration RDMA de condition suffisante, l'état des compteurs CRC de condition requise et un événement récent du plan de contrôle de condition facultative. Cette classification codifie des connaissances opérationnelles. Elle ne prétend pas qu’un compteur ou un événement soit globalement bon ou mauvais ; elle indique dans quel mode de défaillance et dans quelles conditions il est déterminant.

Ce modèle est utile pour les agents IA, à condition qu'il soit considéré comme un principe et non comme une recette toute faite. Dans un processus de remboursement, par exemple, le paiement confirmé peut être une condition préalable, une annulation explicite de la part du client peut être obligatoire et un signal de sentiment peut être facultatif. La même logique de conversion des instructions en compétences vérifiables en matière d'IA nécessite des règles versionnées, des autorisations claires et une validation humaine pour les actions sensibles.

Le troisième état : « healthy », « unhealthy » ou « indeterminate »

Chaque agent évalue un signal comme « sain », « malsain » ou « abstention ». Pour les métriques bruitées, deux seuils sont utilisés : en dessous du seuil bas, l'indicateur est considéré comme « sain » ; au-dessus du seuil haut, il est considéré comme « problématique » ; entre les deux se trouve la zone d'abstention. Un pic transitoire ne se traduit pas automatiquement par un diagnostic.

Au niveau de la fusion, CoreSec utilise trois états : H pour « healthy » (sain), U pour « unhealthy » (malsain) et I pour « indeterminate » (indéterminé). Un U fiable prévaut, le H nécessite un accord et un conflit conduit à I. Ce travail propose un opérateur de fusion associatif, de sorte que le même ensemble de preuves valides conduise au même résultat, quel que soit l'ordre d'arrivée.

Cette distinction va bien au-delà d'un simple faible niveau de confiance. Les messages « données insuffisantes », « les deux systèmes ne sont pas d’accord » et « une condition préalable essentielle n’a pas été remplie » peuvent tous entraîner une interruption, mais nécessitent une action différente par la suite. La trace de décision doit consigner la cause de l'abstention, et pas seulement le résultat final.

Ce même besoin se manifeste dans les workflows d'IA qui conservent la mémoire et l'état. Un rollback sémantique pour les agents IA Ce n'est pas complet si cela se contente de restaurer la base de données tout en laissant active la conclusion erronée qui a conduit à l'action. L'état de la décision et le motif de l'abstention doivent faire partie de la piste d'audit.

Cinq configurations parallèles au lieu d'un moteur universel

CoreSec ne cherche pas à résoudre tous les cas à l'aide d'une formule universelle. Il exécute en parallèle cinq configurations correspondant à différentes surfaces d'attaque : câble serveur-TOR, commutateur TOR, câble commutateur-commutateur, commutateur T1 et commutateur T2. Chaque configuration dispose de ses propres agents de référence, indicateurs et séquence d'évaluation fixe.

Cette distinction protège le système contre une convergence prématurée. Une défaillance de câble présente une signature différente de celle d'une défaillance T1. Dans le premier cas, une perte bidirectionnelle persistante détectée par les sondes actives peut être déterminante. Dans le second cas, il est nécessaire de corréler les problèmes sur plusieurs TOR et divers chemins de sondes. Si une configuration ne dispose pas d’une couverture adéquate, elle s’abstient plutôt que de se fonder sur un signal non pertinent.

Les auteurs indiquent que ces cinq configurations ont fonctionné dans différents environnements Azure sans nécessiter de recalibrage à chaque déploiement. Cela ne signifie pas que chaque entreprise peut reproduire ces paramètres. Cela signifie que l'isolation des surfaces de défaillance et l'attribution explicite des rôles peuvent s'avérer plus fiables qu'un score unique visant à couvrir tous les cas de figure.

Comment la topologie choisit le niveau responsable

La composition de type PAM fonctionne dans toutes les configurations. Ensuite, des heuristiques tenant compte de la topologie résolvent les conflits entre les niveaux. Pour un candidat TOR, CoreSec utilise la valeur P2.15, c'est-à-dire le 97,85e centile de la distribution des serveurs affectés, ainsi qu'une condition minimale : au moins 20 % des serveurs du réseau TOR doivent avoir été affectés.

Pour un T1, la règle est de prendre en compte les deux tiers du fan-out. Si au moins les deux tiers des TOR qui lui sont connectés présentent un état « unhealthy », le T1 est identifié comme cause première et les différents candidats TOR sont mis hors service. L'analyse de sensibilité de ce travail indique qu'un seuil de 50 % était trop permissif, que 75 % augmentait le nombre de faux négatifs et que la plage autour de 66 % présentait le taux d'erreur global le plus faible.

Au niveau du cluster, une baisse de la sondage agrégée supérieure à 4 % déclenche l'attribution au niveau du cluster. Les valeurs inférieures à 3 % correspondaient à une instabilité transitoire du chemin, tandis que celles supérieures à 5 % n'avaient pas d'impact perceptible pour le client. Ces seuils sont spécifiques aux infrastructures Azure Clos et ne constituent pas des références générales pour le commerce électronique, le marketing ou le service client.

La traduction opérationnelle repose sur le concept de hiérarchie. Un symptôme local ne doit pas prévaloir sur un modèle plus fort au niveau du système, mais une alerte générale ne doit pas non plus masquer des dysfonctionnements indépendants. Dans une IA dédiée au service client, par exemple, le mot « annulation » dans un message ne suffit pas pour déclencher un remboursement si l’état de la commande, du paiement et de la police d’assurance ne concordent pas. Les des chatbots qui soutiennent de véritables petites entreprises Une escalade est nécessaire lorsque la réponse a des implications financières, concerne l'accès ou porte sur des conditions juridiques.

Seize minutes pour une convergence sans oscillations

CoreSec se déclenche après la détection d'un incident et analyse une fenêtre de télémétrie de seize minutes. Il réexécute l'analyse RCA toutes les cinq minutes. L'agent le plus lent nécessite environ treize minutes, ce qui laisse peu de marge au sein de cette fenêtre pour que les données en retard se stabilisent.

La convergence est monotone : une attribution de niveau inférieur peut être remplacée par une attribution plus forte de niveau supérieur, mais pas l'inverse. Lorsque la condition de suffisance d’une couche est satisfaite, la décision reste stable. L'étude indique que dans environ 99 % des cas, le résultat se stabilise au cours des deux premières itérations et que les oscillations observées dans l'approche précédente n'ont pas été constatées.

Si, à la fin de la fenêtre, aucun niveau ne dispose de données suffisantes, la réponse finale est « abstention ». La mitigation automatisée s'arrête et les ingénieurs de garde reçoivent une trace structurée : quels agents ne disposaient pas de données récentes, quelles configurations faisaient défaut, quelles entités présentaient des signaux partiels et à quel moment chaque source a été mise à jour pour la dernière fois.

L'attente a un coût. Lors d'un incident, chaque minute peut coûter cher. CoreSec opte délibérément pour un délai limité afin de réduire le coût d'une fausse alerte. Le juste équilibre dépend du flux de travail : une recommandation peut se permettre un délai plus long, tandis qu’un confinement de sécurité peut nécessiter un « safe default » différent et des signaux en temps réel plus stricts.

Que révèlent les résultats de production ?

La comparaison portant sur la période 2022-2025 porte sur 712 345 incidents. CoreSec attribue automatiquement environ 98,5 % d'entre eux, considère 1,5 % comme des abstentions et fait état d'un taux de faux positifs inférieur à 1 %. L'approche pondérée précédente présente un taux de faux positifs compris entre 18 % et 22 %. Les abstentions sont explicitement comptabilisées comme des faux négatifs, car le système n'a pas fourni de justification alors qu'il y en avait une.

Le taux d'inactivité est passé de 10 % au premier trimestre à 1,5 % au cours du dernier semestre, principalement grâce à l'ajout d'agents qui ont comblé les lacunes dans les données. La répartition des causes profondes était la suivante : 70 % de défaillances de câbles, 28 % de pannes de TOR et 2 % de pannes de niveau T1, T2 ou de cluster. On recense environ quatre erreurs d'attribution par an et environ 700 mesures correctives inappropriées, soit 0,1 % du total.

Quatre indicateurs issus de l'évaluation de la production

Ces chiffres concernent CoreSec sur les réseaux Clos d'Azure et ne constituent pas un benchmark général pour tous les workflows d'IA.

712.345incidents dans la comparaison 2022-2025
< 1 %faux positifs avec CoreSec
1,5%abstentions au cours du dernier semestre
≈99 %stabilisation lors des deux premières rediffusions

Les indicateurs en aval sont également significatifs : l'article fait état d'une baisse de plus de 80 % des mesures correctives déclenchées à tort et de 40 % des réclamations clients liées à des erreurs d'attribution. La charge de travail liée à l'analyse manuelle des causes profondes (RCA), qui correspondait à trois ingénieurs à temps plein, aurait été supprimée pour les incidents désormais attribués directement.

Quand l'abstention est-elle un mécanisme de sécurité ?

Environ 60 % des abstentions sont attribuées à des lacunes de télémétrie, 39 % à des données contradictoires et 1 % à des événements multi-clusters ou à l'échelle du centre de données. Dans les deux premières catégories, l’abstention empêche une attribution non fondée. Dans la troisième, le problème ne réside plus uniquement dans le choix de l'entité défaillante, mais dans la coordination de plusieurs équipes ; le jugement humain reste donc indispensable.

Un RCA sûr de lui mais erroné oblige l'ingénieur de garde à le réfuter dans un premier temps. Une abstention contextualisée le guide vers les lacunes de l'enquête. La conclusion utile n’est pas simplement la mention « je ne sais pas », mais le cheminement de la décision : quel signal était périmé, quelle configuration a été retenue, laquelle s’est abstenue et quelle règle de topologie a écarté un candidat moins bien classé.

Pour les systèmes d'IA opérationnels, il s'agit là de la forme pratique de l'explicabilité. Un pourcentage de confiance ou une justification en langage naturel après la décision ne suffit pas. L'explication doit découler de la structure même de la décision et pouvoir être exploitée aussi bien par l'homme que par l'automatisation en aval.

CoreSec n'utilise pas l'apprentissage automatique (ML) dans la synthèse finale. Le ML peut intervenir en amont pour l'extraction d'anomalies, l'analyse des sondes ou la synthèse des journaux, mais la décision finale est déterministe. Cela ne prouve pas que les règles déterministes soient toujours meilleures que l'apprentissage automatique ; cela montre simplement que, dans ce cas précis impliquant une action coûteuse, les auteurs ont privilégié la prévisibilité, l'abstention et la traçabilité.

Porte de production pour une abstention en toute sécurité vis-à-vis de l'IA

Ne permettez pas d'actions irréversibles sans piste de preuves complète

Avant qu’un workflow d’IA n’émette un remboursement, ne restreigne un compte, ne modifie un budget ou n’active une mesure d’atténuation, définissez quel signal est nécessaire, lequel est suffisant, quelle divergence entraîne une abstention, quelle personne intervient et quelle trace permettra de justifier la décision.

Sept étapes pour une IA opérationnelle plus sûre

Le transfert au-delà des réseaux doit être effectué avec prudence. Les seuils P2.15, deux tiers et 4 % ne constituent pas une recette toute faite pour le commerce électronique, le marketing, la lutte contre la fraude ou l'assistance. Ce qui est généralisable, c'est l'approche architecturale : différentes sources de données présentent une couverture, un délai et une autorité différents ; elles ne doivent donc pas être simplement moyennées.

Sept étapes pour passer d'un cas d'utilisation à un workflow d'IA contrôlé

  1. Étape 1Voici une décision et le coût d'une erreur

    Décrivez précisément l'action concernée, qui elle affecte et quel est le coût d'un faux positif, d'un faux négatif ou d'un retard. La politique d'abstention part du coût de l'échec.

  2. Étape 2Cartographiez les surfaces de défaillance

    Distinguez les différents cas, tels que les remboursements, les signalements de fraude, l'acheminement des prospects ou la gestion des incidents. Ne vous attendez pas à ce qu'une note globale reflète tous les types de risques.

  3. Étape 3Attribuez un rôle à chaque source

    Indiquez si chaque élément de preuve est « requisite », « required », « sufficient » ou « optional » pour chaque cas. Notez le propriétaire, le système source, la période de validité et les lacunes connues en matière de couverture.

  4. Étape 4Voici un état indéterminé explicite

    Distinguez les preuves manquantes, obsolètes et contradictoires. Chaque type d'abstention doit avoir une solution de repli spécifique, et non un simple « l'IA a échoué ».

  5. Étape 5Définissez les procédures d'escalade et les autorisations

    Définissez qui est en charge, quelles données sont visibles et quelles actions sont bloquées. En cas de risque élevé, le paramètre par défaut doit être « pause » ou « brouillon réversible ».

  6. Étape 6Essayez les situations de retard, de conflit et d'absence

    Ne vous contentez pas de tester les « happy paths ». Utilisez la simulation et les tests par étapes pour détecter les API en retard, les commandes manquantes, les enregistrements contradictoires et les politiques obsolètes ; le tests basés sur la simulation dans les workflows MCP et RAG montre pourquoi le contrôle avant la production est essentiel.

  7. Étape 7Évaluez la qualité et comblez les lacunes dans les données

    Surveillez les faux positifs, les faux négatifs, le taux d'abstention, le délai de résolution, le coût d'une action erronée et le ratio d'abstention. Utilisez les clusters d'abstention pour améliorer certains connecteurs et agents.

En matière d'attribution marketing, une conversion CRM, un événement d'analyse ayant fait l'objet d'un consentement et un point de contact modélisé ne doivent pas être considérés comme des éléments ayant le même poids. Dans le cadre d'un contrôle anti-fraude, l'absence de vérification obligatoire n'équivaut pas à un faible score de risque. Dans le cadre du service client, l'IA ne doit pas procéder à un remboursement ou à une restriction lorsque les systèmes de commande et de paiement ne concordent pas. Pour plus d'exemples de limites, les Workflows d'IA dans le marketing avec contrôle humain montrent que la décision finale reste entre les mains de l'homme.

Le KPI ne se résume pas simplement au « nombre de cas clôturés automatiquement par l'IA ». Il faut tenir compte de la précision par action, du coût d'une fausse alerte, du délai de remontée, de la qualité de la trace et de la capacité des abstentions à mettre systématiquement en évidence les lacunes dans les données. Si l'équipe réduit le taux d'abstention en assouplissant les seuils, elle risque simplement de recréer le problème de la classification forcée.

CoreSec présente également des limites évidentes. De nouveaux plantages de firmware ou des formes inconnues de dégradation optique peuvent nécessiter de nouveaux agents. Les défaillances de pipeline continuent de générer des données manquantes, tandis que les événements à grande échelle entraînent délibérément une abstention massive. La comparaison de référence s'effectue avec le système de production précédent et non avec toutes les alternatives académiques.

La conclusion la plus utile n’est pas que chaque entreprise doive reproduire quatre « flags » et trois « thresholds ». C’est que la fiabilité d’un système de décision ne se mesure pas à la fréquence à laquelle il répond, mais par sa capacité à identifier les éléments de preuve déterminants, à maintenir l’incertitude à l’esprit et à empêcher qu’un indice faible ne se transforme en une action précise ou irréversible.

TWO DOTS applique cette logique pratique aux automatisation des processus métier et IA: cartographie du processus réel, définition claire des données d'entrée, des conditions, des validations, de la gestion des erreurs, des journaux et des contrôles manuels avant qu'un workflow ne bénéficie d'une plus grande autonomie.

De la démo d'IA au mode sans échec

Concevez un workflow qui sait quand s'arrêter

TWO DOTS cartographie les sources de données, les rôles décisionnels, les règles d'abstention, les validations et la piste d'audit, afin que l'IA et les automatisations métier permettent de gagner du temps sans masquer l'incertitude ni effectuer d'actions erronées.

Foire aux questions (FAQ)

Qu'est-ce que CoreSec ?

Il s'agit d'un système d'analyse des causes profondes destiné aux grands réseaux CLOS. Il intègre plusieurs sources de télémétrie à l'aide d'indicateurs de contrôle inspirés du modèle PAM et permet une abstention explicite lorsque les preuves sont insuffisantes.

Que signifie « abstention AI » ?

Cela signifie que le système ne fournit pas de réponse définitive ou n'effectue aucune action lorsque des données essentielles manquent, sont obsolètes ou présentent des conflits. L'abstention doit être accompagnée d'une justification et d'une procédure d'escalade sécurisée.

Pourquoi un score de confiance ne suffit-il pas ?

En effet, un score peut regrouper différentes situations, telles que l'absence de preuves, un conflit entre les sources et un indice déterminant. CoreSec prend en compte ces différences dans la structure de sa décision.

Quels sont les quatre indicateurs de contrôle ?

« Requisite » pour les conditions préalables essentielles, « required » pour les éléments qui doivent concorder, « sufficient » pour les signaux déterminants et « optional » pour les indices à l'appui.

Dans quelle mesure le taux de faux positifs s'est-il amélioré ?

L'article fait état d'un taux inférieur à 1 % avec CoreSec, contre une valeur de référence historique comprise entre 18 et 22 % pour l'approche pondérée précédente, sur un échantillon de 712 345 incidents. Il ne s'agissait pas d'un test A/B parallèle sur le même ensemble de données.

CoreSec utilise-t-il l'apprentissage automatique ?

L'apprentissage automatique peut être utilisé en amont pour extraire des signaux, mais la synthèse finale est déterministe. Cela permet d'obtenir une abstention prévisible et une trace de décision vérifiable.

Cette même logique peut-elle s'appliquer au commerce en ligne ou au service client ?

Oui, en principe, il s'agit d'une approche fondée sur les rôles, d'une abstention explicite et d'une escalade. Les seuils spécifiques de CoreSec proviennent des structures Azure Clos et ne doivent pas être transposés tels quels dans un autre workflow.

Quelle est la première mesure concrète qu'une entreprise doit prendre ?

Choisir une décision dont le coût d'erreur est connu, recenser les sources d'information et déterminer quelle absence ou quel désaccord bloque l'action, ainsi que la personne qui en prendra la responsabilité.

Bulletin d'information

Saisissez votre adresse e-mail ci-dessous pour vous abonner à notre lettre d'information