Forts de plus de 20 ans d'expérience, nous transformons votre présence numérique. Nous sommes spécialisés dans la création de sites web et de boutiques en ligne, le référencement naturel (SEO) et le marketing numérique, les logiciels ERP et les automatisations intelligentes qui permettent à votre entreprise de prendre son envol.
ERDM : quand un comportement « incorrect » est une réponse logique à un environnement inadapté
L'ERDM explique pourquoi un agent d'IA peut apprendre correctement tout en agissant de manière erronée lorsque ses récompenses, ses choix et son environnement sont en conflit.
Dans le cas des agents IA, le paysage de récompenses détermine quel comportement est localement rationnel.
Réponse d'abord : L'ERDM et les agents d'IA partagent un enseignement essentiel : un système peut apprendre de manière cohérente et pourtant aboutir à un comportement indésirable lorsque les récompenses, les actions disponibles et l’environnement le conduisent vers une stratégie localement logique mais opérationnellement erronée.
L'ERDM explique pourquoi un agent d'IA peut apprendre correctement tout en agissant de manière erronée lorsque ses récompenses, ses choix et son environnement sont en conflit. Un comportement peut sembler irrationnel si on l'examine hors du contexte qui l'a généré. Mais si l’on prend en compte les contraintes, les choix disponibles et les attentes de récompense du système, ce même schéma peut s’avérer cohérent avec ce qu’il a « appris » pour assurer sa protection. C’est là l’idée centrale qui sous-tend le Modèle de décision récurrent sur le plan évolutif (ERDM), un nouveau cadre computationnel d'apprentissage par renforcement proposé par Andrew Hu.
Cet article examine comment le décalage évolutif, la rationalité limitée et le satisficing peuvent donner lieu à des stratégies d’adaptation ou de désadaptation. Des schémas complexes, tels que l’évitement, l’agressivité, la sociabilité saine ou l’impuissance acquise, ne sont pas introduits comme des scénarios tout faits. Ils résultent de décisions simples et répétées au sein d’un environnement stochastique.
Pour les professionnels qui conçoivent des agents IA, des automatisations ou des systèmes de prise de décision, le message pratique est clair : lorsqu’un système présente un comportement indésirable, le problème ne réside peut-être pas uniquement dans le modèle. Il peut provenir du paysage de récompenses, des informations dont il dispose, des choix qui lui sont autorisés ou de la succession des événements. Il s’agit de la même catégorie de problème que celle que l’on rencontre lorsque la L'IA trouve des chemins imprévisibles pour atteindre un objectif.
L'ERDM est un système d'apprentissage par renforcement à agent unique évoluant dans un environnement stochastique. Il n'a pas été conçu pour trouver la politique optimale dans une tâche bien définie. Il a été conçu pour étudier ce qui se passe lorsqu'un agent doit agir dans des situations où ses objectifs sont contradictoires et où aucune action n'est toujours la bonne.
L'environnement comprend trois catégories de problèmes récurrents : la menace, la poursuite d'une proie ou d'une cible et l'opportunité d'une alliance. Celles-ci constituent des abstractions de défis qui se répètent de manière évolutive. L'agent observe son état interne et externe, choisit une action, en subit les conséquences et met à jour ses estimations de valeur.
Cette étude relie ce cadre à la théorie de la discordance évolutive : des mécanismes qui se sont développés dans un environnement donné peuvent produire des effets néfastes dans un autre. L'ERDM ne prouve pas que cette théorie explique les troubles psychiques chez l'être humain. Il offre un espace de simulation où les hypothèses concernant l’environnement, les motivations et le comportement peuvent être précisées et vérifiées sans recourir à des expériences réelles sur des êtres humains.
Cette distinction est également importante d'un point de vue opérationnel. L'intérêt de cette étude ne réside pas dans le fait qu'elle fournisse un algorithme prêt à l'emploi pour le service client ou le commerce électronique. Elle réside dans le fait qu’elle démontre de manière rigoureuse pourquoi l’environnement de l’agent doit être considéré comme faisant partie intégrante du système et non comme un simple décor. Ce même principe est également analysé dans les modèles mondiaux dans lesquels l'agent et l'environnement doivent être considérés comme un système commun.
Comment les récompenses peuvent devenir des motivations contradictoires
L'agent apprend à partir de trois dimensions de récompense concurrentes. La première concerne la condition de subsistance ou physique, que l’article symbolise par L. La deuxième est la valeur sociale défensive, DB, liée aux stratégies de domination et de neutralisation des menaces. La troisième est la valeur sociale de la bienveillance, NB, liée au prestige et au fait d’apporter un bénéfice aux autres.
Une action peut renforcer une dimension et nuire aux autres. Le combat contre une menace, par exemple, peut améliorer la position défensive de l’agent, mais nuire à sa condition physique et à sa capacité à soutenir les autres. Comme les conséquences dépendent de l’état et que les paramètres environnementaux varient de manière stochastique, il n’existe pas de stratégie unique permettant de tout optimiser.
Cela oblige le système à effectuer satisficing: choisir des solutions qui sont satisfaisantes compte tenu des contraintes actuelles, et non des solutions théoriquement parfaites. Pour un workflow d'IA d'entreprise, la analogie est évidente, mais elle doit rester une analogie. Si un agent optimise simultanément la vitesse, le coût, la qualité et la conformité, un choix qui semble mauvais selon un indicateur donné peut en réalité constituer le meilleur équilibre possible au regard des signaux que nous lui avons fournis.
Deux mécanismes d'inertie
L'impuissance acquise et l'apathie ne sont pas la même chose
L'ERDM distingue deux cas dans lesquels l'agent ne s'engage pas dans une autre action, car les estimations de valeur sous-jacentes sont différentes.
Impuissance acquise
Toutes les actions envisageables sont considérées comme excessivement négatives par rapport au seuil de risque. L'inaction est une suspension axée sur le risque.
Apathie
Aucune action envisageable ne semble susceptible d'offrir une récompense suffisante. L'inaction est due à un manque de motivation suffisante, axé sur la récompense.
Cette distinction a une valeur pratique. Un agent commercial peut se retrouver « bloqué » soit parce que chaque option disponible enfreint une règle de sécurité, soit parce qu’aucune option ne dépasse le seuil minimal d’utilité. Dans le premier cas, il faudra peut-être recourir à une escalade sécurisée ou à une possibilité de retour en arrière. Dans le second, il faudra peut-être mieux définir un objectif ou disposer de davantage d'outils. Un même échec apparent peut nécessiter une correction différente.
Apprentissage, inertie et seuil de risque
Chaque action dispose de son propre réseau de valeurs indépendant. Le réseau reçoit l'état en entrée et génère la récompense attendue pour l'action en question. L'architecture décrite dans ce travail comporte deux couches cachées, de 128 et 64 unités respectivement, ainsi qu'une sortie. Le choix s’effectue selon une politique epsilon-greedy, de sorte que l’agent exploite tantôt ce qu’il considère déjà comme le meilleur choix, tantôt explore d’autres possibilités.
L'épisode prend fin lorsque l'état physique ou la dimension principale de survie sociale atteint zéro. Les récompenses sont modulées en fonction des ressources disponibles : une même perte a plus de poids lorsque l’agent se trouve déjà dans une situation vulnérable. L’état est divisé en zones distinctes, allant de « dire » à « stable », avec une plus grande sensibilité aux faibles niveaux de ressources.
Cet élément explique pourquoi une action n'a pas de signification fixe. Une action qui est acceptable lorsque les ressources sont abondantes peut devenir catastrophique lorsque l'agent se trouve proche d'une limite de viabilité. Pour l'IA en production, les seuils et les règles d'escalade doivent donc tenir compte du contexte : niveau de confiance, risque financier, sensibilité des données, impact sur le client et possibilité d'intervention humaine.
Le guidage ’ state-aware » n’est pas simplement une consigne plus détaillée. Il doit adapter les actions autorisées et les seuils lorsque l’état change. C’est pourquoi il est utile de relier la conception de la récompense à contrôle d'un agent IA en fonction de l'état et pas seulement d'une politique générale.
Comment l'épreuve d'adversité a-t-elle été mise en place ?
À des fins de validation, l’étude a modélisé les expériences négatives de l’enfance selon trois niveaux d’intensité de menace. Le niveau « faible » correspondait à des menaces d’une intensité comprise entre 20 et 40 sur une échelle de 0 à 100, le niveau modéré de 40 à 60 et le niveau élevé de 80 à 100. La fréquence des trois types d’environnement a été maintenue constante, de sorte que la différence fondamentale réside dans l’intensité des événements défavorables.
Les principaux tests comprenaient 200 simulations indépendantes comportant 1 500 étapes d'apprentissage pour les agents « DB-dominant », les agents « NB-dominant » et les agents aléatoires dans les trois conditions. Les agents aléatoires n'avaient pas appris l'inaction ou l'apathie dans l'espace d'action, car ces choix supposent des estimations de valeur.
Cette étude ne rend pas compte de l'expérience de l'enfance dans toute sa complexité humaine. Elle utilise des abstractions contrôlées pour examiner si des schémas connus peuvent émerger de la combinaison de récompenses, de risques et d’apprentissage. Il s'agit d'une validation computationnelle, et non d'une validation clinique, et elle ne constitue pas une base pour un diagnostic ou une recommandation thérapeutique.
Perte constante, politiques différentes
L'un des résultats les plus utiles concerne l'écart entre la convergence de la perte d'apprentissage et celle du comportement. Chez les agents DB, la perte a été réduite de 92 % à 97 % selon les conditions, tandis que chez les agents NB, la réduction a dépassé 99 % dans toutes les conditions. Les pentes de la perte et de la récompense en fin de fenêtre ne s'écartaient pas de zéro, ce qui indique une stabilisation de l'apprentissage.
Malgré tout, la diversité des actions n'a pas disparu. Les agents DB ont conservé 34 % à 44 % de leur entropie initiale et les agents NB, 34 % à 49 %. Le système pouvait donc suivre un processus d’apprentissage stable sans que tous les agents n’aboutissent à la même stratégie. Dans des conditions de forte adversité, la corrélation entre la perte de la fenêtre tardive et l’entropie comportementale s’est renforcée, ce qui indique que la stabilisation de l’apprentissage et la cohérence du comportement étaient plus étroitement liées dans cet environnement.
Pour l'évaluation des agents IA, cela est essentiel. Une courbe de perte régulière ou un bon score global ne prouve pas un comportement uniforme ou souhaitable. Il faut examiner la dispersion des trajectoires, les échecs minoritaires et la stabilité des politiques face à différentes séquences d'événements. L' vérification des politiques d'apprentissage par renforcement Il faut se concentrer sur la manière dont le système réagit dans les situations critiques, et pas seulement sur l'amélioration d'un indicateur moyen.
Ce qui a changé face à de grandes difficultés
Chez les agents à dominance DB, l'attente positive est restée d'environ 85 % dans les conditions sans ACE et d'adversité modérée, mais a baissé à 67 % en cas d'adversité élevée. L'impuissance acquise, qui était absente dans les deux conditions les plus modérées, est apparue avec une valeur moyenne de 15,2 %. L'attente négative est passée d'environ 15 % à 33 %.
Le résultat n'était pas une simple augmentation générale de l'agressivité. L'agressivité mal dirigée a diminué de 39 % à 29,4 % et l'agressivité relationnelle de 30,8 % à 24,7 %. L'interprétation de cette étude est la suivante : lorsque la menace dépasse le seuil de risque, l'inaction due à l'impuissance acquise peut supplanter les stratégies de domination antérieures.
Les agents à dominance NB présentaient un profil différent. La gentillesse spontanée est restée le comportement dominant, atteignant environ 47 % dans des conditions de forte adversité, tandis que l'impuissance acquise était absente. Ce résultat montre à quel point une différence dans la priorité accordée à la récompense peut modifier le répertoire émergent, sans que des scénarios complexes et complets aient été codés au préalable.
Données chiffrées de l'article
Quatre chiffres qui expliquent l'ERDM
Ces chiffres sont issus d'une simulation et ne constituent ni un indicateur de performance clé (KPI) de production, ni un taux clinique, ni une prévision de retour sur investissement (ROI).
200simulations principales indépendantes par réglage
1.500étapes d'entraînement à chaque course principale
15,2%impuissance acquise moyenne (DB) dans des conditions très difficiles
296 / 704séquences résistantes et vulnérables dans l'analyse complémentaire
Pourquoi des sous-groupes résistants et vulnérables sont-ils apparus ?
L'analyse complémentaire de 1 000 séries dominantes en DB dans des conditions de forte adversité a révélé deux sous-groupes latents. Le modèle de mélange gaussien a fortement favorisé une solution à deux composantes et a utilisé un seuil de 2,04 % d'auxiliaire appris. Les 296 séries ont été classées comme résistantes, avec une valeur moyenne de 0,43 %, et les 704 comme vulnérables, avec une valeur moyenne de 20 %.
Les paramètres environnementaux étaient identiques. Ce qui variait, c'était la séquence aléatoire des événements initiaux, qui donnait lieu à des historiques de récompenses différents. Les agents résilients présentaient un comportement protecteur plus marqué, 31,64 % contre 7,92 %, et une espérance positive de 82,65 % contre 62,35 %.
La bienveillance saine présentait une forte corrélation négative avec l'impuissance acquise dans le cadre de la simulation : r de Pearson = -0,91 et R² = 0,83. En revanche, la vulnérabilité liée à la recherche d’aide n’a pas montré de relation significative. Cela ne signifie pas pour autant que la recherche d’aide ne protège pas les individus. Dans ce modèle précis, les agents DB la sous-estiment car elle est perçue comme un coût pour leur position sociale défensive.
Le principe opérationnel est que la même configuration ne garantit pas les mêmes trajectoires. La succession d'outils, de tentatives, d'exceptions et d'interventions humaines peut modifier l'état ultérieur d'un agent. C'est l'une des raisons pour lesquelles la formation d'agents IA pour des environnements changeants Il faut plusieurs séquences et non pas un seul « happy path ».
De l'article à la conception des systèmes de récompense en entreprise
L'ERDM n'est pas un modèle de marketing, de service client ou de commerce électronique. Cependant, son architecture met en lumière un problème général lié à la conception agentique. Les équipes fixent souvent un objectif — plus de conversions, un service plus rapide, des coûts réduits — et considèrent les effets secondaires comme des bugs imprévisibles. Or, un agent peut simplement suivre de manière cohérente les incitations qui lui ont été données.
Un agent du service client rémunéré principalement en fonction de la rapidité de traitement peut mettre fin à une conversation avant que le problème ne soit résolu. Un système de recommandation qui ne prend en compte que les clics immédiats peut sacrifier la confiance ou la diversité. Un agent marketing qui ne mesure que les prospects peut générer un volume de mauvaise qualité. Il s'agit là d'exemples illustrant ce principe et non de cas testés dans le cadre de l'étude.
La bonne pratique consiste à recenser les conflits d'objectifs avant le déploiement. Quels indicateurs sont en concurrence ? Quel comportement maximiserait chaque indicateur de manière indésirable ? Quels coûts sont invisibles dans le modèle ? Quelle mesure de sécurité fait défaut ? La discussion sur le les récompenses clairsemées et le guidage par des indices, des critiques et des enseignants Cela montre également que la qualité du retour d'information détermine ce que le système est capable d'apprendre.
Décision relative à la conception des récompenses
Ne vous contentez pas de corriger le résultat ; vérifiez ce qui a rendu ce comportement logique.
Répertoriez les récompenses, les pénalités, les signaux d'état, les actions disponibles, les conditions d'arrêt et les chemins d'escalade. Si l'agent ne dispose pas d'une option sûre ou ne perçoit pas le coût d'une action, une invite plus stricte peut masquer temporairement le symptôme sans modifier le mécanisme.
Le NIST AI RMF considère le risque lié à l'IA comme une fonction de probabilité et d'impact dans un contexte spécifique et met en garde contre le fait que les indicateurs peuvent être simplifiés à l'excès ou faire l'objet de manipulations. Cela rejoint l'enseignement pratique de l'ERDM : les motivations et les limites de l'organisation font partie intégrante de la sécurité. Il ne suffit pas d’exiger un « bon comportement » de la part du modèle si l’environnement opérationnel récompense autre chose.
Pourquoi les moyennes masquent les modes de défaillance
La distinction entre agents résistants et agents vulnérables montre qu'un résultat global peut masquer deux catégories de comportement totalement différentes. Si l'évaluation ne prenait en compte que la moyenne de l'impuissance acquise, elle ne permettrait pas de mettre clairement en évidence la structure bimodale des 1 000 séries d'essais.
En matière d'IA en production, cela se traduit par la nécessité de réaliser des analyses de cohortes, des tests de risque de queue et des rejouements selon différents ordres d'événements. Un taux de réussite global ne suffit pas. Il faut savoir quels utilisateurs, quelles intentions, quels niveaux de ressources et quelles séquences d'outils conduisent à des modes de défaillance. La chronologie peut revêtir autant d'importance que les entrées individuelles.
Il est tout aussi important de faire la distinction entre la stabilité technique et le comportement souhaité. Une politique peut être stable tout en posant problème. Les tableaux de bord doivent inclure la diversité comportementale, les schémas de refus, la qualité de l'escalade, le taux de retour en arrière et les stratégies indésirables, et pas seulement la latence et l'achèvement des tâches. C'est là l'essence même de tests comportementaux pour les agents d'IA.
L'analyse doit également établir un lien entre chaque échec et sa cause. Un échec peut être dû au fait que l’agent ne disposait pas du bon outil, à un signal d’état erroné ou au fait que la récompense a favorisé un raccourci. Cette logique s’applique aux systèmes où la L'IA tire les leçons des causes de l'échec et pas seulement à partir d'un indicateur binaire de réussite.
Cadre de contrôle avant le déploiement
Une équipe peut s'inspirer de la logique de l'étude sans pour autant reproduire le même modèle. L'objectif est de transformer le « reward landscape », les transitions d'états et les exceptions en artefacts vérifiables. Chaque étape doit être associée à un cas d'utilisation précis et à une décision observable.
Analyse du « reward landscape » pour un agent d'IA opérationnel
Étape 1Déterminez la décision et le coût réel de l'erreur
Notez ce que l'agent choisit ou effectue, qui cela affecte et quelles erreurs sont réversibles, peu coûteuses ou à haut risque.
Étape 2Répertoriez les avantages concurrentiels
Associez la rapidité, la qualité, le coût, la conformité et l'expérience client à des indicateurs distincts, afin qu'un indicateur ne prenne pas le pas sur les autres.
Étape 3Vérifiez ce que l'agent ne voit pas
Identifiez les coûts cachés, les résultats tardifs, le contexte incomplet et les retours d'information qui n'arrivent que lorsqu'il est déjà trop tard.
Étape 4Ajoutez des actions et des conditions d'arrêt sécurisées
Proposez des options de clarification, de mise en attente, de retour en arrière et de remontée vers un intervenant humain, plutôt que de forcer le système à choisir entre plusieurs mauvaises actions.
Étape 5Revoyez différentes séquences
Modifiez l'ordre, l'intensité et la fréquence des événements, car un même ensemble d'entrées peut générer un historique de récompenses et une politique différents.
Étape 6Mesurez les cohortes et les comportements extrêmes
Analysez les files d'attente de répartition, les échecs minoritaires, les schémas de refus et les groupes de trajectoires plutôt que de vous fier uniquement à la moyenne.
Étape 7Définissez le propriétaire, la piste d'audit et la règle de modification
Désignez un responsable pour chaque « reward » et chaque « guardrail », conservez des traces des décisions prises et ne modifiez la configuration qu’après une réévaluation mesurable.
Le déploiement nécessite des étapes bien définies. Un benchmark hors ligne ne remplace pas le mode « shadow », les scénarios adversariaux, le rollback et la supervision humaine. Les Agents IA avec des limites Ils sont fiables lorsque leur autonomie dépend de la qualité de leur analyse et de l'ampleur de l'impact potentiel.
La supervision doit disposer d'une réelle capacité d'intervention. Si un agent considère chaque choix comme excessivement négatif, il a besoin d'une escalade sécurisée et d'un meilleur espace d'action, et non d'une pression pour continuer. Si aucune action ne dépasse le seuil de récompense, il faut peut-être repenser l'objectif. La confiance s'instaure lorsque contexte, données et supervision humaine sont associés à des règles exécutables.
Les limites de l'étude et la conclusion principale
L'article énonce des limites claires. Premièrement, on part du principe que l'agent perçoit la situation correctement et sans biais, alors que la cognition humaine et les systèmes d'IA de production peuvent présenter du bruit, des distorsions ou un calibrage erroné. Deuxièmement, l'environnement se résume à trois états et à quelques actions conservées. Il ne tient pas pleinement compte de l'empathie, des tentatives infructueuses ou des valeurs communautaires spécifiques.
Troisièmement, il s’agit d’un cadre à agent unique ; il ne rend donc pas compte des dynamiques de groupe, de la transmission culturelle ou de l’évolution sociale entre plusieurs agents actifs. Quatrièmement, aucune étude expérimentale de validation chez l’homme n’accompagne ces travaux. Les résultats restent de nature computationnelle et les propositions d'interventions constituent des hypothèses qui devront être vérifiées à l'avenir.
Ces limites n’invalident pas le modèle ; elles définissent son champ d’application approprié. Il ne faut pas confondre une simulation avec un diagnostic, ni une corrélation au sein de l’ERDM avec une recommandation thérapeutique. L'intérêt réside dans le fait que les hypothèses mécanistiques concernant l'environnement, les récompenses et le comportement deviennent visibles et vérifiables.
Pour les entreprises, la conclusion essentielle est simple : ne jugez pas un agent IA uniquement sur le fait qu’il ait « appris » ou atteint un objectif moyen. Examinez ce qu’il a appris à considérer comme précieux, quels risques il perçoit, de quelles options il dispose, ce qu’il ne voit pas et comment la succession des événements peut transformer une décision logique d’un point de vue local en un résultat opérationnel indésirable.
Automatismes basés sur l'IA avec des motivations contrôlées
Concevez des agents qui optimisent le résultat souhaité
TWO DOTS associe les données opérationnelles, la conception des récompenses, les mesures de sécurité tenant compte de l'état du système, l'escalade vers l'intervention humaine, la piste d'audit et les tests comportementaux au sein de flux d'IA contrôlés.
Il s'agit d'un cadre informatique d'apprentissage par renforcement qui simule un agent dans des environnements caractérisés par des menaces, des objectifs et des alliances, avec des dimensions concurrentielles de survie physique et sociale.
L'ERDM est-il un modèle de diagnostic clinique ?
Non. Il s'agit d'une étude théorique ; elle ne repose pas sur une validation expérimentale chez l'homme et ne doit pas être utilisée à des fins de diagnostic ou pour prendre des décisions thérapeutiques.
Que signifie « satisficing » dans l'ERDM ?
Cela signifie choisir une solution qui soit satisfaisante compte tenu des contraintes existantes, plutôt que de rechercher une solution universellement optimale qui n'existe peut-être pas.
Quelle est la différence entre l'impuissance acquise et l'apathie ?
La première se déclenche lorsque toutes les actions sont jugées trop négatives par rapport au seuil de risque, tandis que la seconde se déclenche lorsqu'aucune ne semble suffisamment rentable.
Quels ont été les résultats de l'essai en conditions extrêmes ?
Chez les agents « DB-dominant », l'impuissance acquise s'est manifestée avec une valeur moyenne de 15,2 %, l'attitude positive a diminué et l'agressivité n'a pas augmenté de manière uniforme.
Pourquoi deux sous-groupes sont-ils apparus dans les mêmes environnements ?
La séquence aléatoire des événements initiaux a donné lieu à des historiques de récompenses différents, bien que les paramètres environnementaux aient été identiques au cours des 1 000 simulations supplémentaires.
Quel est le cours essentiel sur l'IA appliquée aux entreprises ?
Les équipes doivent examiner ensemble le modèle, les incitations, les actions disponibles, les signaux d'état, les seuils et les séquences d'événements susceptibles de conduire à des stratégies indésirables.
Comment un agent IA est-il testé avant son déploiement ?
Avec la cartographie des récompenses concurrentielles, des seuils d'arrêt sécurisés et des mesures d'escalade, la relecture de différentes séquences, l'analyse de cohortes, les tests de risque extrême et la piste d'audit.