ERDM: Wenn «falsches» Verhalten eine logische Reaktion auf ein falsches Umfeld ist

Das ERDM verdeutlicht, warum ein KI-Agent zwar richtig lernen, aber falsch handeln kann, wenn seine Belohnungen, seine Entscheidungen und seine Umgebung miteinander in Konflikt stehen. Ein Verhalten kann irrational erscheinen, wenn wir es losgelöst von der Umgebung betrachten, die es hervorgebracht hat. Betrachtet man jedoch die Zwänge, die verfügbaren Optionen und die Belohnungserwartungen des Systems, so kann sich dasselbe Verhaltensmuster als konsistent mit dem erweisen, was der Agent als «geschützt» gelernt hat. Das ist der zentrale Gedanke hinter dem Evolutionär rekurrentes Entscheidungsmodell (ERDM), ein neues rechnergestütztes Rahmenwerk für das verstärkende Lernen, das von Andrew Hu vorgeschlagen wird.

Die Arbeit untersucht, wie evolutionäre Diskrepanz, eingeschränkte Rationalität und das Satisficing können adaptive und maladaptive Strategien hervorbringen. Komplexe Verhaltensmuster wie Vermeidung, Aggression, gesunde Freundlichkeit oder erlernte Hilflosigkeit werden nicht als vorgefertigte Szenarien eingegeben. Sie ergeben sich aus wiederholten einfachen Entscheidungen in einer stochastischen Umgebung.

Für Fachleute, die KI-Agenten, Automatisierungen oder Entscheidungssysteme entwickeln, lautet die praktische Botschaft ganz konkret: Wenn ein System unerwünschtes Verhalten zeigt, liegt das Problem möglicherweise nicht nur im Modell. Es kann an der Belohnungslandschaft liegen, an den Informationen, die es wahrnimmt, an den ihm zur Verfügung stehenden Optionen oder an der Abfolge der Ereignisse. Es handelt sich um dieselbe Art von Problem, auf die wir stoßen, wenn die KI findet unvorhersehbare Wege zu einem Ziel.

Was modelliert das ERDM tatsächlich?

ERDM ist ein Single-Agent-System für verstärkendes Lernen in einer stochastischen Umgebung. Es wurde nicht dafür entwickelt, die optimale Strategie für eine genau definierte Aufgabe zu finden. Es wurde entwickelt, um zu untersuchen, was geschieht, wenn ein Agent in Situationen agieren muss, in denen seine Ziele miteinander in Konflikt stehen und keine Handlung immer richtig ist.

Die Umgebung umfasst drei Kategorien sich wiederholender Probleme: Bedrohung, Verfolgung von Beute oder Ziel und Gelegenheit zur Allianz. Diese dienen als Abstraktionen evolutionär sich wiederholender Herausforderungen. Der Agent beobachtet seinen inneren und äußeren Zustand, wählt eine Aktion aus, akzeptiert die Konsequenzen und aktualisiert seine Werteschätzungen.

Die Studie verbindet diesen Rahmen mit der Theorie der evolutionären Fehlanpassung: Mechanismen, die in einem Umfeld entstanden sind, können in einem anderen Umfeld negative Auswirkungen haben. Das ERDM beweist nicht, dass diese Theorie psychische Störungen beim Menschen erklärt. Es bietet einen Simulationsraum, in dem Annahmen über Umgebung, Motive und Verhalten konkretisiert und überprüft werden können, ohne dass ein reales Experiment am Menschen durchgeführt werden muss.

Diese Unterscheidung ist auch für die praktische Anwendung von Bedeutung. Der Wert der Studie liegt nicht darin, dass sie einen fertigen Algorithmus für den Kundensupport oder den E-Commerce liefert. Vielmehr zeigt sie auf kontrollierte Weise, warum die Umgebung des Agenten als Teil des Systems und nicht nur als bloße Kulisse betrachtet werden muss. Dasselbe Prinzip wird auch in den Weltmodelle, bei denen Agent und Umgebung als gemeinsames System betrachtet werden müssen.

Wie Belohnungen zu widersprüchlichen Anreizen werden

Der Agent lernt anhand von drei konkurrierenden Belohnungsdimensionen. Die erste betrifft den existenziellen oder physischen Zustand, den die Arbeit mit L bezeichnet. Die zweite ist der defensive soziale Wert, DB, der mit Strategien der Dominanz und der Abwehr von Bedrohungen verbunden ist. Die dritte ist der soziale Wert der Fürsorge, NB, der mit Prestige und der Gewährung von Vorteilen für andere verbunden ist.

Eine Aktion kann eine Dimension stärken und den anderen schaden. Der Kampf gegen eine Bedrohung kann beispielsweise die Verteidigungsposition des Agenten verbessern, aber seine körperliche Verfassung und seine Fähigkeit, andere zu unterstützen, beeinträchtigen. Da die Folgen vom Zustand abhängen und sich die Umgebungsparameter stochastisch ändern, gibt es keine einheitliche Strategie, die alle Aspekte maximiert.

Dies zwingt das System dazu, Satisficing: Lösungen zu wählen, die unter den aktuellen Einschränkungen ausreichend sind, nicht theoretisch perfekt. Für einen Business-AI-Workflow ist der Vergleich naheliegend, muss aber ein Vergleich bleiben. Wenn ein Agent gleichzeitig Geschwindigkeit, Kosten, Qualität und Compliance optimiert, kann eine Entscheidung, die bei einem Indikator schlecht erscheint, auf der Grundlage der Signale, die wir ihm gegeben haben, das bestmögliche Gleichgewicht darstellen.

Diese Unterscheidung hat praktischen Wert. Ein Business-Agent kann «steckenbleiben», weil jede verfügbare Option gegen eine Schutzgrenze verstößt oder weil keine Option die Mindestnutzenschwelle überschreitet. Im ersten Fall ist möglicherweise eine sichere Eskalation oder eine Rückabwicklungsmöglichkeit erforderlich. Im zweiten Fall sind vielleicht ein besser definiertes Ziel oder mehr Werkzeuge nötig. Derselbe sichtbare Fehler kann unterschiedliche Korrekturmaßnahmen erfordern.

Lernen, Trägheit und Risikogrenze

Jede Aktion verfügt über ein eigenes, unabhängiges Wertnetzwerk. Das Netzwerk nimmt den Zustand als Eingabe entgegen und generiert die erwartete Belohnung für die jeweilige Aktion. Die in der Arbeit beschriebene Architektur verfügt über zwei versteckte Schichten mit 128 bzw. 64 Einheiten sowie einen Ausgang. Die Auswahl erfolgt nach der Epsilon-Greedy-Strategie, sodass der Agent mal das nutzt, was er bereits als am besten erachtet, und mal neue Möglichkeiten erkundet.

Die Episode endet, wenn der Gesundheitszustand oder die wichtigste Dimension des sozialen Überlebens den Wert Null erreicht. Die Belohnungen staffeln sich entsprechend den verfügbaren Ressourcen: derselbe Verlust hat ein größeres Gewicht, wenn sich der Agent bereits in einer prekären Lage befindet. Der Zustand wird in verschiedene Zonen unterteilt, von „dire“ bis „stable“, wobei die Empfindlichkeit gegenüber niedrigen Ressourcenwerten zunimmt.

Dieser Aspekt erklärt, warum eine Aktion keine feste Bedeutung hat. Eine Aktion, die bei hohen Ressourcen akzeptabel ist, kann katastrophale Folgen haben, wenn sich der Agent nahe an der Grenze der Lebensfähigkeit befindet. Bei Produktions-KI müssen Schwellenwerte und Eskalationsregeln dementsprechend den Kontext berücksichtigen: Konfidenz, finanzielles Risiko, Datensensibilität, Auswirkungen auf den Kunden und die Möglichkeit einer manuellen Rücknahme.

Die zustandsorientierte Steuerung ist nicht einfach nur eine detailliertere Eingabe. Sie muss die zulässigen Aktionen und Schwellenwerte anpassen, wenn sich der Zustand ändert. Deshalb ist es sinnvoll, das Belohnungsdesign mit Steuerung eines KI-Agenten in Abhängigkeit vom Zustand und nicht nur durch eine allgemeine Politik.

Wie wurde der Stresstest konzipiert?

Zur Validierung modellierte die Studie negative Kindheitserfahrungen als drei Stufen der Bedrohungsintensität. Die geringe Adversität umfasste Bedrohungen mit einer Intensität von 20–40 auf einer Skala von 0–100, die mittlere Stufe 40–60 und die hohe Stufe 80–100. Die Häufigkeit der drei Umgebungsarten wurde konstant gehalten, sodass der wesentliche Unterschied in der Intensität der negativen Ereignisse lag.

Die Hauptversuche umfassten 200 unabhängige Simulationen mit jeweils 1.500 Trainingsschritten für DB-dominante Agenten, NB-dominante Agenten und zufällige Agenten unter den drei Bedingungen. Die zufälligen Agenten wiesen im Aktionsraum keine erlernte Hilflosigkeit oder Apathie auf, da diese Optionen Werteschätzungen voraussetzen.

Die Studie gibt die kindliche Erfahrung nicht in ihrer ganzen menschlichen Komplexität wieder. Sie nutzt kontrollierte Abstraktionen, um zu untersuchen, ob sich aus der Kombination von Belohnung, Risiko und Lernen bekannte Muster ergeben können. Es handelt sich hierbei um eine computergestützte Validierung, nicht um eine klinische Validierung und nicht um eine Grundlage für eine Diagnose oder eine therapeutische Empfehlung.

Konstanter Verlust, unterschiedliche Strategien

Eines der nützlichsten Ergebnisse ist der Abstand zwischen der Konvergenz des Lernverlusts und der Konvergenz des Verhaltens. Bei den DB-Agenten verringerte sich der Verlust je nach Bedingung um 92 % bis 97 %, während bei den NB-Agenten die Verringerung unter allen Bedingungen über 99 % lag. Die „Late-Window“-Steigungen von Verlust und Belohnung wichen nicht von Null ab, was auf eine Stabilisierung des Trainings hindeutet.

Dennoch verschwand die Vielfalt der Aktionen nicht. Die DB-Agenten behielten 34 %–44 % ihrer ursprünglichen Entropie bei, die NB-Agenten 34 %–49 %. Das System konnte daher einen stabilen Lernprozess aufweisen, ohne dass alle Agenten letztendlich dieselbe Strategie verfolgten. Unter hohen Widrigkeiten wurde der Zusammenhang zwischen dem Late-Window-Verlust und der Verhaltensentropie stärker, was darauf hindeutet, dass die Stabilisierung des Lernens und die Konsistenz des Verhaltens in dieser Umgebung enger miteinander verbunden waren.

Für die Bewertung von KI-Agenten ist dies entscheidend. Eine gleichmäßige Verlustkurve oder eine gute Gesamtbewertung ist kein Beweis für ein gleichmäßiges oder gewünschtes Verhalten. Wir müssen die Streuung der Trajektorien, die seltenen Fehlschläge und die Stabilität der Strategien bei unterschiedlichen Ereignisabläufen untersuchen. Die Validierung von Strategien im Bereich des verstärkenden Lernens Es muss darum gehen, wie sich das System in kritischen Situationen verhält, und nicht nur darum, ob sich ein Durchschnittswert verbessert hat.

Was sich unter äußerst widrigen Umständen geändert hat

Bei den DB-dominanten Agenten blieb die positive Erwartung unter den Bedingungen ohne ACE und bei mäßiger Adversität bei etwa 85 %, sank jedoch unter hoher Adversität auf 67 %. Die erlernte Hilflosigkeit, die unter den beiden milderen Bedingungen nicht auftrat, zeigte sich mit einem Durchschnittswert von 15,2 %. Die negative Erwartung stieg von etwa 15 % auf 33 %.

Das Ergebnis war kein einfacher allgemeiner Anstieg der Aggressivität. Die fehlgeleitete Aggression ging von 39 % auf 29,4 % zurück und die relationale Aggression von 30,8 % auf 24,7 %. Die Studie kommt zu dem Schluss, dass, sobald die Bedrohung die Risikoschwelle überschreitet, Passivität aufgrund erlernter Hilflosigkeit frühere Dominanzstrategien verdrängen kann.

Die NB-dominanten Agenten wiesen ein anderes Profil auf. Gesunde Freundlichkeit blieb das vorherrschende Verhalten und erreichte unter hohen Widrigkeiten etwa 47 %, während erlernte Hilflosigkeit nicht auftrat. Das Ergebnis zeigt, wie sehr ein Unterschied in der Belohnungspriorität das emergent Repertoire verändern kann, ohne dass zuvor vollständige, komplexe Skripte kodiert wurden.

Warum es resistente und anfällige Untergruppen gab

Die zusätzliche Analyse von 1.000 DB-dominanten Läufen unter hohen Adversitätsbedingungen deckte zwei latente Untergruppen auf. Das Gaußsche Mischungsmodell sprach sich deutlich für eine Lösung mit zwei Komponenten aus und verwendete einen Schwellenwert von 2,04 % für die gelernte Hilfsfunktion. Die 296 Läufe wurden als widerstandsfähig eingestuft, mit einem Durchschnittswert von 0,43 %, und die 704 als anfällig, mit einem Durchschnittswert von 20 %.

Die Umgebungsbedingungen waren identisch. Was sich änderte, war die stochastische Abfolge der frühen Ereignisse, die zu unterschiedlichen Belohnungsverläufen führte. Die widerstandsfähigen Agenten zeigten ein stärkeres Schutzverhalten (31,64 % gegenüber 7,92 %) und eine positive Erwartung (82,65 % gegenüber 62,35 %).

Die gesunde Freundlichkeit wies in der Simulation eine starke negative Korrelation mit der erlernten Hilflosigkeit auf: Pearson r = -0,91 und R² = 0,83. Im Gegensatz dazu zeigte die „Help-Seeking Vulnerability“ keinen signifikanten Zusammenhang. Das bedeutet jedoch nicht, dass das Suchen nach Hilfe die Menschen nicht schützt. In diesem speziellen Modell unterschätzen die DB-Agenten sie, da sie als Kosten für ihre defensive soziale Position interpretiert wird.

Die operative Schlussfolgerung lautet, dass dieselbe Konfiguration nicht zwangsläufig zu denselben Verläufen führt. Die Abfolge von Tools, Wiederholungsversuchen, Ausnahmen und menschlichen Eingriffen kann den späteren Zustand eines Agenten verändern. Dies ist ein Grund, warum die Training von KI-Agenten für sich verändernde Umgebungen Es sind mehrere Abläufe erforderlich und nicht nur ein einziger „Happy Path“.

Vom wissenschaftlichen Artikel zum Belohnungsdesign in Unternehmen

ERDM ist kein Modell für Marketing, Kundensupport oder E-Commerce. Seine Architektur verdeutlicht jedoch ein allgemeines Problem des agentischen Designs. Teams legen oft ein Ziel fest – mehr Konversionen, schnellerer Service, geringere Kosten – und betrachten die Nebenwirkungen als unvorhersehbare Fehler. Ein Agent kann jedoch einfach konsequent den ihm vorgegebenen Anreizen folgen.

Ein Kundensupport-Mitarbeiter, der hauptsächlich für kurze Bearbeitungszeiten vergütet wird, könnte Chats beenden, bevor das Problem gelöst ist. Ein Empfehlungssystem, das nur direkte Klicks berücksichtigt, könnte Vertrauen oder Vielfalt opfern. Ein Marketingmitarbeiter, der ausschließlich Leads zählt, erzeugt möglicherweise eine große Menge an minderwertigen Kontakten. Dies sind detaillierte Beispiele für das Prinzip und keine Fälle, die in der Studie getestet wurden.

Es hat sich bewährt, Zielkonflikte vor der Bereitstellung zu erfassen. Welche Kennzahlen stehen im Widerspruch zueinander? Welches Verhalten würde jede Kennzahl auf unerwünschte Weise maximieren? Welche Kosten sind im Modell nicht berücksichtigt? Welche Sicherheitsmaßnahme fehlt? Die Diskussion über das „Sparse Reward“ und das Training mit Hinweisen, Kritikern und Lehrern Es zeigt außerdem, dass die Qualität des Feedbacks darüber entscheidet, was das System lernen kann.

Das NIST AI RMF betrachtet das KI-Risiko als eine Funktion aus Wahrscheinlichkeit und Auswirkung innerhalb eines bestimmten Kontexts und warnt davor, dass Kennzahlen zu stark vereinfacht oder zum Gegenstand von Manipulationen werden können. Dies deckt sich mit der praktischen Erkenntnis des ERDM: Die Anreize und Grenzen der Organisation sind Teil der Sicherheit. Es reicht nicht aus, vom Modell «gutes Verhalten» zu verlangen, wenn das operative Umfeld etwas anderes belohnt.

Warum Durchschnittswerte Fehlermodi verschleiern

Die Unterteilung in widerstandsfähige und anfällige Akteure zeigt, dass ein aggregiertes Ergebnis zwei völlig unterschiedliche Verhaltenskategorien verbergen kann. Würde die Auswertung lediglich den Mittelwert der erlernten Hilflosigkeit betrachten, würde sie die bimodale Struktur der 1.000 Durchläufe nicht deutlich erkennen.

Für die Produktions-KI bedeutet dies, dass Kohortenanalysen, Tail-Risk-Tests und die Nachstellung verschiedener Ereignisabläufe erforderlich sind. Eine allgemeine Erfolgsquote reicht nicht aus. Wir müssen wissen, welche Nutzer, welche Absichten, welche Ressourcenebenen und welche Werkzeugabläufe zu Fehlermodi führen. Die zeitliche Abfolge kann ebenso wichtig sein wie die einzelnen Eingaben.

Ebenso wichtig ist es, zwischen technischer Stabilität und dem gewünschten Verhalten zu unterscheiden. Eine Policy kann stabil und gleichzeitig problematisch sein. Dashboards müssen Verhaltensvielfalt, Ablehnungsmuster, Eskalationsqualität, Rollback-Rate und unerwünschte Strategien berücksichtigen, nicht nur Latenz und Aufgabenabschluss. Das ist der Kern von Verhaltenstests für KI-Agenten.

Die Analyse muss außerdem jeden Fehler mit einer Ursache in Verbindung bringen. Ein Fehler kann darauf zurückzuführen sein, dass der Agent nicht über das richtige Werkzeug verfügte, ein anderer darauf, dass er ein falsches Zustandssignal erhielt, und wieder ein anderer darauf, dass die Belohnung eine Abkürzung verstärkt hat. Diese Logik steht im Zusammenhang mit Systemen, bei denen die KI lernt aus den Ursachen des Scheiterns und nicht nur anhand eines binären Erfolgsindikators.

Prüfungsrahmen vor der Bereitstellung

Ein Team kann die Logik der Studie nutzen, ohne das Modell selbst zu kopieren. Das Ziel besteht darin, die Belohnungslandschaft, die Zustandsübergänge und die Ausnahmen in überprüfbare Artefakte umzuwandeln. Jeder Schritt muss mit einem konkreten Anwendungsfall und einer beobachtbaren Entscheidung verknüpft sein.

Für die Einführung sind klare Richtlinien erforderlich. Ein Offline-Benchmark ist kein Ersatz für den Shadow-Modus, adversarische Szenarien, Rollbacks und menschliche Überwachung. Die KI-Agenten mit Grenzen Sie sind zuverlässig, wenn ihre Autonomie sich nach der Qualität der Einschätzung und dem Ausmaß der möglichen Auswirkungen richtet.

Die Aufsicht muss tatsächlich die Möglichkeit haben, einzugreifen. Wenn ein Agent jede Option als übermäßig negativ einschätzt, braucht es eine sichere Eskalationsmöglichkeit und einen besseren Handlungsraum – und keinen Druck, weiterzumachen. Wenn keine Aktion die Belohnungsschwelle überschreitet, muss das Ziel möglicherweise neu definiert werden. Vertrauen entsteht, wenn Kontext, Daten und menschliche Überwachung sind mit ausführbaren Regeln verknüpft.

Der Untersuchungsrahmen und die wesentliche Schlussfolgerung

Der Artikel nennt klare Einschränkungen. Erstens wird davon ausgegangen, dass der Agent die Situation korrekt und ohne Verzerrungen wahrnimmt, während menschliche Wahrnehmung und KI-Systeme Rauschen, Verzerrungen oder eine fehlerhafte Kalibrierung aufweisen können. Zweitens wird die Umgebung auf drei Zustände und wenige konservierte Aktionen reduziert. Sie umfasst weder vollständige Empathie noch gescheiterte Versuche oder spezifische gesellschaftliche Werte.

Drittens handelt es sich um ein Single-Agent-Framework, das also keine Gruppendynamiken, keine kulturelle Weitergabe und keine soziale Entwicklung zwischen mehreren aktiven Agenten abbildet. Viertens gibt es keine begleitende experimentelle Validierungsstudie am Menschen. Die Ergebnisse bleiben rein rechnerischer Natur, und die Vorschläge für Interventionen sind Hypothesen, die noch überprüft werden müssen.

Diese Einschränkungen machen das Modell nicht ungültig; sie legen vielmehr seinen richtigen Anwendungsbereich fest. Wir dürfen weder eine Simulation in eine Diagnose noch eine Korrelation innerhalb des ERDM in eine therapeutische Empfehlung umwandeln. Der Wert liegt darin, dass mechanistische Annahmen über Umgebung, Belohnungen und Verhalten sichtbar und überprüfbar werden.

Für Unternehmen lautet die wesentliche Schlussfolgerung ganz einfach: Bewerten Sie einen KI-Agenten nicht allein danach, ob er etwas «gelernt» oder ein durchschnittliches Ziel erreicht hat. Prüfen Sie, was er als wertvoll einzuschätzen gelernt hat, welche Risiken er erkennt, welche Optionen ihm zur Verfügung stehen, was er übersieht und wie die Abfolge von Ereignissen eine lokal sinnvolle Entscheidung in ein unerwünschtes Geschäftsergebnis verwandeln kann.