{"id":98263,"date":"2026-10-08T15:23:41","date_gmt":"2026-10-08T12:23:41","guid":{"rendered":"https:\/\/twodots.gr\/?p=98263"},"modified":"2026-10-08T15:23:41","modified_gmt":"2026-10-08T12:23:41","slug":"fehler-bei-der-logischen-verarbeitung-der-umgebung","status":"publish","type":"post","link":"https:\/\/twodots.gr\/de\/erdm-logiki-symperifora-lathos-perivallon\/","title":{"rendered":"ERDM: Wenn \u00abfalsches\u00bb Verhalten eine logische Reaktion auf ein falsches Umfeld ist"},"content":{"rendered":"<div class=\"td-article-lede\">\n<p><strong>Zun\u00e4chst die Antwort:<\/strong> ERDM und KI-Agenten haben eine gemeinsame, entscheidende Erkenntnis: Ein System kann konsequent lernen und dennoch zu unerw\u00fcnschtem Verhalten f\u00fchren, wenn die Belohnungen, die verf\u00fcgbaren Aktionen und die Umgebung es zu einer lokal sinnvollen, aber operativ falschen Strategie f\u00fchren.<\/p>\n<\/div>\n<p>Das ERDM verdeutlicht, warum ein KI-Agent zwar richtig lernen, aber falsch handeln kann, wenn seine Belohnungen, seine Entscheidungen und seine Umgebung miteinander in Konflikt stehen. Ein Verhalten kann irrational erscheinen, wenn wir es losgel\u00f6st von der Umgebung betrachten, die es hervorgebracht hat. Betrachtet man jedoch die Zw\u00e4nge, die verf\u00fcgbaren Optionen und die Belohnungserwartungen des Systems, so kann sich dasselbe Verhaltensmuster als konsistent mit dem erweisen, was der Agent als \u00abgesch\u00fctzt\u00bb gelernt hat. Das ist der zentrale Gedanke hinter dem <strong>Evolution\u00e4r rekurrentes Entscheidungsmodell (ERDM)<\/strong>, ein neues rechnergest\u00fctztes Rahmenwerk f\u00fcr das verst\u00e4rkende Lernen, das von Andrew Hu vorgeschlagen wird.<\/p>\n<p>Die Arbeit untersucht, wie evolution\u00e4re Diskrepanz, eingeschr\u00e4nkte Rationalit\u00e4t und das <em>Satisficing<\/em> k\u00f6nnen adaptive und maladaptive Strategien hervorbringen. Komplexe Verhaltensmuster wie Vermeidung, Aggression, gesunde Freundlichkeit oder erlernte Hilflosigkeit werden nicht als vorgefertigte Szenarien eingegeben. Sie ergeben sich aus wiederholten einfachen Entscheidungen in einer stochastischen Umgebung.<\/p>\n<p>F\u00fcr Fachleute, die KI-Agenten, Automatisierungen oder Entscheidungssysteme entwickeln, lautet die praktische Botschaft ganz konkret: Wenn ein System unerw\u00fcnschtes Verhalten zeigt, liegt das Problem m\u00f6glicherweise nicht nur im Modell. Es kann an der Belohnungslandschaft liegen, an den Informationen, die es wahrnimmt, an den ihm zur Verf\u00fcgung stehenden Optionen oder an der Abfolge der Ereignisse. Es handelt sich um dieselbe Art von Problem, auf die wir sto\u00dfen, wenn die <a href=\"https:\/\/twodots.gr\/ai-finds-a-way-techniti-noimosyni-aprovlepti-symperifora\/\">KI findet unvorhersehbare Wege zu einem Ziel<\/a>.<\/p>\n<div class=\"td-article-toc\">\n<div class=\"td-toc-title\">Inhaltsverzeichnis<\/div>\n<ul>\n<li><a href=\"#ti-montelopoiei-erdm\">Was modelliert das ERDM tats\u00e4chlich?<\/a><\/li>\n<li><a href=\"#antamoives-sygkrouomena-kinitra\">Wie Belohnungen zu widerspr\u00fcchlichen Anreizen werden<\/a><\/li>\n<li><a href=\"#mathisi-adraneia-orio-kindynou\">Lernen, Tr\u00e4gheit und Risikogrenze<\/a><\/li>\n<li><a href=\"#dokimi-antixootitas\">Wie wurde der Stresstest konzipiert?<\/a><\/li>\n<li><a href=\"#stathero-loss-diaforetikes-politikes\">Konstanter Verlust, unterschiedliche Strategien<\/a><\/li>\n<li><a href=\"#ypsili-antixootita\">Was sich unter \u00e4u\u00dferst widrigen Umst\u00e4nden ge\u00e4ndert hat<\/a><\/li>\n<li><a href=\"#anthektikes-evalotes-ypoomades\">Warum es resistente und anf\u00e4llige Untergruppen gab<\/a><\/li>\n<li><a href=\"#reward-design-epixeiriseon\">Vom wissenschaftlichen Artikel zum Belohnungsdesign in Unternehmen<\/a><\/li>\n<li><a href=\"#mesoi-oroi-failure-modes\">Warum Durchschnittswerte Fehlermodi verschleiern<\/a><\/li>\n<li><a href=\"#elegxos-prin-deployment\">Pr\u00fcfungsrahmen vor der Bereitstellung<\/a><\/li>\n<li><a href=\"#oria-symperasma\">Der Untersuchungsrahmen und die wesentliche Schlussfolgerung<\/a><\/li>\n<\/ul>\n<\/div>\n<h2 id=\"ti-montelopoiei-erdm\">Was modelliert das ERDM tats\u00e4chlich?<\/h2>\n<p>ERDM ist ein Single-Agent-System f\u00fcr verst\u00e4rkendes Lernen in einer stochastischen Umgebung. Es wurde nicht daf\u00fcr entwickelt, die optimale Strategie f\u00fcr eine genau definierte Aufgabe zu finden. Es wurde entwickelt, um zu untersuchen, was geschieht, wenn ein Agent in Situationen agieren muss, in denen seine Ziele miteinander in Konflikt stehen und keine Handlung immer richtig ist.<\/p>\n<p>Die Umgebung umfasst drei Kategorien sich wiederholender Probleme: Bedrohung, Verfolgung von Beute oder Ziel und Gelegenheit zur Allianz. Diese dienen als Abstraktionen evolution\u00e4r sich wiederholender Herausforderungen. Der Agent beobachtet seinen inneren und \u00e4u\u00dferen Zustand, w\u00e4hlt eine Aktion aus, akzeptiert die Konsequenzen und aktualisiert seine Wertesch\u00e4tzungen.<\/p>\n<p>Die Studie verbindet diesen Rahmen mit der Theorie der evolution\u00e4ren Fehlanpassung: Mechanismen, die in einem Umfeld entstanden sind, k\u00f6nnen in einem anderen Umfeld negative Auswirkungen haben. Das ERDM beweist nicht, dass diese Theorie psychische St\u00f6rungen beim Menschen erkl\u00e4rt. Es bietet einen Simulationsraum, in dem Annahmen \u00fcber Umgebung, Motive und Verhalten konkretisiert und \u00fcberpr\u00fcft werden k\u00f6nnen, ohne dass ein reales Experiment am Menschen durchgef\u00fchrt werden muss.<\/p>\n<aside class=\"td-article-note\"><strong>Was das ERDM nicht ist:<\/strong> Es handelt sich weder um ein klinisches Diagnosewerkzeug noch um ein Framework f\u00fcr Produktionsagenten, und es stellt keinen Beweis daf\u00fcr dar, dass Menschen als Agenten des verst\u00e4rkenden Lernens agieren. Es ist ein rechnerisches Modell f\u00fcr mechanistische Annahmen.<\/aside>\n<p>Diese Unterscheidung ist auch f\u00fcr die praktische Anwendung von Bedeutung. Der Wert der Studie liegt nicht darin, dass sie einen fertigen Algorithmus f\u00fcr den Kundensupport oder den E-Commerce liefert. Vielmehr zeigt sie auf kontrollierte Weise, warum die Umgebung des Agenten als Teil des Systems und nicht nur als blo\u00dfe Kulisse betrachtet werden muss. Dasselbe Prinzip wird auch in den <a href=\"https:\/\/twodots.gr\/world-models-ai-perivallon-agent-koino-systima\/\">Weltmodelle, bei denen Agent und Umgebung als gemeinsames System betrachtet werden m\u00fcssen<\/a>.<\/p>\n<h2 id=\"antamoives-sygkrouomena-kinitra\">Wie Belohnungen zu widerspr\u00fcchlichen Anreizen werden<\/h2>\n<p>Der Agent lernt anhand von drei konkurrierenden Belohnungsdimensionen. Die erste betrifft den existenziellen oder physischen Zustand, den die Arbeit mit L bezeichnet. Die zweite ist der defensive soziale Wert, DB, der mit Strategien der Dominanz und der Abwehr von Bedrohungen verbunden ist. Die dritte ist der soziale Wert der F\u00fcrsorge, NB, der mit Prestige und der Gew\u00e4hrung von Vorteilen f\u00fcr andere verbunden ist.<\/p>\n<p>Eine Aktion kann eine Dimension st\u00e4rken und den anderen schaden. Der Kampf gegen eine Bedrohung kann beispielsweise die Verteidigungsposition des Agenten verbessern, aber seine k\u00f6rperliche Verfassung und seine F\u00e4higkeit, andere zu unterst\u00fctzen, beeintr\u00e4chtigen. Da die Folgen vom Zustand abh\u00e4ngen und sich die Umgebungsparameter stochastisch \u00e4ndern, gibt es keine einheitliche Strategie, die alle Aspekte maximiert.<\/p>\n<p>Dies zwingt das System dazu, <em>Satisficing<\/em>: L\u00f6sungen zu w\u00e4hlen, die unter den aktuellen Einschr\u00e4nkungen ausreichend sind, nicht theoretisch perfekt. F\u00fcr einen Business-AI-Workflow ist der Vergleich naheliegend, muss aber ein Vergleich bleiben. Wenn ein Agent gleichzeitig Geschwindigkeit, Kosten, Qualit\u00e4t und Compliance optimiert, kann eine Entscheidung, die bei einem Indikator schlecht erscheint, auf der Grundlage der Signale, die wir ihm gegeben haben, das bestm\u00f6gliche Gleichgewicht darstellen.<\/p>\n<div class=\"td-comparison td-comparison-cards--horizontal\">\n<div class=\"td-chart-head\">\n<p class=\"td-chart-kicker\">Zwei Tr\u00e4gheitsmechanismen<\/p>\n<p class=\"td-chart-title\">Erlernte Hilflosigkeit und Apathie sind nicht dasselbe<\/p>\n<p class=\"td-chart-intro\">Das ERDM unterscheidet zwei F\u00e4lle, in denen sich der Agent nicht auf eine bestimmte Aktion festlegt, da die zugrunde liegenden Wertsch\u00e4tzungen unterschiedlich sind.<\/p>\n<\/div>\n<div class=\"td-comparison-grid\">\n<div class=\"td-platform-card\">\n<p class=\"td-platform-name\">Erlernte Hilflosigkeit<\/p>\n<p>Alle verf\u00fcgbaren Ma\u00dfnahmen werden im Hinblick auf die Risikogrenze als \u00fcberm\u00e4\u00dfig negativ eingestuft. Unt\u00e4tigkeit ist eine risikobezogene Zur\u00fcckhaltung.<\/p>\n<\/div>\n<div class=\"td-platform-card\">\n<p class=\"td-platform-name\">Gleichg\u00fcltigkeit<\/p>\n<p>Keine der verf\u00fcgbaren Handlungen verspricht eine ausreichende Belohnung. Unt\u00e4tigkeit ist ein auf Belohnung ausgerichteter Mangel an ausreichender Motivation.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p>Diese Unterscheidung hat praktischen Wert. Ein Business-Agent kann \u00absteckenbleiben\u00bb, weil jede verf\u00fcgbare Option gegen eine Schutzgrenze verst\u00f6\u00dft oder weil keine Option die Mindestnutzenschwelle \u00fcberschreitet. Im ersten Fall ist m\u00f6glicherweise eine sichere Eskalation oder eine R\u00fcckabwicklungsm\u00f6glichkeit erforderlich. Im zweiten Fall sind vielleicht ein besser definiertes Ziel oder mehr Werkzeuge n\u00f6tig. Derselbe sichtbare Fehler kann unterschiedliche Korrekturma\u00dfnahmen erfordern.<\/p>\n<h2 id=\"mathisi-adraneia-orio-kindynou\">Lernen, Tr\u00e4gheit und Risikogrenze<\/h2>\n<p>Jede Aktion verf\u00fcgt \u00fcber ein eigenes, unabh\u00e4ngiges Wertnetzwerk. Das Netzwerk nimmt den Zustand als Eingabe entgegen und generiert die erwartete Belohnung f\u00fcr die jeweilige Aktion. Die in der Arbeit beschriebene Architektur verf\u00fcgt \u00fcber zwei versteckte Schichten mit 128 bzw. 64 Einheiten sowie einen Ausgang. Die Auswahl erfolgt nach der Epsilon-Greedy-Strategie, sodass der Agent mal das nutzt, was er bereits als am besten erachtet, und mal neue M\u00f6glichkeiten erkundet.<\/p>\n<p>Die Episode endet, wenn der Gesundheitszustand oder die wichtigste Dimension des sozialen \u00dcberlebens den Wert Null erreicht. Die Belohnungen staffeln sich entsprechend den verf\u00fcgbaren Ressourcen: derselbe Verlust hat ein gr\u00f6\u00dferes Gewicht, wenn sich der Agent bereits in einer prek\u00e4ren Lage befindet. Der Zustand wird in verschiedene Zonen unterteilt, von \u201edire\u201c bis \u201estable\u201c, wobei die Empfindlichkeit gegen\u00fcber niedrigen Ressourcenwerten zunimmt.<\/p>\n<p>Dieser Aspekt erkl\u00e4rt, warum eine Aktion keine feste Bedeutung hat. Eine Aktion, die bei hohen Ressourcen akzeptabel ist, kann katastrophale Folgen haben, wenn sich der Agent nahe an der Grenze der Lebensf\u00e4higkeit befindet. Bei Produktions-KI m\u00fcssen Schwellenwerte und Eskalationsregeln dementsprechend den Kontext ber\u00fccksichtigen: Konfidenz, finanzielles Risiko, Datensensibilit\u00e4t, Auswirkungen auf den Kunden und die M\u00f6glichkeit einer manuellen R\u00fccknahme.<\/p>\n<p>Die zustandsorientierte Steuerung ist nicht einfach nur eine detailliertere Eingabe. Sie muss die zul\u00e4ssigen Aktionen und Schwellenwerte anpassen, wenn sich der Zustand \u00e4ndert. Deshalb ist es sinnvoll, das Belohnungsdesign mit <a href=\"https:\/\/twodots.gr\/smrc-sd-kathodigisi-ai-agent-katastasi\/\">Steuerung eines KI-Agenten in Abh\u00e4ngigkeit vom Zustand<\/a> und nicht nur durch eine allgemeine Politik.<\/p>\n<h2 id=\"dokimi-antixootitas\">Wie wurde der Stresstest konzipiert?<\/h2>\n<p>Zur Validierung modellierte die Studie negative Kindheitserfahrungen als drei Stufen der Bedrohungsintensit\u00e4t. Die geringe Adversit\u00e4t umfasste Bedrohungen mit einer Intensit\u00e4t von 20\u201340 auf einer Skala von 0\u2013100, die mittlere Stufe 40\u201360 und die hohe Stufe 80\u2013100. Die H\u00e4ufigkeit der drei Umgebungsarten wurde konstant gehalten, sodass der wesentliche Unterschied in der Intensit\u00e4t der negativen Ereignisse lag.<\/p>\n<p>Die Hauptversuche umfassten 200 unabh\u00e4ngige Simulationen mit jeweils 1.500 Trainingsschritten f\u00fcr DB-dominante Agenten, NB-dominante Agenten und zuf\u00e4llige Agenten unter den drei Bedingungen. Die zuf\u00e4lligen Agenten wiesen im Aktionsraum keine erlernte Hilflosigkeit oder Apathie auf, da diese Optionen Wertesch\u00e4tzungen voraussetzen.<\/p>\n<p>Die Studie gibt die kindliche Erfahrung nicht in ihrer ganzen menschlichen Komplexit\u00e4t wieder. Sie nutzt kontrollierte Abstraktionen, um zu untersuchen, ob sich aus der Kombination von Belohnung, Risiko und Lernen bekannte Muster ergeben k\u00f6nnen. Es handelt sich hierbei um eine computergest\u00fctzte Validierung, nicht um eine klinische Validierung und nicht um eine Grundlage f\u00fcr eine Diagnose oder eine therapeutische Empfehlung.<\/p>\n<aside class=\"td-article-note\"><strong>Korrekte Aussprache von Zahlen:<\/strong> Die folgenden Prozents\u00e4tze beschreiben Verhaltensweisen innerhalb der ERDM-Simulation. Es handelt sich nicht um epidemiologische Werte, sie sagen nichts \u00fcber menschliches Verhalten aus und lassen sich nicht unver\u00e4ndert auf Unternehmenssysteme \u00fcbertragen.<\/aside>\n<h2 id=\"stathero-loss-diaforetikes-politikes\">Konstanter Verlust, unterschiedliche Strategien<\/h2>\n<p>Eines der n\u00fctzlichsten Ergebnisse ist der Abstand zwischen der Konvergenz des Lernverlusts und der Konvergenz des Verhaltens. Bei den DB-Agenten verringerte sich der Verlust je nach Bedingung um 92 % bis 97 %, w\u00e4hrend bei den NB-Agenten die Verringerung unter allen Bedingungen \u00fcber 99 % lag. Die \u201eLate-Window\u201c-Steigungen von Verlust und Belohnung wichen nicht von Null ab, was auf eine Stabilisierung des Trainings hindeutet.<\/p>\n<p>Dennoch verschwand die Vielfalt der Aktionen nicht. Die DB-Agenten behielten 34 %\u201344 % ihrer urspr\u00fcnglichen Entropie bei, die NB-Agenten 34 %\u201349 %. Das System konnte daher einen stabilen Lernprozess aufweisen, ohne dass alle Agenten letztendlich dieselbe Strategie verfolgten. Unter hohen Widrigkeiten wurde der Zusammenhang zwischen dem Late-Window-Verlust und der Verhaltensentropie st\u00e4rker, was darauf hindeutet, dass die Stabilisierung des Lernens und die Konsistenz des Verhaltens in dieser Umgebung enger miteinander verbunden waren.<\/p>\n<p>F\u00fcr die Bewertung von KI-Agenten ist dies entscheidend. Eine gleichm\u00e4\u00dfige Verlustkurve oder eine gute Gesamtbewertung ist kein Beweis f\u00fcr ein gleichm\u00e4\u00dfiges oder gew\u00fcnschtes Verhalten. Wir m\u00fcssen die Streuung der Trajektorien, die seltenen Fehlschl\u00e4ge und die Stabilit\u00e4t der Strategien bei unterschiedlichen Ereignisabl\u00e4ufen untersuchen. Die <a href=\"https:\/\/twodots.gr\/epalithefsi-politikon-reinforcement-learning-ai-agent\/\">Validierung von Strategien im Bereich des verst\u00e4rkenden Lernens<\/a> Es muss darum gehen, wie sich das System in kritischen Situationen verh\u00e4lt, und nicht nur darum, ob sich ein Durchschnittswert verbessert hat.<\/p>\n<h2 id=\"ypsili-antixootita\">Was sich unter \u00e4u\u00dferst widrigen Umst\u00e4nden ge\u00e4ndert hat<\/h2>\n<p>Bei den DB-dominanten Agenten blieb die positive Erwartung unter den Bedingungen ohne ACE und bei m\u00e4\u00dfiger Adversit\u00e4t bei etwa 85 %, sank jedoch unter hoher Adversit\u00e4t auf 67 %. Die erlernte Hilflosigkeit, die unter den beiden milderen Bedingungen nicht auftrat, zeigte sich mit einem Durchschnittswert von 15,2 %. Die negative Erwartung stieg von etwa 15 % auf 33 %.<\/p>\n<p>Das Ergebnis war kein einfacher allgemeiner Anstieg der Aggressivit\u00e4t. Die fehlgeleitete Aggression ging von 39 % auf 29,4 % zur\u00fcck und die relationale Aggression von 30,8 % auf 24,7 %. Die Studie kommt zu dem Schluss, dass, sobald die Bedrohung die Risikoschwelle \u00fcberschreitet, Passivit\u00e4t aufgrund erlernter Hilflosigkeit fr\u00fchere Dominanzstrategien verdr\u00e4ngen kann.<\/p>\n<p>Die NB-dominanten Agenten wiesen ein anderes Profil auf. Gesunde Freundlichkeit blieb das vorherrschende Verhalten und erreichte unter hohen Widrigkeiten etwa 47 %, w\u00e4hrend erlernte Hilflosigkeit nicht auftrat. Das Ergebnis zeigt, wie sehr ein Unterschied in der Belohnungspriorit\u00e4t das emergent Repertoire ver\u00e4ndern kann, ohne dass zuvor vollst\u00e4ndige, komplexe Skripte kodiert wurden.<\/p>\n<div class=\"td-chart td-chart--metrics\">\n<div class=\"td-chart-head\">\n<p class=\"td-chart-kicker\">Messdaten aus der Ver\u00f6ffentlichung<\/p>\n<p class=\"td-chart-title\">Vier Zahlen, die das ERDM erkl\u00e4ren<\/p>\n<p class=\"td-chart-intro\">Die Werte stammen aus der Simulation und stellen weder Produktions-KPIs noch klinische Raten oder ROI-Prognosen dar.<\/p>\n<\/div>\n<div class=\"td-metric-grid\">\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">200<\/span><span class=\"td-metric-label\">unabh\u00e4ngige Hauptsimulationen pro Einstellung<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">1.500<\/span><span class=\"td-metric-label\">Trainingsschritte bei jedem Hauptlauf<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">15,2%<\/span><span class=\"td-metric-label\">Durchschnittliche erlernte Hilflosigkeit (DB) unter extremen Widrigkeiten<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">296 \/ 704<\/span><span class=\"td-metric-label\">Resistente und anf\u00e4llige L\u00e4ufe in der zus\u00e4tzlichen Analyse<\/span><\/div>\n<\/div>\n<\/div>\n<h2 id=\"anthektikes-evalotes-ypoomades\">Warum es resistente und anf\u00e4llige Untergruppen gab<\/h2>\n<p>Die zus\u00e4tzliche Analyse von 1.000 DB-dominanten L\u00e4ufen unter hohen Adversit\u00e4tsbedingungen deckte zwei latente Untergruppen auf. Das Gau\u00dfsche Mischungsmodell sprach sich deutlich f\u00fcr eine L\u00f6sung mit zwei Komponenten aus und verwendete einen Schwellenwert von 2,04 % f\u00fcr die gelernte Hilfsfunktion. Die 296 L\u00e4ufe wurden als widerstandsf\u00e4hig eingestuft, mit einem Durchschnittswert von 0,43 %, und die 704 als anf\u00e4llig, mit einem Durchschnittswert von 20 %.<\/p>\n<p>Die Umgebungsbedingungen waren identisch. Was sich \u00e4nderte, war die stochastische Abfolge der fr\u00fchen Ereignisse, die zu unterschiedlichen Belohnungsverl\u00e4ufen f\u00fchrte. Die widerstandsf\u00e4higen Agenten zeigten ein st\u00e4rkeres Schutzverhalten (31,64 % gegen\u00fcber 7,92 %) und eine positive Erwartung (82,65 % gegen\u00fcber 62,35 %).<\/p>\n<p>Die gesunde Freundlichkeit wies in der Simulation eine starke negative Korrelation mit der erlernten Hilflosigkeit auf: Pearson r = -0,91 und R\u00b2 = 0,83. Im Gegensatz dazu zeigte die \u201eHelp-Seeking Vulnerability\u201c keinen signifikanten Zusammenhang. Das bedeutet jedoch nicht, dass das Suchen nach Hilfe die Menschen nicht sch\u00fctzt. In diesem speziellen Modell untersch\u00e4tzen die DB-Agenten sie, da sie als Kosten f\u00fcr ihre defensive soziale Position interpretiert wird.<\/p>\n<p>Die operative Schlussfolgerung lautet, dass dieselbe Konfiguration nicht zwangsl\u00e4ufig zu denselben Verl\u00e4ufen f\u00fchrt. Die Abfolge von Tools, Wiederholungsversuchen, Ausnahmen und menschlichen Eingriffen kann den sp\u00e4teren Zustand eines Agenten ver\u00e4ndern. Dies ist ein Grund, warum die <a href=\"https:\/\/twodots.gr\/dynamic-context-scheduling-ai-agents-metavallomenos-kosmos\/\">Training von KI-Agenten f\u00fcr sich ver\u00e4ndernde Umgebungen<\/a> Es sind mehrere Abl\u00e4ufe erforderlich und nicht nur ein einziger \u201eHappy Path\u201c.<\/p>\n<h2 id=\"reward-design-epixeiriseon\">Vom wissenschaftlichen Artikel zum Belohnungsdesign in Unternehmen<\/h2>\n<p>ERDM ist kein Modell f\u00fcr Marketing, Kundensupport oder E-Commerce. Seine Architektur verdeutlicht jedoch ein allgemeines Problem des agentischen Designs. Teams legen oft ein Ziel fest \u2013 mehr Konversionen, schnellerer Service, geringere Kosten \u2013 und betrachten die Nebenwirkungen als unvorhersehbare Fehler. Ein Agent kann jedoch einfach konsequent den ihm vorgegebenen Anreizen folgen.<\/p>\n<p>Ein Kundensupport-Mitarbeiter, der haupts\u00e4chlich f\u00fcr kurze Bearbeitungszeiten verg\u00fctet wird, k\u00f6nnte Chats beenden, bevor das Problem gel\u00f6st ist. Ein Empfehlungssystem, das nur direkte Klicks ber\u00fccksichtigt, k\u00f6nnte Vertrauen oder Vielfalt opfern. Ein Marketingmitarbeiter, der ausschlie\u00dflich Leads z\u00e4hlt, erzeugt m\u00f6glicherweise eine gro\u00dfe Menge an minderwertigen Kontakten. Dies sind detaillierte Beispiele f\u00fcr das Prinzip und keine F\u00e4lle, die in der Studie getestet wurden.<\/p>\n<p>Es hat sich bew\u00e4hrt, Zielkonflikte vor der Bereitstellung zu erfassen. Welche Kennzahlen stehen im Widerspruch zueinander? Welches Verhalten w\u00fcrde jede Kennzahl auf unerw\u00fcnschte Weise maximieren? Welche Kosten sind im Modell nicht ber\u00fccksichtigt? Welche Sicherheitsma\u00dfnahme fehlt? Die Diskussion \u00fcber das <a href=\"https:\/\/twodots.gr\/sparse-reward-ai-hints-critics-teachers\/\">\u201eSparse Reward\u201c und das Training mit Hinweisen, Kritikern und Lehrern<\/a> Es zeigt au\u00dferdem, dass die Qualit\u00e4t des Feedbacks dar\u00fcber entscheidet, was das System lernen kann.<\/p>\n<div class=\"td-decision-band\">\n<p class=\"td-decision-kicker\">Entscheidung zur Gestaltung der Belohnung<\/p>\n<p class=\"td-decision-title\">Korrigieren Sie nicht nur das Ergebnis; pr\u00fcfen Sie, was das Verhalten plausibel gemacht hat.<\/p>\n<p>Erfassen Sie Belohnungen, Strafen, Zustandssignale, verf\u00fcgbare Aktionen, Stoppbedingungen und Eskalationspfade. Wenn der Agent keine sichere Option hat oder die Kosten einer Aktion nicht erkennen kann, kann eine strengere Eingabeaufforderung das Symptom vor\u00fcbergehend verbergen, ohne den Mechanismus zu \u00e4ndern.<\/p>\n<\/div>\n<p>Das NIST AI RMF betrachtet das KI-Risiko als eine Funktion aus Wahrscheinlichkeit und Auswirkung innerhalb eines bestimmten Kontexts und warnt davor, dass Kennzahlen zu stark vereinfacht oder zum Gegenstand von Manipulationen werden k\u00f6nnen. Dies deckt sich mit der praktischen Erkenntnis des ERDM: Die Anreize und Grenzen der Organisation sind Teil der Sicherheit. Es reicht nicht aus, vom Modell \u00abgutes Verhalten\u00bb zu verlangen, wenn das operative Umfeld etwas anderes belohnt.<\/p>\n<h2 id=\"mesoi-oroi-failure-modes\">Warum Durchschnittswerte Fehlermodi verschleiern<\/h2>\n<p>Die Unterteilung in widerstandsf\u00e4hige und anf\u00e4llige Akteure zeigt, dass ein aggregiertes Ergebnis zwei v\u00f6llig unterschiedliche Verhaltenskategorien verbergen kann. W\u00fcrde die Auswertung lediglich den Mittelwert der erlernten Hilflosigkeit betrachten, w\u00fcrde sie die bimodale Struktur der 1.000 Durchl\u00e4ufe nicht deutlich erkennen.<\/p>\n<p>F\u00fcr die Produktions-KI bedeutet dies, dass Kohortenanalysen, Tail-Risk-Tests und die Nachstellung verschiedener Ereignisabl\u00e4ufe erforderlich sind. Eine allgemeine Erfolgsquote reicht nicht aus. Wir m\u00fcssen wissen, welche Nutzer, welche Absichten, welche Ressourcenebenen und welche Werkzeugabl\u00e4ufe zu Fehlermodi f\u00fchren. Die zeitliche Abfolge kann ebenso wichtig sein wie die einzelnen Eingaben.<\/p>\n<p>Ebenso wichtig ist es, zwischen technischer Stabilit\u00e4t und dem gew\u00fcnschten Verhalten zu unterscheiden. Eine Policy kann stabil und gleichzeitig problematisch sein. Dashboards m\u00fcssen Verhaltensvielfalt, Ablehnungsmuster, Eskalationsqualit\u00e4t, Rollback-Rate und unerw\u00fcnschte Strategien ber\u00fccksichtigen, nicht nur Latenz und Aufgabenabschluss. Das ist der Kern von <a href=\"https:\/\/twodots.gr\/ai-agents-behavioral-testing\/\">Verhaltenstests f\u00fcr KI-Agenten<\/a>.<\/p>\n<p>Die Analyse muss au\u00dferdem jeden Fehler mit einer Ursache in Verbindung bringen. Ein Fehler kann darauf zur\u00fcckzuf\u00fchren sein, dass der Agent nicht \u00fcber das richtige Werkzeug verf\u00fcgte, ein anderer darauf, dass er ein falsches Zustandssignal erhielt, und wieder ein anderer darauf, dass die Belohnung eine Abk\u00fcrzung verst\u00e4rkt hat. Diese Logik steht im Zusammenhang mit Systemen, bei denen die <a href=\"https:\/\/twodots.gr\/cdrl-ai-mathainei-apo-aitia-apotychias\/\">KI lernt aus den Ursachen des Scheiterns<\/a> und nicht nur anhand eines bin\u00e4ren Erfolgsindikators.<\/p>\n<h2 id=\"elegxos-prin-deployment\">Pr\u00fcfungsrahmen vor der Bereitstellung<\/h2>\n<p>Ein Team kann die Logik der Studie nutzen, ohne das Modell selbst zu kopieren. Das Ziel besteht darin, die Belohnungslandschaft, die Zustands\u00fcberg\u00e4nge und die Ausnahmen in \u00fcberpr\u00fcfbare Artefakte umzuwandeln. Jeder Schritt muss mit einem konkreten Anwendungsfall und einer beobachtbaren Entscheidung verkn\u00fcpft sein.<\/p>\n<div class=\"td-step-list\">\n<p class=\"td-step-list-title\">\u00dcberpr\u00fcfung der Belohnungslandschaft f\u00fcr einen operativen KI-Agenten<\/p>\n<ol>\n<li><span class=\"td-step-kicker\">Schritt 1<\/span><strong>Legen Sie die Entscheidung und die tats\u00e4chlichen Fehlerkosten fest<\/strong>\n<p>Halten Sie fest, welche Entscheidungen der Agent trifft oder welche Ma\u00dfnahmen er ergreift, wen dies betrifft und welche Fehler behebbar, kostspielig oder mit hohem Risiko verbunden sind.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Schritt 2<\/span><strong>Erstellen Sie eine \u00dcbersicht \u00fcber die wettbewerbsf\u00e4higen Verg\u00fctungen<\/strong>\n<p>Verbinden Sie Geschwindigkeit, Qualit\u00e4t, Kosten, Compliance und Kundenerfahrung mit einzelnen Kennzahlen, damit eine Kennzahl die anderen nicht in den Hintergrund dr\u00e4ngt.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Schritt 3<\/span><strong>\u00dcberpr\u00fcfen Sie, was der Agent nicht sieht<\/strong>\n<p>Entdecken Sie versteckte Kosten, verz\u00f6gerte Ergebnisse, unvollst\u00e4ndige Informationen und Feedback, das erst dann eintrifft, wenn es bereits zu sp\u00e4t ist.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Schritt 4<\/span><strong>F\u00fcgen Sie sichere Aktionen und Stoppbedingungen hinzu<\/strong>\n<p>Bieten Sie Optionen f\u00fcr Klarstellung, Wartezeit, Rollback und Eskalation an einen Mitarbeiter an, anstatt das System zu zwingen, zwischen schlechten Ma\u00dfnahmen zu w\u00e4hlen.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Schritt 5<\/span><strong>Spielen Sie verschiedene Abl\u00e4ufe erneut ab<\/strong>\n<p>\u00c4ndern Sie die Reihenfolge, Intensit\u00e4t und H\u00e4ufigkeit von Ereignissen, da dieselbe Menge an Eingaben zu unterschiedlichen Belohnungsverl\u00e4ufen und Strategien f\u00fchren kann.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Schritt 6<\/span><strong>Erfassen Sie Kohorten und extremes Verhalten<\/strong>\n<p>Analysieren Sie Verteilungswarteschlangen, Minderheitsausf\u00e4lle, Ablehnungsmuster und Trajektoriencluster, anstatt sich ausschlie\u00dflich auf den Durchschnittswert zu st\u00fctzen.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Schritt 7<\/span><strong>Legen Sie den Eigent\u00fcmer, den Pr\u00fcfpfad und die \u00c4nderungsregel fest<\/strong>\n<p>Bestimmen Sie f\u00fcr jede Belohnung und jede Schutzma\u00dfnahme einen Verantwortlichen, dokumentieren Sie die Entscheidungsgrundlagen und \u00e4ndern Sie die Konfiguration nur nach einer messbaren \u00dcberpr\u00fcfung.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>F\u00fcr die Einf\u00fchrung sind klare Richtlinien erforderlich. Ein Offline-Benchmark ist kein Ersatz f\u00fcr den Shadow-Modus, adversarische Szenarien, Rollbacks und menschliche \u00dcberwachung. Die <a href=\"https:\/\/twodots.gr\/ai-agents-me-oria-aftonomia-kai-krisi\/\">KI-Agenten mit Grenzen<\/a> Sie sind zuverl\u00e4ssig, wenn ihre Autonomie sich nach der Qualit\u00e4t der Einsch\u00e4tzung und dem Ausma\u00df der m\u00f6glichen Auswirkungen richtet.<\/p>\n<p>Die Aufsicht muss tats\u00e4chlich die M\u00f6glichkeit haben, einzugreifen. Wenn ein Agent jede Option als \u00fcberm\u00e4\u00dfig negativ einsch\u00e4tzt, braucht es eine sichere Eskalationsm\u00f6glichkeit und einen besseren Handlungsraum \u2013 und keinen Druck, weiterzumachen. Wenn keine Aktion die Belohnungsschwelle \u00fcberschreitet, muss das Ziel m\u00f6glicherweise neu definiert werden. Vertrauen entsteht, wenn <a href=\"https:\/\/twodots.gr\/ai-agents-confidence-context-data-human-oversight\/\">Kontext, Daten und menschliche \u00dcberwachung<\/a> sind mit ausf\u00fchrbaren Regeln verkn\u00fcpft.<\/p>\n<h2 id=\"oria-symperasma\">Der Untersuchungsrahmen und die wesentliche Schlussfolgerung<\/h2>\n<p>Der Artikel nennt klare Einschr\u00e4nkungen. Erstens wird davon ausgegangen, dass der Agent die Situation korrekt und ohne Verzerrungen wahrnimmt, w\u00e4hrend menschliche Wahrnehmung und KI-Systeme Rauschen, Verzerrungen oder eine fehlerhafte Kalibrierung aufweisen k\u00f6nnen. Zweitens wird die Umgebung auf drei Zust\u00e4nde und wenige konservierte Aktionen reduziert. Sie umfasst weder vollst\u00e4ndige Empathie noch gescheiterte Versuche oder spezifische gesellschaftliche Werte.<\/p>\n<p>Drittens handelt es sich um ein Single-Agent-Framework, das also keine Gruppendynamiken, keine kulturelle Weitergabe und keine soziale Entwicklung zwischen mehreren aktiven Agenten abbildet. Viertens gibt es keine begleitende experimentelle Validierungsstudie am Menschen. Die Ergebnisse bleiben rein rechnerischer Natur, und die Vorschl\u00e4ge f\u00fcr Interventionen sind Hypothesen, die noch \u00fcberpr\u00fcft werden m\u00fcssen.<\/p>\n<p>Diese Einschr\u00e4nkungen machen das Modell nicht ung\u00fcltig; sie legen vielmehr seinen richtigen Anwendungsbereich fest. Wir d\u00fcrfen weder eine Simulation in eine Diagnose noch eine Korrelation innerhalb des ERDM in eine therapeutische Empfehlung umwandeln. Der Wert liegt darin, dass mechanistische Annahmen \u00fcber Umgebung, Belohnungen und Verhalten sichtbar und \u00fcberpr\u00fcfbar werden.<\/p>\n<p>F\u00fcr Unternehmen lautet die wesentliche Schlussfolgerung ganz einfach: Bewerten Sie einen KI-Agenten nicht allein danach, ob er etwas \u00abgelernt\u00bb oder ein durchschnittliches Ziel erreicht hat. Pr\u00fcfen Sie, was er als wertvoll einzusch\u00e4tzen gelernt hat, welche Risiken er erkennt, welche Optionen ihm zur Verf\u00fcgung stehen, was er \u00fcbersieht und wie die Abfolge von Ereignissen eine lokal sinnvolle Entscheidung in ein unerw\u00fcnschtes Gesch\u00e4ftsergebnis verwandeln kann.<\/p>\n<section class=\"td-service-cta\">\n<div class=\"td-service-cta-content\">\n<p class=\"td-service-cta-kicker\">KI-Automatisierungen mit gesteuerten Anreizen<\/p>\n<p class=\"td-service-cta-title\">Entwickeln Sie Agenten, die das richtige Ergebnis optimieren<\/p>\n<p>TWO DOTS verbindet Betriebsdaten, Belohnungsdesign, zustandsbezogene Sicherheitsvorkehrungen, manuelle Eskalation, Pr\u00fcfpfade und Verhaltenstests in kontrollierten KI-Abl\u00e4ufen.<\/p>\n<div class=\"td-service-cta-actions\"><a class=\"td-service-cta-button\" href=\"https:\/\/twodots.gr\/aftomatismoi-epicheiriseon-ai\/\">Siehe Unternehmensautomatisierung &amp; KI<\/a><\/div>\n<\/div>\n<\/section>\n<section id=\"sychnes-erotiseis\" class=\"td-faq-section\">\n<div class=\"td-faq\">\n<p class=\"td-faq-heading\">H\u00e4ufig gestellte Fragen<\/p>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Was ist ERDM?<\/summary>\n<div class=\"td-faq-content\">\n<p>Es handelt sich um ein computergest\u00fctztes Framework f\u00fcr das Reinforcement Learning, das einen Agenten in Umgebungen simuliert, die von Bedrohungen, Zielen und Allianzen gepr\u00e4gt sind und in denen Aspekte des physischen und sozialen \u00dcberlebens miteinander konkurrieren.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Ist das ERDM ein klinisches Diagnosemodell?<\/summary>\n<div class=\"td-faq-content\">\n<p>Nein. Bei der Studie handelt es sich um eine computergest\u00fctzte Untersuchung; sie umfasst keine experimentelle Validierung am Menschen und sollte nicht f\u00fcr Diagnosen oder therapeutische Entscheidungen herangezogen werden.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Was bedeutet \u201eSatisficing\u201c im ERDM?<\/summary>\n<div class=\"td-faq-content\">\n<p>Das bedeutet, eine L\u00f6sung zu w\u00e4hlen, die unter den gegebenen Einschr\u00e4nkungen ausreichend ist, anstatt nach einer allgemein optimalen L\u00f6sung zu suchen, die m\u00f6glicherweise gar nicht existiert.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Was ist der Unterschied zwischen erlernter Hilflosigkeit und Apathie?<\/summary>\n<div class=\"td-faq-content\">\n<p>Die erste wird ausgel\u00f6st, wenn alle Ma\u00dfnahmen im Verh\u00e4ltnis zur Risikogrenze als \u00fcberm\u00e4\u00dfig negativ eingesch\u00e4tzt werden, w\u00e4hrend die zweite ausgel\u00f6st wird, wenn keine der Ma\u00dfnahmen als ausreichend rentabel erscheint.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Was hat der Test unter extremen Bedingungen ergeben?<\/summary>\n<div class=\"td-faq-content\">\n<p>Bei den DB-dominanten Agenten lag der Wert f\u00fcr die erlernte Hilflosigkeit im Durchschnitt bei 15,2 %, die positive Erwartungshaltung nahm ab und die Aggressivit\u00e4t stieg nicht gleichm\u00e4\u00dfig an.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Warum sind in denselben Umgebungen zwei Untergruppen aufgetreten?<\/summary>\n<div class=\"td-faq-content\">\n<p>Die stochastische Abfolge der fr\u00fchen Ereignisse f\u00fchrte zu unterschiedlichen Belohnungsverl\u00e4ufen, obwohl die Umgebungsparameter in den 1.000 zus\u00e4tzlichen Durchl\u00e4ufen identisch waren.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Was ist der grundlegende Kurs zum Thema Business-KI?<\/summary>\n<div class=\"td-faq-content\">\n<p>Die Teams m\u00fcssen gemeinsam das Modell, die Anreize, die verf\u00fcgbaren Aktionen, die Zustandssignale, die Schwellenwerte und die Ereignisabl\u00e4ufe \u00fcberpr\u00fcfen, die zu unerw\u00fcnschten Strategien f\u00fchren k\u00f6nnten.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Wie wird ein KI-Agent vor der Bereitstellung getestet?<\/summary>\n<div class=\"td-faq-content\">\n<p>Mit der Erfassung wettbewerbsf\u00e4higer Belohnungen, sicherer Stopps und Eskalationsma\u00dfnahmen, der Wiedergabe verschiedener Abl\u00e4ufe, Kohortenanalysen, Tail-Risk-Tests und einem Pr\u00fcfpfad.<\/p>\n<\/div>\n<\/details>\n<\/div>\n<\/section>\n<div class=\"td-source-list\">\n<p id=\"piges\" class=\"td-source-list-title\">Quellen<\/p>\n<ul>\n<li><a href=\"https:\/\/arxiv.org\/abs\/2608.23932\" target=\"_blank\" rel=\"noopener\">Andrew Hu \u2013 Evolution\u00e4res rekurrentes Entscheidungsmodell zur Entwicklung adaptiver und maladaptiver Verhaltensweisen, arXiv<\/a><\/li>\n<li><a href=\"https:\/\/www.nist.gov\/publications\/artificial-intelligence-risk-management-framework-generative-artificial-intelligence\" target=\"_blank\" rel=\"noopener\">NIST \u2013 Rahmenwerk f\u00fcr das Risikomanagement im Bereich der k\u00fcnstlichen Intelligenz: Profil zur generativen k\u00fcnstlichen Intelligenz<\/a><\/li>\n<li><a href=\"https:\/\/www.nist.gov\/itl\/ai-risk-management-framework\/nist-ai-rmf-playbook\" target=\"_blank\" rel=\"noopener\">NIST \u2013 Leitfaden zum Rahmenwerk f\u00fcr das KI-Risikomanagement<\/a><\/li>\n<\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>Das ERDM verdeutlicht, warum ein KI-Agent zwar richtig lernen, aber falsch handeln kann, wenn seine Belohnungen, seine Entscheidungen und seine Umgebung miteinander in Konflikt stehen.<\/p>","protected":false},"author":1,"featured_media":106022,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_gspb_post_css":"","footnotes":""},"categories":[199],"tags":[6506,20975,20976,18034,19154],"class_list":["post-98263","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-techniti-noimosyni","tag-ai-agents","tag-behavioral-modeling","tag-incentive-design","tag-reinforcement-learning","tag-responsible-ai"],"_links":{"self":[{"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/posts\/98263","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/comments?post=98263"}],"version-history":[{"count":0,"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/posts\/98263\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/media\/106022"}],"wp:attachment":[{"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/media?parent=98263"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/categories?post=98263"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/twodots.gr\/de\/wp-json\/wp\/v2\/tags?post=98263"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}