ERDM: όταν η «λανθασμένη» συμπεριφορά είναι λογική απάντηση σε λάθος περιβάλλον

Το ERDM δείχνει γιατί ένας AI agent μπορεί να μαθαίνει σωστά και να δρα λάθος όταν οι ανταμοιβές, οι επιλογές και το περιβάλλον του συγκρούονται. Μια συμπεριφορά μπορεί να φαίνεται παράλογη αν την εξετάσουμε αποκομμένη από το περιβάλλον που τη δημιούργησε. Αν όμως δούμε τις πιέσεις, τις διαθέσιμες επιλογές και τις προσδοκίες ανταμοιβής του συστήματος, το ίδιο μοτίβο μπορεί να αποδειχθεί συνεπές με όσα «έμαθε» ότι το προστατεύουν. Αυτή είναι η κεντρική ιδέα πίσω από το Evolutionarily Recurrent Decision Model (ERDM), ένα νέο υπολογιστικό πλαίσιο ενισχυτικής μάθησης που προτείνει ο Andrew Hu.

Η εργασία εξετάζει πώς η εξελικτική αναντιστοιχία, η περιορισμένη ορθολογικότητα και το satisficing μπορούν να παράγουν προσαρμοστικές και δυσπροσαρμοστικές στρατηγικές. Σύνθετα μοτίβα, όπως η αποφυγή, η επιθετικότητα, η υγιής φιλικότητα ή η μαθημένη αβοηθησία, δεν εισάγονται ως έτοιμα σενάρια. Προκύπτουν από επαναλαμβανόμενες απλές αποφάσεις μέσα σε ένα στοχαστικό περιβάλλον.

Για επαγγελματίες που σχεδιάζουν AI agents, αυτοματισμούς ή συστήματα λήψης αποφάσεων, το πρακτικό μήνυμα είναι συγκεκριμένο: όταν ένα σύστημα επιδεικνύει ανεπιθύμητη συμπεριφορά, το πρόβλημα ίσως δεν βρίσκεται μόνο στο μοντέλο. Μπορεί να βρίσκεται στο reward landscape, στην πληροφορία που βλέπει, στις επιλογές που του επιτρέπονται ή στη σειρά των γεγονότων. Είναι η ίδια κατηγορία προβλήματος που συναντάμε όταν η AI βρίσκει απρόβλεπτους δρόμους προς έναν στόχο.

Τι μοντελοποιεί πραγματικά το ERDM

Το ERDM είναι ένα single-agent σύστημα ενισχυτικής μάθησης μέσα σε στοχαστικό περιβάλλον. Δεν σχεδιάστηκε για να βρει τη βέλτιστη πολιτική σε μία καλά ορισμένη εργασία. Σχεδιάστηκε για να μελετήσει τι συμβαίνει όταν ένας agent πρέπει να λειτουργήσει σε καταστάσεις όπου οι στόχοι του συγκρούονται και καμία ενέργεια δεν είναι πάντοτε σωστή.

Το περιβάλλον περιλαμβάνει τρεις κατηγορίες επαναλαμβανόμενων προβλημάτων: απειλή, καταδίωξη θηράματος ή στόχου και ευκαιρία συμμαχίας. Αυτές λειτουργούν ως αφαιρέσεις εξελικτικά επαναλαμβανόμενων προκλήσεων. Ο agent παρατηρεί την εσωτερική και εξωτερική κατάστασή του, επιλέγει action, δέχεται συνέπειες και ενημερώνει τις εκτιμήσεις αξίας του.

Η μελέτη συνδέει το πλαίσιο με τη θεωρία της εξελικτικής αναντιστοιχίας: μηχανισμοί που διαμορφώθηκαν σε ένα περιβάλλον μπορεί να παράγουν δυσμενή αποτελέσματα σε άλλο. Το ERDM δεν αποδεικνύει ότι αυτή η θεωρία εξηγεί ανθρώπινες ψυχικές διαταραχές. Παρέχει έναν χώρο προσομοίωσης όπου υποθέσεις για περιβάλλον, κίνητρα και συμπεριφορά μπορούν να γίνουν συγκεκριμένες και ελέγξιμες χωρίς πραγματικό πείραμα σε ανθρώπους.

Αυτή η διάκριση είναι σημαντική και για την επιχειρησιακή χρήση. Η αξία της μελέτης δεν είναι ότι δίνει έτοιμο αλγόριθμο για customer support ή e-commerce. Είναι ότι δείχνει με ελεγχόμενο τρόπο γιατί το περιβάλλον του agent πρέπει να θεωρείται μέρος του συστήματος και όχι απλό σκηνικό. Η ίδια αρχή αναλύεται και στα world models όπου agent και περιβάλλον πρέπει να αξιολογούνται ως κοινό σύστημα.

Πώς οι ανταμοιβές γίνονται συγκρουόμενα κίνητρα

Ο agent μαθαίνει με τρεις ανταγωνιστικές διαστάσεις ανταμοιβής. Η πρώτη αφορά τη βιοποριστική ή φυσική κατάσταση, την οποία το paper συμβολίζει ως L. Η δεύτερη είναι η αμυντική κοινωνική αξία, DB, που συνδέεται με στρατηγικές κυριαρχίας και εξουδετέρωσης απειλών. Η τρίτη είναι η κοινωνική αξία φροντίδας, NB, που συνδέεται με prestige και με την παροχή οφέλους σε άλλους.

Ένα action μπορεί να ενισχύει μία διάσταση και να ζημιώνει τις άλλες. Η μάχη απέναντι σε μια απειλή, για παράδειγμα, μπορεί να βελτιώνει την αμυντική θέση του agent, αλλά να επιβαρύνει τη φυσική του κατάσταση και τη δυνατότητα υποστήριξης άλλων. Επειδή οι συνέπειες εξαρτώνται από το state και οι περιβαλλοντικές παράμετροι μεταβάλλονται στοχαστικά, δεν υπάρχει ενιαία πολιτική που να μεγιστοποιεί τα πάντα.

Αυτό αναγκάζει το σύστημα να κάνει satisficing: να επιλέγει λύσεις που είναι επαρκείς υπό τους τρέχοντες περιορισμούς, όχι θεωρητικά τέλειες. Για ένα business AI workflow, η αναλογία είναι άμεση αλλά πρέπει να παραμένει αναλογία. Αν ένας agent βελτιστοποιεί ταυτόχρονα ταχύτητα, κόστος, ποιότητα και compliance, μια επιλογή που φαίνεται κακή σε έναν δείκτη μπορεί να είναι η καλύτερη διαθέσιμη ισορροπία με βάση τα signals που του δώσαμε.

Η διάκριση έχει πρακτική αξία. Ένας business agent μπορεί να «κολλά» επειδή κάθε διαθέσιμη επιλογή παραβιάζει κάποιο guardrail ή επειδή καμία επιλογή δεν περνά το ελάχιστο utility threshold. Στην πρώτη περίπτωση ίσως χρειάζεται ασφαλές escalation ή δυνατότητα αναστροφής. Στη δεύτερη ίσως χρειάζεται καλύτερα ορισμένο objective ή περισσότερα εργαλεία. Η ίδια ορατή αποτυχία μπορεί να απαιτεί διαφορετική διόρθωση.

Μάθηση, αδράνεια και όριο κινδύνου

Κάθε action έχει το δικό του ανεξάρτητο value network. Το network δέχεται την κατάσταση ως input και παράγει την αναμενόμενη ανταμοιβή για το συγκεκριμένο action. Η αρχιτεκτονική που περιγράφεται στην εργασία έχει δύο κρυφά επίπεδα, 128 και 64 μονάδων, και μία έξοδο. Η επιλογή γίνεται με epsilon-greedy policy, ώστε ο agent άλλοτε να εκμεταλλεύεται αυτό που ήδη θεωρεί καλύτερο και άλλοτε να εξερευνά.

Το episode τερματίζεται όταν η φυσική κατάσταση ή η κύρια διάσταση κοινωνικής επιβίωσης φτάσει στο μηδέν. Οι ανταμοιβές κλιμακώνονται ανάλογα με τους διαθέσιμους πόρους: η ίδια απώλεια έχει μεγαλύτερη βαρύτητα όταν ο agent βρίσκεται ήδη σε ευάλωτη κατάσταση. Το state χωρίζεται σε διακριτές ζώνες, από dire έως stable, με μεγαλύτερη ευαισθησία στις χαμηλές τιμές πόρων.

Το στοιχείο αυτό εξηγεί γιατί ένα action δεν έχει σταθερή σημασία. Μια ενέργεια που είναι ανεκτή όταν οι πόροι είναι υψηλοί μπορεί να γίνει καταστροφική όταν ο agent βρίσκεται κοντά σε όριο βιωσιμότητας. Για production AI, αντίστοιχα, thresholds και escalation rules πρέπει να λαμβάνουν υπόψη το context: confidence, οικονομικό ρίσκο, ευαισθησία δεδομένων, επίδραση στον πελάτη και δυνατότητα ανθρώπινης αναστροφής.

Η state-aware καθοδήγηση δεν είναι απλώς πιο αναλυτικό prompt. Χρειάζεται να αλλάζει τις επιτρεπτές ενέργειες και τα thresholds όταν αλλάζει η κατάσταση. Γι’ αυτό έχει αξία να συνδέουμε το reward design με καθοδήγηση AI agent που εξαρτάται από το state και όχι μόνο από μια γενική πολιτική.

Πώς στήθηκε η δοκιμή αντιξοότητας

Για validation, η μελέτη προσομοίωσε adverse childhood experiences ως τρία επίπεδα έντασης απειλής. Η χαμηλή αντιξοότητα χρησιμοποίησε απειλές έντασης 20–40 σε κλίμακα 0–100, η μέτρια 40–60 και η υψηλή 80–100. Η συχνότητα των τριών τύπων περιβάλλοντος διατηρήθηκε σταθερή, ώστε η βασική διαφορά να είναι η ένταση των δυσμενών γεγονότων.

Οι κύριες δοκιμές περιλάμβαναν 200 ανεξάρτητες προσομοιώσεις με 1.500 training steps για DB-dominant agents, NB-dominant agents και random agents στις τρεις συνθήκες. Οι random agents δεν είχαν μαθημένη αβοηθησία ή απάθεια στο action space, επειδή αυτές οι επιλογές προϋποθέτουν εκτιμήσεις αξίας.

Η μελέτη δεν αναπαριστά παιδική εμπειρία στην πλήρη ανθρώπινη πολυπλοκότητά της. Χρησιμοποιεί ελεγχόμενες αφαιρέσεις για να εξετάσει αν γνωστά μοτίβα μπορούν να εμφανιστούν από τον συνδυασμό ανταμοιβών, κινδύνου και μάθησης. Αυτό είναι computational validation, όχι κλινική επικύρωση και όχι βάση για διάγνωση ή θεραπευτική σύσταση.

Σταθερό loss, διαφορετικές πολιτικές

Ένα από τα πιο χρήσιμα αποτελέσματα είναι η απόσταση ανάμεσα στη σύγκλιση του learning loss και στη σύγκλιση της συμπεριφοράς. Στους DB agents η απώλεια μειώθηκε από 92% έως 97% ανάλογα με τη συνθήκη, ενώ στους NB agents η μείωση ξεπέρασε το 99% σε όλες τις συνθήκες. Οι late-window slopes της απώλειας και της ανταμοιβής δεν διέφεραν από το μηδέν, ένδειξη σταθεροποίησης της εκπαίδευσης.

Παρόλα αυτά, η ποικιλία actions δεν εξαφανίστηκε. Οι DB agents διατήρησαν 34%–44% της αρχικής εντροπίας τους και οι NB 34%–49%. Το σύστημα μπορούσε επομένως να έχει σταθερή διαδικασία μάθησης χωρίς όλοι οι agents να καταλήγουν στην ίδια στρατηγική. Υπό υψηλή αντιξοότητα, η συσχέτιση ανάμεσα στο late-window loss και τη συμπεριφορική εντροπία έγινε ισχυρότερη, ένδειξη ότι η σταθεροποίηση της μάθησης και η συνέπεια της συμπεριφοράς συνδέθηκαν στενότερα σε εκείνο το περιβάλλον.

Για την αξιολόγηση AI agents αυτό είναι κρίσιμο. Ένα ομαλό loss curve ή ένα καλό aggregate score δεν αποδεικνύει ομοιόμορφη ή επιθυμητή συμπεριφορά. Χρειάζεται να εξετάζουμε τη διασπορά των trajectories, τις μειοψηφικές αποτυχίες και τη σταθερότητα των policies σε διαφορετικές ακολουθίες γεγονότων. Η επαλήθευση πολιτικών reinforcement learning πρέπει να αφορά το τι κάνει το σύστημα στις κρίσιμες καταστάσεις, όχι μόνο αν βελτιώθηκε ένας μέσος δείκτης.

Τι άλλαξε υπό υψηλή αντιξοότητα

Στους DB-dominant agents, η θετική προσδοκία παρέμεινε περίπου στο 85% στις συνθήκες χωρίς ACE και μέτριας αντιξοότητας, αλλά μειώθηκε στο 67% υπό υψηλή αντιξοότητα. Η μαθημένη αβοηθησία, που απουσίαζε στις δύο ηπιότερες συνθήκες, εμφανίστηκε με μέση τιμή 15,2%. Η αρνητική προσδοκία αυξήθηκε από περίπου 15% σε 33%.

Το αποτέλεσμα δεν ήταν μια απλή γενική αύξηση επιθετικότητας. Η misdirected aggression μειώθηκε από 39% σε 29,4% και η relational aggression από 30,8% σε 24,7%. Η ερμηνεία της εργασίας είναι ότι, όταν η απειλή περνά το risk threshold, η αδράνεια μέσω μαθημένης αβοηθησίας μπορεί να εκτοπίζει προηγούμενες στρατηγικές κυριαρχίας.

Οι NB-dominant agents είχαν διαφορετικό προφίλ. Η υγιής φιλικότητα παρέμεινε η κυρίαρχη συμπεριφορά και έφτασε περίπου στο 47% υπό υψηλή αντιξοότητα, ενώ η μαθημένη αβοηθησία απουσίαζε. Το εύρημα δείχνει πόσο μία διαφορά στην προτεραιότητα ανταμοιβής μπορεί να αλλάξει το emergent repertoire, χωρίς να έχουν κωδικοποιηθεί εκ των προτέρων ολοκληρωμένα σύνθετα scripts.

Γιατί εμφανίστηκαν ανθεκτικές και ευάλωτες υποομάδες

Η πρόσθετη ανάλυση 1.000 DB-dominant runs υπό υψηλή αντιξοότητα αποκάλυψε δύο λανθάνουσες υποομάδες. Το Gaussian mixture model ευνόησε ισχυρά λύση δύο components και χρησιμοποίησε threshold 2,04% μαθημένης αβοηθησίας. Τα 296 runs ταξινομήθηκαν ως ανθεκτικά, με μέση τιμή 0,43%, και τα 704 ως ευάλωτα, με μέση τιμή 20%.

Οι περιβαλλοντικές παράμετροι ήταν ίδιες. Αυτό που άλλαζε ήταν η στοχαστική σειρά των πρώιμων γεγονότων, η οποία διαμόρφωνε διαφορετικά reward histories. Οι ανθεκτικοί agents είχαν υψηλότερη προστατευτική συμπεριφορά, 31,64% έναντι 7,92%, και θετική προσδοκία 82,65% έναντι 62,35%.

Η υγιής φιλικότητα είχε ισχυρή αρνητική συσχέτιση με τη μαθημένη αβοηθησία μέσα στην προσομοίωση: Pearson r=-0,91 και R²=0,83. Αντίθετα, η help-seeking vulnerability δεν παρουσίασε σημαντική σχέση. Αυτό δεν σημαίνει ότι η αναζήτηση βοήθειας δεν προστατεύει τους ανθρώπους. Στο συγκεκριμένο μοντέλο, οι DB agents την υποτιμούν επειδή μεταφράζεται ως κόστος για την αμυντική κοινωνική θέση τους.

Η επιχειρησιακή αναλογία είναι ότι το ίδιο configuration δεν εγγυάται ίδια trajectories. Η σειρά των tools, των retries, των exceptions και των ανθρώπινων παρεμβάσεων μπορεί να μεταβάλει το μεταγενέστερο state ενός agent. Αυτός είναι ένας λόγος που η εκπαίδευση AI agents για μεταβαλλόμενα περιβάλλοντα χρειάζεται πολλαπλές ακολουθίες και όχι ένα μοναδικό happy path.

Από το paper στο reward design επιχειρήσεων

Το ERDM δεν είναι μοντέλο marketing, customer support ή e-commerce. Ωστόσο, η αρχιτεκτονική του φωτίζει ένα γενικό πρόβλημα του agentic design. Οι ομάδες συχνά ορίζουν έναν στόχο —περισσότερες μετατροπές, γρηγορότερη εξυπηρέτηση, χαμηλότερο κόστος— και αντιμετωπίζουν τις παρενέργειες ως απρόβλεπτα bugs. Ένας agent όμως μπορεί απλώς να ακολουθεί με συνέπεια τα incentives που του δόθηκαν.

Ένας customer-support agent που ανταμείβεται κυρίως για μικρό χρόνο χειρισμού μπορεί να κλείνει συνομιλίες πριν λυθεί το πρόβλημα. Ένα recommendation system που βλέπει μόνο άμεσα clicks μπορεί να θυσιάζει εμπιστοσύνη ή ποικιλία. Ένας marketing agent που μετρά μόνο leads μπορεί να παράγει όγκο χαμηλής ποιότητας. Αυτά είναι αναλυτικά παραδείγματα της αρχής και όχι περιστατικά που δοκιμάστηκαν στη μελέτη.

Η σωστή πρακτική είναι να χαρτογραφούνται οι συγκρούσεις στόχων πριν από το deployment. Ποια metrics ανταγωνίζονται; Ποια συμπεριφορά θα μεγιστοποιούσε κάθε metric με ανεπιθύμητο τρόπο; Ποιο κόστος είναι αόρατο στο μοντέλο; Ποια ασφαλής ενέργεια λείπει; Η συζήτηση για το sparse reward και την καθοδήγηση με hints, critics και teachers δείχνει επίσης ότι η ποιότητα του feedback καθορίζει τι μπορεί να μάθει το σύστημα.

Το NIST AI RMF αντιμετωπίζει το AI risk ως συνάρτηση πιθανότητας και επίπτωσης μέσα σε συγκεκριμένο context και προειδοποιεί ότι οι metrics μπορούν να υπεραπλουστευθούν ή να γίνουν αντικείμενο gaming. Αυτό ταιριάζει με το πρακτικό μάθημα του ERDM: τα κίνητρα και τα όρια του οργανισμού είναι μέρος της ασφάλειας. Δεν αρκεί να απαιτούμε «καλή συμπεριφορά» από το μοντέλο αν το operational environment ανταμείβει κάτι άλλο.

Γιατί οι μέσοι όροι κρύβουν failure modes

Η διάσπαση σε ανθεκτικούς και ευάλωτους agents δείχνει ότι ένα aggregate αποτέλεσμα μπορεί να αποκρύπτει δύο εντελώς διαφορετικές κατηγορίες συμπεριφοράς. Αν η αξιολόγηση παρακολουθούσε μόνο τον μέσο όρο μαθημένης αβοηθησίας, δεν θα έβλεπε καθαρά τη διτροπική δομή των 1.000 runs.

Για production AI, αυτό μεταφράζεται σε ανάγκη για cohort analysis, tail-risk tests και replay διαφορετικών event orders. Δεν αρκεί ένα συνολικό success rate. Χρειάζεται να γνωρίζουμε ποιοι χρήστες, ποια intents, ποια επίπεδα πόρων και ποιες ακολουθίες εργαλείων οδηγούν σε failure modes. Η χρονική σειρά μπορεί να έχει τόση σημασία όσο και τα μεμονωμένα inputs.

Εξίσου σημαντικό είναι να διαχωρίζουμε την τεχνική σταθερότητα από την επιθυμητή συμπεριφορά. Ένα policy μπορεί να είναι σταθερό και ταυτόχρονα προβληματικό. Τα dashboards οφείλουν να περιλαμβάνουν behavioral diversity, refusal patterns, escalation quality, rollback rate και ανεπιθύμητες στρατηγικές, όχι μόνο latency και task completion. Αυτός είναι ο πυρήνας του behavioral testing για AI agents.

Η ανάλυση πρέπει επίσης να συνδέει κάθε αποτυχία με αιτία. Άλλο failure επειδή ο agent δεν είχε το σωστό εργαλείο, άλλο επειδή έλαβε λανθασμένο state signal και άλλο επειδή το reward ενίσχυσε shortcut. Η λογική αυτή συνδέεται με συστήματα όπου η AI μαθαίνει από την αιτία της αποτυχίας και όχι μόνο από μια δυαδική ετικέτα επιτυχίας.

Πλαίσιο ελέγχου πριν από το deployment

Μια ομάδα μπορεί να αξιοποιήσει τη λογική της μελέτης χωρίς να αντιγράψει το ίδιο μοντέλο. Το ζητούμενο είναι να μετατρέψει το reward landscape, τα state transitions και τις εξαιρέσεις σε ελέγξιμα artifacts. Κάθε βήμα πρέπει να συνδέεται με συγκεκριμένο use case και με απόφαση που μπορεί να παρατηρηθεί.

Το rollout χρειάζεται σαφείς πύλες. Ένα offline benchmark δεν υποκαθιστά shadow mode, adversarial scenarios, rollback και ανθρώπινη επίβλεψη. Οι AI agents με όρια είναι αξιόπιστοι όταν η αυτονομία τους ακολουθεί την ποιότητα της κρίσης και το μέγεθος της πιθανής επίπτωσης.

Η επίβλεψη πρέπει να έχει πραγματική δυνατότητα παρέμβασης. Αν ένας agent βλέπει κάθε επιλογή ως υπερβολικά αρνητική, χρειάζεται ασφαλές escalation και καλύτερο action space, όχι πίεση να συνεχίσει. Αν κανένα action δεν περνά το reward threshold, ίσως χρειάζεται ανασχεδιασμό του objective. Η εμπιστοσύνη χτίζεται όταν context, δεδομένα και ανθρώπινη εποπτεία συνδέονται με εκτελέσιμους κανόνες.

Τα όρια της μελέτης και το ουσιαστικό συμπέρασμα

Το paper δηλώνει σαφείς περιορισμούς. Πρώτον, ο agent θεωρείται ότι αντιλαμβάνεται σωστά και χωρίς bias την κατάσταση, ενώ η ανθρώπινη νόηση και τα production AI systems μπορεί να έχουν θόρυβο, παραμορφώσεις ή λανθασμένη βαθμονόμηση. Δεύτερον, το περιβάλλον συμπυκνώνεται σε τρεις καταστάσεις και λίγα conserved actions. Δεν περιλαμβάνει πλήρως ενσυναίσθηση, αποτυχημένες προσπάθειες ή ιδιαίτερες κοινοτικές αξίες.

Τρίτον, πρόκειται για single-agent framework, άρα δεν αναπαριστά δυναμικές ομάδας, πολιτισμική μετάδοση ή κοινωνική εξέλιξη μεταξύ πολλών ενεργών agents. Τέταρτον, δεν υπάρχει συνοδευτική πειραματική validation study σε ανθρώπους. Τα αποτελέσματα παραμένουν computational και οι προτάσεις για παρεμβάσεις είναι υποθέσεις προς μελλοντικό έλεγχο.

Αυτοί οι περιορισμοί δεν ακυρώνουν το μοντέλο· ορίζουν το σωστό πεδίο χρήσης του. Δεν πρέπει να μετατρέψουμε μια προσομοίωση σε διάγνωση, ούτε μια συσχέτιση μέσα στο ERDM σε θεραπευτική σύσταση. Η αξία βρίσκεται στο ότι μηχανιστικές υποθέσεις για περιβάλλον, ανταμοιβές και συμπεριφορά γίνονται ορατές και ελέγξιμες.

Για τις επιχειρήσεις, το ουσιαστικό συμπέρασμα είναι απλό: μην αξιολογείτε έναν AI agent μόνο από το αν «έμαθε» ή πέτυχε έναν μέσο στόχο. Εξετάστε τι έμαθε να θεωρεί πολύτιμο, ποια ρίσκα αντιλαμβάνεται, ποιες επιλογές διαθέτει, τι δεν βλέπει και πώς η σειρά των γεγονότων μπορεί να μετατρέψει μια τοπικά λογική απόφαση σε ανεπιθύμητο επιχειρησιακό αποτέλεσμα.