AI agents σε πεπερασμένες καταστάσεις: πρόβλεψη επόμενου βήματος και αποτυχίας

Ένας AI agent μπορεί να ψάχνει, να καλεί εργαλεία, να επεξεργάζεται αρχεία, να ελέγχει αποτελέσματα και να επαναλαμβάνει τα βήματά του μέχρι να ολοκληρώσει μια εργασία. Όσο όμως το workflow μεγαλώνει, τόσο δυσκολότερο γίνεται να απαντήσουμε σε τρεις απλές επιχειρηματικές ερωτήσεις: τι κάνει τώρα ο agent, ποια ενέργεια είναι πιθανό να ακολουθήσει και πότε η συμπεριφορά του δείχνει ότι οδηγείται σε αποτυχία;

Η ερευνητική εργασία Automata from Agent Traces: Failure and Next-Step Prediction προτείνει μια εντυπωσιακά λιτή απάντηση. Αντί να αντιμετωπίζει κάθε εκτέλεση ως ένα μακρύ, άμορφο log, μετατρέπει ένα ολόκληρο σύνολο traces σε μία συμπαγή μηχανή πεπερασμένων καταστάσεων, ή finite-state machine (FSM). Η βασική ιδέα δεν είναι ότι ο agent γίνεται πραγματικά ένα απλό αυτόματο. Είναι ότι η επαναλαμβανόμενη δομή των ενεργειών του μπορεί να αποτυπωθεί αρκετά καλά ώστε να υποστηρίξει έλεγχο, πρόβλεψη και παρακολούθηση.

Για επαγγελματίες, e-commerce ομάδες και οργανισμούς που χτίζουν agentic workflows, η αξία βρίσκεται στη λειτουργική ορατότητα. Ένα μικρό FSM μπορεί να δείξει αν ο agent κινείται σε αναμενόμενη διαδρομή, αν έχει κολλήσει σε κύκλο, αν παραλείπει κρίσιμα βήματα ή αν αποκλίνει από τη συμπεριφορά που έχει παρατηρηθεί σε επιτυχημένες και αποτυχημένες εκτελέσεις. Τα αποτελέσματα είναι υποσχόμενα, αλλά η ίδια η μελέτη ορίζει σαφή όρια που δεν πρέπει να χαθούν μέσα στους εντυπωσιακούς αριθμούς.

Το πρόβλημα που κρύβεται μέσα στα agent traces

Οι σύγχρονοι agents δεν παράγουν μόνο ένα τελικό κείμενο. Εκτελούν ακολουθίες ενεργειών: λαμβάνουν οδηγίες, κάνουν tool calls, αναζητούν πληροφορίες, επεξεργάζονται δεδομένα, γράφουν ή αλλάζουν κώδικα και επιστρέφουν σε προηγούμενα στάδια. Ένας coding agent μπορεί να εναλλάσσεται μεταξύ αναζήτησης, επεξεργασίας και εκτέλεσης. Ένας agent εξυπηρέτησης πελατών μπορεί να κινείται μεταξύ επικοινωνίας με τον χρήστη και ερωτημάτων σε συστήματα παραγγελιών ή λογαριασμών.

Αυτή η δομή δεν είναι συνήθως γραμμένη σε ένα εγχειρίδιο. Προκύπτει από το system prompt, τα διαθέσιμα εργαλεία, τη διεπαφή του agent και το είδος των εργασιών. Το αποτέλεσμα είναι ότι δύο εκτελέσεις μπορεί να φαίνονται διαφορετικές σε επίπεδο κειμένου, αλλά να ακολουθούν σχεδόν την ίδια λειτουργική τοπολογία. Αντίστροφα, δύο traces ίδιου μήκους μπορεί να έχουν εντελώς διαφορετική σημασία επειδή οι ενέργειες έγιναν σε διαφορετική σειρά.

Η συνηθισμένη παρακολούθηση με συνολικά μεγέθη ,μήκος trace, πλήθος errors ή αριθμός tool calls, χάνει αυτή τη διάσταση. Δεν αποκαλύπτει σε ποιο σημείο δημιουργήθηκε το πρόβλημα ούτε ποια μετάβαση ήταν ασυνήθιστη. Η μελέτη αντιμετωπίζει την ανάκτηση της κρυφής δομής ως αντίστροφο πρόβλημα: από τα παρατηρημένα traces προσπαθεί να κατασκευάσει ένα μικρό μοντέλο που εξηγεί τις ακολουθίες ενεργειών.

Πώς ένα μακρύ ιστορικό γίνεται ένα μικρό FSM

Η διαδικασία ξεκινά με την εξαγωγή δραστηριοτήτων από κάθε μήνυμα του trace. Η προτεραιότητα δίνεται στα ονόματα των tool calls. Όταν υπάρχουν action tags, χρησιμοποιούνται οι αντίστοιχες ετικέτες, ενώ σε περιβάλλοντα κώδικα το πρώτο command token αντιστοιχίζεται σε μια σημασιολογική κατηγορία. Αν δεν ισχύει κάποιος από αυτούς τους κανόνες, η δραστηριότητα περιγράφεται από τον ρόλο και τον τύπο περιεχομένου, για παράδειγμα assistant:text.

Στο πρώτο κατασκευαστικό βήμα, όλες οι ακολουθίες εισάγονται σε ένα prefix tree. Κάθε μοναδικό πρόθεμα αποτελεί ξεχωριστή κατάσταση. Αυτό αναπαράγει τέλεια τα δεδομένα εκπαίδευσης, αλλά δημιουργεί ένα μεγάλο μοντέλο που ουσιαστικά απομνημονεύει διαδρομές. Στο δεύτερο βήμα, οι καταστάσεις που προσεγγίζονται από την ίδια τελευταία δραστηριότητα συγχωνεύονται. Έτσι, οι επαναλαμβανόμενες ακολουθίες όπως search–edit–execute μετατρέπονται σε καθαρούς βρόχους και η κατάσταση συνδέεται με το είδος της τελευταίας ενέργειας.

Στο τρίτο βήμα φιλτράρονται μεταβάσεις που εμφανίστηκαν μόνο μία φορά, εκτός αν αποτελούν τη μοναδική συνέχεια της πηγαίας κατάστασης. Ο στόχος είναι να αφαιρεθούν μεμονωμένες παρεκκλίσεις χωρίς να εξαφανιστούν καταστάσεις. Η εργασία τονίζει ότι αυτό είναι το μόνο βήμα που μπορεί να μειώσει το replay fitness, δηλαδή το ποσοστό του trace που μπορεί να αναπαραχθεί μέσα στο FSM.

Η κατασκευή είναι ντετερμινιστική και δεν απαιτεί υπερπαραμέτρους εκμάθησης. Η επιλογή που παραμένει είναι ο τρόπος εξαγωγής δραστηριοτήτων. Στα πειράματα, διαφορετικά επίπεδα λεπτομέρειας διατήρησαν replay fitness τουλάχιστον 0,999 σε όλα τα datasets, αν και η χρησιμότητα για πρόβλεψη εξαρτάται από το αν το alphabet των ενεργειών παραμένει αρκετά πλούσιο.

Δώδεκα datasets και ο λόγος που η συμπίεση έχει σημασία

Η αξιολόγηση κάλυψε δώδεκα δημόσια datasets και οκτώ πεδία χρήσης, μεταξύ των οποίων coding agents, web navigation, desktop GUI, customer service, telecom και safety tasks. Τα activity alphabets είχαν από 6 έως 42 σύμβολα. Εννέα datasets διέθεταν κατάλληλες ετικέτες αποτελέσματος και χρησιμοποιήθηκαν για πρόβλεψη αποτυχίας, ενώ τα υπόλοιπα συνέβαλαν κυρίως στην αξιολόγηση συμπίεσης και επόμενου βήματος.

Τα τελικά FSM είχαν μόλις 7 έως 43 καταστάσεις. Παρά το μικρό μέγεθος, πέτυχαν test replay fitness τουλάχιστον 0,997. Σε σύγκριση με το RPNI, η συμπίεση κυμάνθηκε από 15 φορές έως 3.036 φορές όταν συνυπολογίστηκαν και τα unlabeled datasets. Στο SWE-agent, για παράδειγμα, το προτεινόμενο FSM είχε 25 καταστάσεις και fitness 0,999, ενώ το RPNI έφτασε τις 59.510 καταστάσεις και fitness 0,646 μέσα στους περιορισμούς της δοκιμής.

Η συμπίεση δεν είναι απλώς θέμα αποθήκευσης. Με λίγες καταστάσεις, κάθε κατάσταση συγκεντρώνει αρκετές παρατηρήσεις ώστε οι πιθανότητες μετάβασης και τα σήματα αποτυχίας να εκτιμώνται πιο αξιόπιστα. Ένα τεράστιο μοντέλο που θυμάται σχεδόν κάθε trace ξεχωριστά δυσκολεύεται να γενικεύσει. Από την άλλη πλευρά, μια υπερβολική συγχώνευση μπορεί να καταλήξει σε ένα καθολικό μοντέλο μιας κατάστασης που δέχεται τα πάντα και δεν εξηγεί τίποτα. Η μέθοδος επιχειρεί να ισορροπήσει ανάμεσα σε αυτά τα δύο άκρα.

Η πρόβλεψη της επόμενης ενέργειας γίνεται δομικό πρόβλημα

Από κάθε τρέχουσα κατάσταση, το FSM εκτιμά την πιθανότητα της επόμενης δραστηριότητας από τις συχνότητες των παρατηρημένων μεταβάσεων. Η πληροφορία μπορεί να δοθεί σε έναν LLM agent ως σύντομο context: πιθανότητες επόμενης ενέργειας και οι δεκαπέντε επικρατέστερες συνέχειες πολλών βημάτων. Αυτή η «ελάχιστη» μορφή αποδείχθηκε καλύτερη από την παρουσίαση ολόκληρου του γράφου.

Στο tau2-bench retail, το trace prefix χωρίς μνήμη πέτυχε top-1 accuracy 27,6%, το Agent Workflow Memory (AWM) 52,9%, ενώ το minimal FSM context έφτασε 65,1%. Η προσθήκη ολόκληρης της δομής δεν βοήθησε: το ASG-full σημείωσε 52,2% και η ακόμη πλουσιότερη εκδοχή ASG++ 49,2%. Το εύρημα είναι πρακτικό: περισσότερα δεδομένα στο prompt δεν ισοδυναμούν αυτόματα με καλύτερη καθοδήγηση. Η σωστή συμπύκνωση μπορεί να είναι πιο χρήσιμη από μια πλήρη αλλά δύσχρηστη περιγραφή.

Σε οκτώ datasets, το FSM context ξεπέρασε το AWM στην top-1 πρόβλεψη με LLM judge. Οι διαφορές κυμάνθηκαν από 0,8 ποσοστιαίες μονάδες στο tau2-bench airline έως 25,3 μονάδες στο SWE-smith. Στο WebArena η σύγκριση ήταν 81,2% έναντι 65,5%, ενώ στο OSWorld 70,7% έναντι 55,0%. Οι συγγραφείς αποδίδουν μέρος του χάσματος στο ότι το AWM εξάγει workflows μόνο από επιτυχημένα traces, κάτι που περιορίζει την κάλυψή του όταν το ποσοστό επιτυχίας είναι χαμηλό.

Από το «τι ακολουθεί» στο «θα αποτύχει;»

Για την πρόβλεψη επιτυχίας ή αποτυχίας, οι ερευνητές αναπαρήγαγαν κάθε trace πάνω στο FSM και εξήγαγαν χαρακτηριστικά ανά κατάσταση: συχνότητα επίσκεψης, μήκος μηνυμάτων, error rate και χρονική θέση. Πρόσθεσαν επίσης πέντε anomaly features που βασίζονται στο cross-entropy, όπως η μέγιστη έκπληξη, η μεταβολή μεταξύ πρώτου και δεύτερου μισού και το ποσοστό μεταβάσεων υψηλής έκπληξης.

Το απλό replay fitness δεν ήταν ενημερωτικό για την αποτυχία, με AUROC περίπου 0,50. Αντίθετα, τα χαρακτηριστικά που αποτύπωναν πού και πώς κινήθηκε το trace έφτασαν held-out AUROC έως 0,941 στο tau2-bench telecom. Τα αντίστοιχα αποτελέσματα που αναφέρονται για WebArena, AgentNet και ATBench ήταν 0,903, 0,890 και 0,894. Στο SWE-agent, τα δομικά χαρακτηριστικά πέτυχαν AUROC 0,790 έναντι 0,659 όταν χρησιμοποιήθηκε μόνο το μήκος.

Η ανάλυση προσφέρει και ερμηνεύσιμα σήματα. Στο SWE-agent, η επίτευξη της κατάστασης submit εμφανίστηκε στο 94,8% των επιτυχημένων traces και στο 55,7% των αποτυχημένων. Τα επιτυχημένα traces χρησιμοποίησαν 9 από τις 25 καταστάσεις σε μια εστιασμένη διαδρομή search–edit–submit, ενώ οι αποτυχίες απλώθηκαν και στις 25. Σε άλλα datasets, σήματα αποτυχίας ήταν τα αυξημένα errors σε συγκεκριμένες καταστάσεις, οι πολύ μεγάλες αποκρίσεις εργαλείων και η χαοτική συμπεριφορά στο δεύτερο μισό της εκτέλεσης.

Αυτό είναι σημαντικό για μια ομάδα λειτουργίας: το μοντέλο δεν λέει μόνο ότι ένα trace «φαίνεται κακό». Μπορεί να δείξει αν ο agent δεν φτάνει σε terminal state, αν συσσωρεύει errors σε edit state ή αν επανέρχεται υπερβολικά συχνά στον ίδιο κύκλο. Η τοπική εξήγηση είναι πολύ πιο αξιοποιήσιμη για debugging από έναν μοναδικό συνολικό δείκτη.

Runtime monitoring και έγκαιρο σταμάτημα

Η μελέτη δοκίμασε και έναν online monitor χωρίς εκπαιδευμένο μοντέλο. Ο monitor αναπαράγει τις ενέργειες βήμα προς βήμα και χρησιμοποιεί κανόνες για το ποσοστό κύκλων και τον ελάχιστο αριθμό μοναδικών καταστάσεων, μετά από μια σύντομη περίοδο warm-up. Ενεργοποιείται επίσης όταν ο agent παραμένει στην ίδια κατάσταση για τουλάχιστον πέντε συνεχόμενα βήματα.

Στο SWE-agent, το σύστημα ενεργοποίησε early stopping κατά μέσο όρο στο 32% της εκτέλεσης, με precision 85,9% και recall 95,5%, εξοικονομώντας το 68% του υπολειπόμενου compute στις διακοπείσες εκτελέσεις. Στο tau2-bench airline, η παρέμβαση έγινε στο 56% με precision 76,0% και recall 79,2%. Η επεξεργασία βασιζόταν μόνο σε FSM replay και αναφέρεται latency 0,006 ms ανά βήμα.

Δεν είχαν όμως όλα τα πεδία την ίδια απόδοση. Στο tau2-bench retail και στο SWE-smith, το rule-based monitoring υπερενεργοποιήθηκε, επειδή τα μικρότερα ή πιο χονδροειδή alphabets δεν ξεχώριζαν καλά τα failure modes. Η εργασία αναγνωρίζει ότι σε τέτοια domains απαιτείται προσαρμογή κανόνων ανά dataset.

Η επιλογή operating point αλλάζει επίσης τη χρήση. Με υψηλό threshold κύκλων στο SWE-agent, ο monitor πέτυχε 100% precision αλλά μόλις 11,3% recall. Αυτό ταιριάζει σε αυτόματο reset όταν ένα false positive είναι ακριβό. Σε πιο ισορροπημένο threshold, η precision ήταν 86,4% και η recall 85,2%, μια ρύθμιση καταλληλότερη για ειδοποίηση ανθρώπινου operator. Άρα, η τεχνική δεν δίνει μία καθολική «σωστή» ρύθμιση· δίνει ένα εργαλείο για συνειδητή ανταλλαγή μεταξύ έγκαιρης παρέμβασης και ψευδών συναγερμών.

Η συμπεριφορά επηρεάζεται περισσότερο από το harness παρά από το μοντέλο

Ένα από τα πιο ενδιαφέροντα συμπεράσματα είναι ότι η τοπολογία φάνηκε σε σημαντικό βαθμό ανεξάρτητη από το επιμέρους LLM. Στα τρία suites του tau2-bench, ένα ενιαίο FSM που κατασκευάστηκε από traces τεσσάρων μοντέλων είχε fitness 1,000 για το καθένα. Τα per-model FSM μοιράζονταν σχεδόν ίδιο λεξιλόγιο καταστάσεων και έναν κυρίαρχο κορμό μεταβάσεων 80% έως 92%.

Η προσεκτική ερμηνεία είναι ότι τα διαθέσιμα εργαλεία, το schema, το prompt και ο σχεδιασμός του περιβάλλοντος μπορεί να διαμορφώνουν την παρατηρούμενη πορεία περισσότερο από την ταυτότητα του μοντέλου. Αυτό δεν αποδεικνύει ότι όλα τα LLM συμπεριφέρονται το ίδιο. Η μεταφορά των failure features μεταξύ μοντέλων ήταν χαμηλότερη από την απόδοση μέσα στο ίδιο μοντέλο: mean cross-AUROC 0,786 έναντι 0,877 self στα tau2-bench suites.

Για μια επιχείρηση, η διάκριση έχει πρακτική αξία. Αν αλλάξει ο underlying model provider αλλά μείνει σταθερό το workflow, ένα μέρος της δομικής παρακολούθησης μπορεί να παραμένει χρήσιμο. Αν αλλάξουν τα εργαλεία, οι άδειες, τα action schemas ή η σειρά των βημάτων, το FSM χρειάζεται επανεκτίμηση, ακόμη και αν το μοντέλο παραμένει ίδιο.

Τι μπορεί να σημαίνει για e-commerce και επιχειρησιακούς agents

Σε ένα e-commerce περιβάλλον, ένας agent μπορεί να ελέγχει παραγγελίες, να αναζητά πολιτικές επιστροφών, να προτείνει ενέργειες ή να προετοιμάζει απαντήσεις για πελάτες. Η εφαρμογή της ιδέας του FSM δεν απαιτεί να διαβάζεται κάθε chain-of-thought ούτε να αποθηκεύεται όλο το κείμενο ως ενιαίο αδιαφανές αντικείμενο. Η ομάδα μπορεί να χαρτογραφήσει λειτουργικές δραστηριότητες, όπως order_lookup, policy_check, inventory_query, customer_message και escalation, και να εξετάσει τις μεταβάσεις τους.

Αν τα επιτυχημένα περιστατικά φτάνουν συνήθως σε μια κατάσταση verification πριν από refund ή shipment_change, η συχνή παράλειψη αυτού του βήματος μπορεί να γίνει ελεγκτικό σήμα. Αν ένα workflow marketing περνά επανειλημμένα από draft σε rewrite χωρίς approval ή publish-ready κατάσταση, ο υψηλός cycle rate μπορεί να δείξει ότι η προτροπή, τα κριτήρια ποιότητας ή τα διαθέσιμα εργαλεία δεν είναι επαρκή. Αυτά είναι παραδείγματα εφαρμογής της μεθοδολογίας, όχι αποτελέσματα που δοκιμάστηκαν στη συγκεκριμένη εργασία.

Η σωστή υλοποίηση θα πρέπει να ξεκινήσει με παρατηρησιμότητα και όχι με αυτόματο μπλοκάρισμα. Πρώτα καταγράφονται τα activities με σταθερά ονόματα, επισημαίνονται σαφώς τα outcomes και συγκρίνεται το FSM με τις γνωστές επιχειρησιακές απαιτήσεις. Έπειτα μπορούν να προστεθούν alerts, human review και, μόνο σε καλά επαληθευμένα operating points, αυτόματες παρεμβάσεις.

Ιδιαίτερη σημασία έχει η επιλογή activity granularity. Αν όλες οι ενέργειες συμπτυχθούν σε «tool call», το μοντέλο θα είναι μικρό αλλά πιθανώς άχρηστο. Αν κάθε παράμετρος και κάθε κειμενική παραλλαγή γίνει ξεχωριστή δραστηριότητα, το alphabet θα διογκωθεί και θα χαθεί η παρατηρούμενη συμπύκνωση. Η μελέτη δείχνει ανθεκτικότητα σε αρκετά επίπεδα εξαγωγής, όχι όμως ότι κάθε αυθαίρετη ταξινόμηση λειτουργεί εξίσου καλά.

Οι περιορισμοί που πρέπει να μείνουν στο προσκήνιο

Το FSM ανακτά το directly-follows closure των traces που είδε· δεν ανακαλύπτει την πραγματική «γλώσσα» που παράγει ο agent. Η διάκριση είναι κρίσιμη. Επειδή η μέθοδος συγχωνεύει καταστάσεις με βάση την τελευταία δραστηριότητα, μπορεί να δεχτεί adversarial traces που διατηρούν τα ίδια στατιστικά ζευγών ενεργειών. Δεν αποτελεί από μόνο του απόδειξη ασφάλειας ούτε πλήρες policy engine.

Η εξαγωγή δραστηριοτήτων απαιτεί επίσης λίγη γνώση του domain. Οι κανόνες είναι ντετερμινιστικοί και απλοί, αλλά δεν είναι πλήρως αυτόματοι. Μεγάλοι χώροι ενεργειών ή workflows με ασθενή σειριακή κανονικότητα μπορούν να δημιουργήσουν μεγαλύτερα FSM, να μειώσουν τις παρατηρήσεις ανά κατάσταση και να περιορίσουν τα οφέλη στην πρόβλεψη.

Η cross-model μεταφορά εξετάστηκε σε τρία tau2-bench suites και όχι σε κάθε αρχιτεκτονική ή επιχειρηματικό πεδίο. Η σύγκριση workflow memory με LLM context έγινε απέναντι στο AWM, ενώ άλλες νεότερες μέθοδοι που αξιοποιούν τόσο επιτυχίες όσο και αποτυχίες έμειναν για μελλοντική εργασία. Επιπλέον, ορισμένα εντυπωσιακά αποτελέσματα εξαρτώνται από το dataset: ο runtime monitor ήταν δυνατός στο SWE-agent αλλά σαφώς ασθενέστερος σε μικρότερα alphabets.

Τέλος, οι αριθμοί είναι ερευνητικά αποτελέσματα πάνω σε δημόσια benchmarks και συγκεκριμένα splits, όχι εγγύηση παραγωγικής απόδοσης. Κάθε οργανισμός χρειάζεται δική του validation διαδικασία, παρακολούθηση drift, logging με σεβασμό στην ιδιωτικότητα και σαφή όρια για το πότε ένας agent επιτρέπεται να συνεχίσει, να ζητήσει έγκριση ή να σταματήσει.

Ένα πιο πρακτικό μοντέλο διακυβέρνησης agentic AI

Η μεγαλύτερη αξία της εργασίας δεν είναι ότι ένα κλασικό εργαλείο των computer science λύνει ξαφνικά όλα τα προβλήματα των agents. Είναι ότι μεταφέρει τη συζήτηση από την ασαφή «νοημοσύνη» στη μετρήσιμη συμπεριφορά. Ένας agent μπορεί να παραμένει πιθανοτικός στο κείμενο που παράγει, ενώ η αλληλουχία των εργαλείων του εμφανίζει σταθερά, παρατηρήσιμα μοτίβα.

Αυτό επιτρέπει μια πολυεπίπεδη άμυνα. Οι πολιτικές και τα permissions ορίζουν τι επιτρέπεται. Το FSM δείχνει τι συμβαίνει στην πράξη. Τα per-state χαρακτηριστικά εντοπίζουν πού αυξάνεται ο κίνδυνος. Ένας human operator ή ένα ξεχωριστό control layer αποφασίζει την παρέμβαση. Κανένα επίπεδο δεν αντικαθιστά τα υπόλοιπα.

Για τις επιχειρήσεις που εξετάζουν agents σε customer service, content operations, software workflows ή εσωτερικές διαδικασίες, το μήνυμα είναι συγκεκριμένο: η observability πρέπει να σχεδιαστεί μαζί με τον agent, όχι μετά την αποτυχία. Σταθερά activity labels, outcome data, versioning του harness και διαχωρισμός μεταξύ alert και automatic stop δημιουργούν τη βάση για αξιόπιστη αξιοποίηση.

Η μελέτη δείχνει ότι ακόμη και πολύπλοκα agent traces μπορούν να αποκτήσουν έναν μικρό λειτουργικό χάρτη. Ο χάρτης δεν είναι η επικράτεια και δεν αντικαθιστά την ασφάλεια, αλλά μπορεί να κάνει τις αποκλίσεις, τους βρόχους και τα σημεία αποτυχίας ορατά αρκετά νωρίς ώστε η ομάδα να δράσει.