Actor, Judge, Editor: πώς η AI μαθαίνει να σχεδιάζει χωρίς να αλλάζει τον στόχο

Γιατί η ευφράδεια δεν είναι εκτελέσιμο σχέδιο

Ένα LLM μπορεί να περιγράψει πειστικά μια ακολουθία ενεργειών και παρ’ όλα αυτά να χάσει μια προϋπόθεση, να εφαρμόσει μια ενέργεια σε λάθος τύπο αντικειμένου ή να θεωρήσει προσβάσιμο έναν στόχο που δεν είναι. Το planning δεν απαιτεί μόνο καλή γλώσσα. Απαιτεί συνεπή παρακολούθηση κατάστασης, προϋποθέσεων και αποτελεσμάτων σε πολλά βήματα.

Η νευρο-συμβολική προσέγγιση μεταφέρει ένα μέρος αυτού του βάρους σε τυπικό μηχανισμό. Το μοντέλο δεν αναζητά μόνο του ολόκληρο το σχέδιο. Μεταφράζει τη φυσική γλώσσα σε PDDL, δηλαδή σε domain file και problem file, και ένας κλασικός planner ελέγχει αν μπορεί να παραγάγει σχέδιο που φτάνει στον δηλωμένο στόχο.

Η μετατόπιση από ελεύθερο κείμενο σε ρητή προδιαγραφή έχει αξία επειδή κάνει τις ασυνέπειες ελέγξιμες. Συνδέεται με την ίδια αρχή που αναδεικνύει η specification-driven ανάπτυξη λογισμικού με AI: πριν αξιολογηθεί το αποτέλεσμα, πρέπει να είναι σαφές ποιο contract θεωρείται σωστό.

Ο σωστός solver μπορεί να λύσει τη λάθος προδιαγραφή

Ο Fast Downward ελέγχει το PDDL που του δίνεται, όχι αυτό που είχε στο μυαλό του ο άνθρωπος. Αν το μοντέλο αφαιρέσει έναν δύσκολο περιορισμό, χαλαρώσει τον στόχο ή αλλάξει τη σημασία ενός predicate, η παραγόμενη προδιαγραφή μπορεί να παραμείνει συντακτικά έγκυρη και επιλύσιμη. Ο solver θα έχει κάνει σωστά τη δουλειά του, αλλά το σύστημα θα έχει λύσει διαφορετικό πρόβλημα.

Αυτό είναι πρόβλημα proxy. Το μετρήσιμο σήμα —η επιτυχία του solver— είναι χρήσιμο και αναγκαίο, αλλά δεν ταυτίζεται με τη σημασιολογική ορθότητα του αρχικού αιτήματος. Η εργασία ορίζει drift ως το ποσοστό των solver-successful αποτελεσμάτων που αποτυγχάνουν στον ανεξάρτητο σημασιολογικό έλεγχο.

Η ίδια διάκριση εμφανίζεται σε εταιρικές ροές. Ένα campaign μπορεί να δημιουργήθηκε τεχνικά χωρίς σφάλμα αλλά για λάθος κοινό. Μια επιστροφή προϊόντος μπορεί να πέρασε τα API checks αλλά να παραβιάζει την πολιτική. Ένα support ticket μπορεί να έκλεισε χωρίς να λυθεί το πραγματικό αίτημα. Η ολοκλήρωση του workflow δεν είναι συνώνυμη με την επίτευξη του επιχειρηματικού στόχου.

Ένας εγκέφαλος, τρεις διακριτοί ρόλοι

Η μέθοδος χρησιμοποιεί ένα Qwen2.5-7B με κοινό backbone για τρεις λειτουργίες. Περίπου το 95% των παραμέτρων είναι κοινό και κάθε ρόλος έχει ελαφρύ projection head περίπου 1,67%. Η πρόθεση δεν είναι να δημιουργηθούν τρία ανεξάρτητα μοντέλα, αλλά να διατηρηθεί κοινή αναπαράσταση με διαφορετική ευθύνη ανά στάδιο.

Ο Actor αξιολογείται για την αρχική έξοδο, ώστε ένας ισχυρός Editor να μην κρύβει συστηματικά κακή παραγωγή. Ο Judge μετατρέπει ένα αραιό δυαδικό σήμα σε βαθμονομημένη εκτίμηση. Ο Editor ειδικεύεται στη διόρθωση αποτυχιών χωρίς να μετατρέπεται σε ατέρμονο βρόχο αναζήτησης.

Το κοινό backbone είναι μέρος της υπόθεσης ασφαλείας της εργασίας: μειώνει τις role-private κατευθύνσεις όπου ο Actor θα μπορούσε να αυξήσει την ανταμοιβή χωρίς αντίστοιχη πίεση από τον Judge και τον Editor. Η θεωρητική ανάλυση είναι τοπική και εξαρτάται από παραδοχές· δεν αποδεικνύει ότι η αρχιτεκτονική εξαλείφει το reward hacking.

Πώς λειτουργεί ένα επεισόδιο εκπαίδευσης

Ο Actor αρχίζει από την περιγραφή φυσικής γλώσσας και παράγει την αρχική προδιαγραφή. Ο Fast Downward προσπαθεί να την κάνει parse, να τη γειώσει και να βρει σχέδιο μέσα σε χρονικό όριο 60 δευτερολέπτων. Επιστρέφει δυαδική επιτυχία μαζί με diagnostics για προβλήματα όπως syntax ή parse error, object/type mismatch, ασυμφωνία predicate ή schema, λάθος preconditions και effects, drift στόχου ή μη προσβάσιμη αναζήτηση.

Ο Judge βαθμολογεί την αρχική προδιαγραφή. Η ανταμοιβή του Actor συνδυάζει το αρχικό solver αποτέλεσμα με το Judge score, με βάρος 0,3. Ο Judge εκπαιδεύεται ως δυαδικός προβλεπτής του solver outcome, με πρόσθετη ποινή για υπερβολικά βέβαια false positives.

Αν η αρχική προσπάθεια αποτύχει, ο Editor βλέπει το αίτημα, την τρέχουσα προδιαγραφή και το τελευταίο diagnostic. Μπορεί να κάνει έως πέντε επισκευές. Η ανταμοιβή του είναι η τελική επιτυχία με ποινή 0,1 ανά βήμα, ώστε να προτιμώνται σύντομες και στοχευμένες διορθώσεις. Actor και Editor βελτιστοποιούνται με PPO, ενώ ο Judge με binary classification objective.

Στο inference δεν ενημερώνονται τα βάρη. Επιστρέφεται η πρώτη solver-executable προδιαγραφή που βρέθηκε μέσα στο budget. Αν καμία δεν πετύχει, η τελευταία έκδοση παραδίδεται για αξιολόγηση. Αυτός ο διαχωρισμός κάνει σαφές τι έμαθε το μοντέλο και τι συνέβη μόνο ως runtime repair.

Τι έδειξαν τα αποτελέσματα στο PlanBench

Η κύρια αξιολόγηση καλύπτει BlocksWorld, Mystery BlocksWorld, Logistics και Gripper. Το Mystery BlocksWorld αφαιρεί χρήσιμες λεξιλογικές ενδείξεις με συστηματική μετονομασία, ενώ τα Logistics και Gripper είναι ευαίσθητα σε μικρά λάθη τύπων, μετακινήσεων και προϋποθέσεων.

Η μέθοδος πέτυχε 98% στο BlocksWorld, 71% στο Mystery BlocksWorld, 58% στα Logistics και 56% στο Gripper, δηλαδή 70,8% μέσο solver success. Στην κύρια σύγκριση, το LLM+P είχε 35,5%, το chain-of-thought 12,5% και το tree-of-thought 6,5%. Οι συγγραφείς αναφέρουν επίσης zero-shot αποτελέσματα 90% στο ProntoQA, 48% στο Trip Planning και 40% στο Calendar Scheduling.

Στην ελεγχόμενη σύγκριση όλοι είχαν το ίδιο ανώτατο budget έξι solver calls. Με το ίδιο Qwen2.5-7B, το Self-Refine+Solver έφτασε 49,8% με 4,7 κλήσεις κατά μέσο όρο. Η έκδοση με GPT-4o έφτασε 54,3% με 4,5 κλήσεις. Το Actor–Judge–Editor κράτησε το 70,8% με 3,2 κλήσεις, άρα η διαφορά δεν εξηγείται μόνο από ισχυρότερο backbone ή περισσότερη χρήση του solver.

Η σωστή ανάγνωση δεν είναι «ένα μικρότερο μοντέλο νικά πάντα ένα μεγαλύτερο». Είναι ότι, στο συγκεκριμένο matched protocol, η εκπαιδευμένη εξειδίκευση ρόλων είχε καλύτερη απόδοση από prompting-only επισκευή. Γι’ αυτό η αξιολόγηση ενός AI skill χρειάζεται ελεγχόμενη σύγκριση και όχι μόνο εντυπωσιακές μεμονωμένες επιτυχίες.

Η πιστότητα είναι ξεχωριστό KPI

Η πιο ουσιαστική συμβολή της μελέτης είναι η μέτρηση solvability και faithful success ως διαφορετικών μεγεθών. Η προτεινόμενη μέθοδος είχε 70,8% επιλυσιμότητα και 66,3% faithful success. Το κενό ήταν 4,5 ποσοστιαίες μονάδες και το conditional drift 6,4%.

Το LLM+P είχε 35,5% solvability, 28,3% faithful success και 20,4% drift. Το solver-only RL είχε 39,8%, 25,6% και 35,7% αντίστοιχα. Χωρίς Judge, η μέθοδος έπεσε σε 29,4% faithful success με 33,3% drift. Τα δεδομένα ενισχύουν τον ισχυρισμό ότι η αύξηση των solver passes από μόνη της μπορεί να κρύψει περισσότερες σημασιολογικές αποκλίσεις.

Αυτό είναι άμεσο μάθημα για τα AI agents. Το ποσοστό «task completed» δεν αρκεί όταν η ολοκλήρωση μπορεί να παρακάμπτει πολιτικές, να αλλάζει κριτήρια ή να επιστρέφει σωστό format με λάθος περιεχόμενο. Χρειάζεται behavioral testing των AI agents που εξετάζει τη συμπεριφορά σε δύσκολες και αντιφατικές περιπτώσεις, όχι μόνο το τελικό status.

Τι αποκαλύπτει η δυναμική των επισκευών

Η αρχική έξοδος του Actor έλυνε κατά μέσο όρο το 46,2% των instances. Μετά την πρώτη επισκευή η cumulative success ανέβηκε σε 56,5%, μετά τη δεύτερη σε 63,5% και έπειτα σε 67,5%, 69,3% και 70,8% έως το πέμπτο βήμα. Ο Editor πρόσθεσε συνολικά 24,6 ποσοστιαίες μονάδες πάνω από την αρχική έξοδο.

Οι δύο πρώτες επισκευές παρείχαν 17,3 από τις 24,6 μονάδες του συνολικού κέρδους, περίπου το 70%. Τα syntax και typing προβλήματα διορθώνονταν νωρίτερα, ενώ τα υπόλοιπα failures συγκεντρώνονταν όλο και περισσότερο σε δύσκολες αστοχίες schema και transition semantics.

Η καμπύλη αυτή εξηγεί γιατί το bounded repair είναι χρήσιμο. Οι πρώτες διορθώσεις έχουν υψηλή απόδοση, αλλά κάθε επιπλέον γύρος κοστίζει latency, solver calls και κίνδυνο νέου drift. Η ίδια αρχή εμφανίζεται όταν η AI μαθαίνει από την αιτία της αποτυχίας: το diagnostic πρέπει να οδηγεί σε συγκεκριμένη αλλαγή και όχι σε αόριστη επανάληψη.

Τι μεταφέρεται σε επιχειρηματικά workflows

Η μεταφορά στην επιχείρηση είναι σχεδιαστική αναλογία, όχι πείραμα της εργασίας. Σε e-commerce, ο Actor μπορεί να προτείνει ενέργεια για επιστροφή ή αντικατάσταση, ο Judge να ελέγχει πολιτική, consent και όρια εξουσιοδότησης και ο Editor να διορθώνει μόνο το πεδίο που απέτυχε. Το deterministic σύστημα παραμένει υπεύθυνο για κανόνες που δεν επιτρέπεται να ερμηνεύονται ελεύθερα.

Σε marketing automation, το τεχνικό pass μπορεί να σημαίνει ότι δημιουργήθηκε το campaign, όχι ότι επιλέχθηκε το σωστό κοινό ή ότι υπάρχει νόμιμη βάση επικοινωνίας. Σε customer support, το κλείσιμο ticket δεν αποδεικνύει επίλυση. Σε content operations, όλα τα υποχρεωτικά πεδία μπορεί να είναι συμπληρωμένα και το κείμενο να έχει χάσει το brief.

Η κατάλληλη μονάδα ελέγχου είναι το contract της διαδικασίας: αρχικό αίτημα, επιτρεπτά δεδομένα, κανόνες, υποψήφια έξοδος, verifier result, diagnostic, edit και τελική απόφαση. Η ιχνηλασιμότητα πρέπει να επιτρέπει σε ελεγκτή να ανασυνθέσει γιατί άλλαξε το αποτέλεσμα, όπως και σε μια αρχιτεκτονική audit trail που συνδέει δεδομένα και αποφάσεις.

Πώς σχεδιάζεται ασφαλέστερο feedback loop

Πρώτα, οι σημαντικοί επιχειρηματικοί περιορισμοί πρέπει να γίνουν ελέγξιμοι. Όσο παραμένουν μόνο σε ελεύθερο κείμενο, τόσο αυξάνεται το χάσμα ανάμεσα στο «έτρεξε» και στο «έτρεξε σωστά». Δεύτερον, τα diagnostics πρέπει να διαχωρίζουν τουλάχιστον format, type, precondition, policy, goal και semantic mismatch.

Τρίτον, χρειάζεται ανεξάρτητο δείγμα αναφοράς για τις περιπτώσεις όπου ο αυτοματοποιημένος verifier μπορεί να κάνει λάθος. Τέταρτον, η αρχική ποιότητα πρέπει να μετριέται χωριστά από την τελική επιτυχία μετά τις επισκευές. Αν το dashboard δείχνει μόνο το τελευταίο αποτέλεσμα, ένας δυνατός Editor μπορεί να κρύβει αδύναμο Actor και αυξανόμενο κόστος.

Πέμπτον, κάθε edit πρέπει να συγκρίνεται με την προηγούμενη έκδοση. Η διόρθωση οφείλει να αντιμετωπίζει το συγκεκριμένο diagnostic χωρίς να αφαιρεί άλλους κανόνες. Το σύστημα χρειάζεται όριο retries, escalation και δυνατότητα ανθρώπινου stop όταν η αβεβαιότητα ή η επίπτωση ξεπερνά την ανοχή κινδύνου.

Όρια που δεν πρέπει να κρυφτούν

Η εργασία είναι arXiv preprint v1 και αξιολογεί benchmarks, όχι παραγωγικά συστήματα με πραγματικές οικονομικές, νομικές ή ασφαλιστικές συνέπειες. Τα τέσσερα PlanBench domains είναι χρήσιμα για ελεγχόμενη σύγκριση, αλλά δεν αναπαριστούν την πλήρη ασάφεια, τη μεταβολή κανόνων και τις εξαρτήσεις ενός εταιρικού workflow.

Η faithful success απαιτεί reference-based semantic checking. Στα benchmarks υπάρχει αναφορά με την οποία μπορεί να συγκριθεί η παραγόμενη προδιαγραφή. Σε μια νέα επιχειρηματική διαδικασία, η reference αλήθεια μπορεί να είναι ελλιπής, αντιφατική ή ακριβή στη συντήρηση. Αν αλλάξει η πολιτική, πρέπει να αλλάξει και ο validator.

Το zero-annotation αφορά την απουσία ανθρώπινων PDDL demonstrations στην εκπαίδευση της μεθόδου. Δεν σημαίνει ότι η συνολική διαδικασία δεν χρειάζεται ανθρώπους: κάποιος ορίζει το benchmark, τη σωστή σημασιολογία, τα business rules, τα failure thresholds και το audit protocol.

Τέλος, η θεωρητική σύνδεση Judge και ορθότητας βασίζεται σε περιορισμένο on-policy disagreement και calibration. Το shared backbone μειώνει συγκεκριμένες τοπικές κατευθύνσεις reward hacking υπό τις παραδοχές της ανάλυσης. Δεν αποτελεί γενική απόδειξη ότι κάθε multi-role ή shared-model αρχιτεκτονική είναι ασφαλής.

Επτά βήματα πριν από την παραγωγή

Η ασφαλής μεταφορά της ιδέας δεν απαιτεί απαραίτητα PDDL ή PPO. Απαιτεί σαφή διαχωρισμό ευθυνών, μετρήσιμη πρόθεση και ελεγχόμενη επισκευή. Η παρακάτω ακολουθία μεταφράζει το ερευνητικό μοτίβο σε πρακτικό production gate.

Το ουσιαστικό μάθημα είναι απλό: ένας verifier μπορεί να κάνει το AI πιο μετρήσιμο, αλλά όχι αυτόματα πιο πιστό. Η αξιοπιστία έρχεται όταν η προδιαγραφή, ο έλεγχος, η διόρθωση και η ανθρώπινη ευθύνη σχηματίζουν ένα ενιαίο contract. Ένα σύστημα που περνά τον τεχνικό έλεγχο αλλά αλλάζει τον επιχειρηματικό στόχο δεν πέτυχε· απλώς βελτιστοποίησε λάθος μέτρο.