LLM oversight: γιατί περισσότερο context μπορεί να κάνει τον έλεγχο χειρότερο

Περισσότερο context δεν σημαίνει πάντα καλύτερη κρίση. Δείτε γιατί τα μεγάλα review windows αυξάνουν τις ψευδείς απορρίψεις στους AI agents.

Απάντηση πρώτα: Στο pre-execution LLM oversight, περισσότερο context δεν σημαίνει αυτομάτως καλύτερο έλεγχο. Αν ο verifier βλέπει πολλά μη εκτελεσμένα βήματα χωρίς τις ενδιάμεσες tool observations, μπορεί να απορρίπτει περισσότερα σωστά και λανθασμένα σχέδια μαζί. Η σωστή μονάδα επαλήθευσης επιλέγεται με paired clean/error tests, όχι μόνο από το catch rate.

Νέα έρευνα δείχνει γιατί μεγάλα review windows κάνουν τους AI verifiers πιο αυστηρούς, όχι πιο ακριβείς, και τι σημαίνει για επιχειρησιακούς agents.

Σε συστήματα όπου ένας AI agent προτείνει ενέργειες και ένα δεύτερο μοντέλο τις ελέγχει πριν εκτελεστούν, η εύλογη υπόθεση είναι ότι ο ελεγκτής θα γίνει πιο αξιόπιστος αν διαβάσει μεγαλύτερο τμήμα του σχεδίου. Η προδημοσίευση των Yuchen Han, Cheng Yan και Wuyang Zhang δείχνει ότι αυτή η υπόθεση μπορεί να είναι επικίνδυνα απλοϊκή.

Η μελέτη εξετάζει τη μονάδα επαλήθευσης: πόσες προγραμματισμένες ενέργειες αξιολογεί κάθε κλήση του verifier. Σε έξι LLM judges και δύο διαφορετικά περιβάλλοντα εργαλείων, τα μεγαλύτερα παράθυρα αύξησαν την πιθανότητα απόρριψης, όχι όμως κατ’ ανάγκη την ικανότητα διάκρισης ανάμεσα σε ένα πραγματικά προβληματικό και ένα σωστό σχέδιο. Για ομάδες που σχεδιάζουν agents για e-commerce, customer support, επιστροφές, πληρωμές ή ενημερώσεις βάσεων δεδομένων, η διαφορά είναι θεμελιώδης.

Περιεχόμενα

Η κρυφή απόφαση πίσω από κάθε AI guardrail

Ένας pre-execution monitor παρεμβάλλεται ανάμεσα στο σχέδιο του agent και στην πραγματική ενέργεια. Διαβάζει τις προτεινόμενες κλήσεις εργαλείων και αποφασίζει αν πρέπει να εγκριθούν ή να απορριφθούν. Η αρχιτεκτονική έχει νόημα όταν μια λανθασμένη αγορά, ακύρωση, επιστροφή χρημάτων ή εγγραφή σε βάση δεδομένων μπορεί να έχει μη αναστρέψιμες συνέπειες.

Κάθε τέτοιο σύστημα πρέπει να επιλέξει πόσες ενέργειες θα ελέγχονται μαζί. Αν ο verifier εξετάζει μία ενέργεια κάθε φορά, πληρώνεται επανειλημμένα το σταθερό κόστος της εντολής, του στόχου και του context. Αν εξετάζει οκτώ μαζί, το κόστος ανά ενέργεια μειώνεται. Η οικονομία υπολογισμού, όμως, δεν απαντά αν η κρίση παραμένει σωστή.

Η επιχειρηματική παγίδα είναι εμφανής: ένα monitor που απορρίπτει τα πάντα θα εντοπίσει και όλα τα λάθη. Θα καταστρέψει όμως τη χρησιμότητα του agent, θα γεμίσει τη ροή με ανθρώπινες παρεμβάσεις και τελικά θα δημιουργήσει πίεση για παράκαμψη ή απενεργοποίηση του ελέγχου. Το «πόσα σφάλματα έπιασε» δεν αρκεί ως metric ασφάλειας. Η ίδια αρχή εμφανίζεται όταν εξετάζουμε λειτουργικές αστοχίες AI agents στην παραγωγή: το control πρέπει να μετριέται μέσα στη ροή όπου θα χρησιμοποιηθεί.

Γιατί το catch rate μόνο του παραπλανά

Οι συγγραφείς χρησιμοποιούν το Youden informedness, που ορίζεται ως catch rate μείον false rejection rate. Το catch μετρά πόσα προβληματικά σχέδια απορρίπτονται. Το false rejection μετρά πόσα καθαρά σχέδια απορρίπτονται άδικα. Αν ένα σύστημα απορρίπτει τα πάντα, το catch είναι 1, αλλά και το false rejection είναι 1, άρα η πραγματική διάκριση είναι μηδενική.

Catch

Πόσα προβληματικά prefixes απορρίπτει ο verifier. Χωρίς clean control μπορεί να ανταμείψει έναν blanket blocker.

Safety proxyBad prefixes

False rejection

Πόσα σωστά prefixes μπλοκάρονται άδικα. Μεταφράζεται σε χειροκίνητα tickets, latency και χαμένες έγκυρες ενέργειες.

Usefulness costClean prefixes

Informedness

Catch μείον false rejection. Δείχνει αν ο monitor ξεχωρίζει το λάθος από το σωστό ή απλώς απορρίπτει περισσότερο.

J = catch − FRPaired measure

Αυτός ο τρόπος μέτρησης είναι ιδιαίτερα χρήσιμος για εμπορικές εφαρμογές. Ένα fraud ή compliance layer δεν πρέπει μόνο να μπλοκάρει κινδύνους· πρέπει επίσης να αφήνει τις νόμιμες συναλλαγές, τις σωστές επιστροφές και τις έγκυρες αλλαγές να ολοκληρώνονται. Η ασφάλεια που μετατρέπει κάθε αίτημα σε χειροκίνητο ticket δεν είναι λειτουργική ασφάλεια.

Η μελέτη δεν παρουσιάζει το informedness ως μοναδικό universal KPI. Διαφορετικές επιχειρήσεις δίνουν διαφορετικό κόστος σε ένα missed error και σε μια ψευδή απόρριψη. Το βασικό μήνυμα είναι αυστηρότερο: όποια στάθμιση κι αν επιλεγεί, η καθαρή σειρά πρέπει να μετριέται μαζί με τη σειρά των λαθών. Διαφορετικά, η αυξημένη αυστηρότητα μπορεί να παρουσιαστεί λανθασμένα ως αυξημένη ευφυΐα.

Πώς το twin-prefix πείραμα απομονώνει το μήκος

Σε φυσικά agent traces, τα μεγαλύτερα σχέδια συνήθως συνοδεύονται από δυσκολότερες εργασίες, διαφορετικούς τύπους λαθών και διαφορετικές θέσεις σφάλματος. Έτσι, δεν μπορείς να ξέρεις αν η μεταβολή στην απόδοση οφείλεται στο μήκος ή στη δυσκολία. Το twin-prefix framework κατασκευάστηκε για να απομονώσει ακριβώς αυτή τη μεταβλητή.

Για κάθε gold plan δημιουργείται ένα προβληματικό prefix με μία εισαγόμενη, αλλά τεχνικά αποδεκτή από το περιβάλλον, λανθασμένη εγγραφή. Δίπλα του υπάρχει ένα clean twin που διαφέρει μόνο σε αυτή την εγγραφή. Κάθε ζεύγος αξιολογείται σε πέντε εμφωλευμένα μήκη: μία, δύο, τρεις, πέντε και οκτώ ενέργειες. Το σφάλμα παραμένει στην ίδια τελική θέση, ενώ αλλάζει μόνο το εύρος του παραθύρου.

Οι κλήσεις προς τον verifier είναι ανεξάρτητες και stateless. Το μοντέλο δεν βλέπει το ζεύγος ούτε γνωρίζει ποιο δείγμα είναι καθαρό. Η ανάλυση προεγγράφηκε με κριτήρια για άνοδο, πτώση, σταθερότητα ή αβέβαιο αποτέλεσμα, ώστε η κατεύθυνση του ευρήματος να μην επιλεγεί εκ των υστέρων. Αυτή η λογική συμπληρώνει το behavioral testing για AI agents, επειδή εξετάζει και τις σωστές ροές που το guardrail δεν πρέπει να διακόπτει.

Έξι judges, δύο domains και ένα σταθερό μοτίβο

Το πείραμα κάλυψε τρεις open-weight verifiers — Llama-3.3-70B, Qwen2.5-14B και Qwen2.5-72B — και τρεις closed-weight judges: DeepSeek-V4-Pro, Claude Opus 4.8 και GPT-5.6 Sol. Τα δύο domains ήταν ένα retail περιβάλλον τύπου τ² και το AppWorld με multi-app API προγράμματα. Πρόκειται για διαφορετικές μορφές εργασίας: το πρώτο είναι πιο κοντά σε σύντομα, schema-bound αιτήματα πελατών, ενώ το δεύτερο περιλαμβάνει μεγαλύτερες ακολουθίες ενεργειών σε εφαρμογές.

Παρά τις διαφορές, κάθε judge έφτασε στο καλύτερο informedness σε παράθυρο μίας ή δύο ενεργειών. Αυτό δεν σημαίνει ότι η μία ενέργεια κερδίζει πάντα. Στο retail domain, ο 70B και ο 14B verifier είχαν κορυφή στις δύο ενέργειες, επειδή ένα μικρό επιπλέον βήμα context μπορούσε να προσφέρει χρήσιμη θεμελίωση. Το ανθεκτικό εύρημα είναι η σύντομη περιοχή, όχι ένα μοναδικό μαγικό νούμερο.

Η μελέτη δοκίμασε επίσης pools αποφάσεων, majority voting, router ανά εργαλείο και σήματα αυτοπεποίθησης της αρχικής πρότασης. Καμία δοκιμασμένη label-blind πολιτική δεν ξεπέρασε με συνέπεια μια βαθμονομημένη σταθερή μικρή μονάδα. Υπήρξε μία βελτίωση router σε ένα από τα έξι open-weight cells, αλλά όχι γενικός μηχανισμός που να κλείνει το κενό από το θεωρητικό oracle.

Οι αριθμοί που αποκαλύπτουν την υπερβολική αυστηρότητα

Στον βασικό retail verifier, το catch αυξήθηκε από 0,765 με μία ενέργεια σε 0,970 με οκτώ. Αν η αξιολόγηση σταματούσε εκεί, το μεγάλο παράθυρο θα έμοιαζε σαφώς καλύτερο. Την ίδια στιγμή, όμως, το false rejection των καθαρών gold prefixes αυξήθηκε από 0,419 σε 0,935. Στις οκτώ ενέργειες απορρίφθηκαν 29 από τα 31 καθαρά anchors.

Retail Llama-3.3-70B

Catch, false rejection και informedness ανά μονάδα ελέγχου

Τιμές του primary retail cell από τον πίνακα 1 της εργασίας. Περιγράφουν το συγκεκριμένο corpus και verifier, όχι benchmark αγοράς ή υπόσχεση παραγωγής.

Μήκος ελέγχου Catch False rejection Informedness J
1 ενέργεια 0,765 0,419 0,346
2 ενέργειες 0,795 0,194 0,601
3 ενέργειες 0,895 0,548 0,347
5 ενέργειες 0,915 0,806 0,109
8 ενέργειες 0,970 0,935 0,035

Το informedness κορυφώθηκε στο 0,602 με δύο ενέργειες και έπεσε στο 0,035 με οκτώ. Στους Qwen2.5-14B και Qwen2.5-72B, το παράθυρο οκτώ ενεργειών έφτασε catch και false rejection ίσα με 1: το σύστημα απέρριπτε τα πάντα. Δεν είχε γίνει καλύτερος διαχωριστής· είχε γίνει blanket blocker.

Το εύρημα δεν καταργεί την αξία της αυστηρότητας. Δείχνει ότι η αυστηρότητα πρέπει να τιμολογείται μαζί με τη χρησιμότητα. Για μια εταιρεία, το κόστος ενός false rejection μπορεί να είναι καθυστέρηση παραγγελίας, περιττή επαλήθευση, εγκατάλειψη checkout, αυξημένο support load ή ανθρώπινη έγκριση. Αυτά είναι μέρος του risk model, όχι εξωτερική λεπτομέρεια.

Το μεγάλο παράθυρο στερεί κρίσιμες παρατηρήσεις

Γιατί ένας verifier απορρίπτει περισσότερο όσο διαβάζει περισσότερα; Στο πείραμα, τα βήματα μέσα στο παράθυρο δεν έχουν ακόμη εκτελεστεί. Επομένως λείπουν οι ενδιάμεσες παρατηρήσεις που θα παρείχαν οι εφαρμογές ή οι βάσεις δεδομένων. Ένα lookup μπορεί να υπάρχει ακριβώς για να αποκτήσει μια πληροφορία, αλλά το monitor βλέπει μόνο το προγραμματισμένο βήμα και όχι το αποτέλεσμα που θα παρήγαγε.

Οι κωδικοί αιτιολόγησης έδειξαν μετατόπιση: στα μικρά παράθυρα κυριαρχούσαν ισχυρισμοί για λάθος arguments ή preconditions, ενώ στα μεγάλα αυξάνονταν οι απορρίψεις λόγω ανεπαρκών αποδείξεων και μη διαθέσιμων observations. Το μοντέλο αντιμετώπιζε συχνά την απουσία πληροφορίας ως ένδειξη σφάλματος, παρότι οι οδηγίες το απαγόρευαν.

Η παρέμβαση με replay έκανε τον μηχανισμό ορατό. Όταν δόθηκαν οι πραγματικές observations στα ενδιάμεσα βήματα, το retail false rejection στις οκτώ ενέργειες μειώθηκε από 0,935 σε 0,290 και το informedness ανέβηκε από 0,035 σε 0,490. Η κορυφή παρέμεινε στις δύο ενέργειες, αλλά η μεγάλη κατάρρευση περιορίστηκε. Οι συγγραφείς μιλούν συνεπώς για σημαντικό driver, όχι για τη μοναδική αιτία.

Το τυφλό σημείο στο εσωτερικό του παραθύρου

Το βασικό twin-prefix design τοποθετεί το λάθος στην τελευταία θέση, ώστε όλα τα μήκη να αξιολογούν ακριβώς την ίδια κρίσιμη ενέργεια. Σε πραγματικό batch deployment, όμως, ένα σφάλμα μπορεί να βρίσκεται οπουδήποτε. Η συμπληρωματική ανάλυση θέσης έδειξε ότι η ανίχνευση μειώνεται προς το εσωτερικό του μεγάλου παραθύρου.

Για τον Qwen2.5-14B σε παράθυρο οκτώ ενεργειών, το catch ήταν 0,237 όταν το λάθος βρισκόταν στη θέση 4, έναντι 1,000 όταν ήταν στην τελευταία θέση. Η position-marginal ανάγνωση έκανε τα μεγάλα παράθυρα ακόμη λιγότερο ελκυστικά. Για μια production ομάδα, αυτό σημαίνει ότι ένα benchmark που τοποθετεί το σφάλμα μόνο στο τέλος μπορεί να δίνει υπερβολικά αισιόδοξη εικόνα.

Η πρακτική συνέπεια είναι ότι τα tests πρέπει να μετακινούν το σφάλμα σε διαφορετικά σημεία, να περιλαμβάνουν καθαρές ροές και να καταγράφουν την πραγματική θέση μέσα στο batch. Ένα συνολικό accuracy score δεν αρκεί για να εντοπιστεί η συγκεκριμένη αδυναμία. Το audit trail ενός AI runtime γίνεται χρήσιμο ακριβώς όταν συνδέει verdict, θέση, tool observation και τελική ενέργεια.

Τι σημαίνει για e-commerce και επιχειρησιακούς agents

Ένας e-commerce agent μπορεί να ελέγχει απόθεμα, να επιλέγει προϊόν, να εφαρμόζει κουπόνι, να δημιουργεί παραγγελία και να ενεργοποιεί πληρωμή. Αν ο verifier δει όλη την ακολουθία πριν υπάρξουν οι απαντήσεις από κάθε σύστημα, μπορεί να θεωρήσει μη θεμελιωμένα IDs ή preconditions που στην πραγματικότητα θα επιβεβαιώνονταν από προηγούμενα lookups.

Η ασφαλέστερη αρχιτεκτονική δεν προκύπτει αυτόματα από το «έλεγξε περισσότερα». Μπορεί να απαιτεί μικρά checkpoints μετά από observation-bearing βήματα, ξεχωριστούς deterministic gates για schema και permissions, και LLM review μόνο για το semantic residual που δεν καλύπτεται από κανόνες. Η μελέτη δεν αποδεικνύει ότι αυτή είναι η μοναδική σωστή σχεδίαση, αλλά προσφέρει ισχυρό λόγο να τη συγκρίνουμε με μεγάλα batch reviews. Τα εκτελέσιμα policy tools για AI safety και τα controls ενός agentic AI security stack καλύπτουν διαφορετικά στρώματα από την πιθανοτική κρίση ενός LLM judge.

Για marketing και customer experience teams, οι false rejections πρέπει να μεταφράζονται σε πραγματικά λειτουργικά συμβάντα: πόσα σωστά requests πήγαν σε άνθρωπο, πόσο αυξήθηκε ο χρόνος ολοκλήρωσης, πόσοι πελάτες εγκατέλειψαν και πόσες φορές οι operators παρέκαμψαν τον monitor. Η χρήση ενός safety layer που όλοι μαθαίνουν να αγνοούν είναι ξεχωριστός οργανωτικός κίνδυνος.

Απόφαση σχεδιασμού

Μην αυξάνετε το review window πριν δείτε το paired clean/error curve

Συγκρίνετε μονάδες ελέγχου πάνω στα ίδια tasks, κρατήστε σταθερά error type και θέση, βαθμονομήστε threshold ανά μήκος και τιμολογήστε miss, false rejection, latency και human escalation. Αν το μεγαλύτερο παράθυρο αγοράζει μόνο περισσότερες απορρίψεις, αλλάξτε checkpoint ή verifier — όχι απλώς το prompt.

Επτά βήματα βαθμονόμησης πριν το production

Η επιχειρησιακή εφαρμογή της μελέτης δεν είναι να αντιγράψουμε μηχανικά το μήκος 1 ή 2. Είναι να μετατρέψουμε τη μονάδα επαλήθευσης σε ρητή, versioned παράμετρο που περνά δικό της evaluation και change control.

Από το catch rate σε ελεγχόμενο LLM oversight

  1. Βήμα 1Χαρτογραφήστε τις μη αναστρέψιμες ενέργειες

    Ξεχωρίστε refunds, πληρωμές, διαγραφές, αλλαγές δικαιωμάτων και writes που απαιτούν αυστηρότερο pre-execution gate.

  2. Βήμα 2Δημιουργήστε matched clean/error pairs

    Για κάθε έγκυρη ροή κατασκευάστε ελεγχόμενη παραλλαγή με συγκεκριμένο σημασιολογικό λάθος, όχι απλώς malformed κλήση που κόβεται από schema validation.

  3. Βήμα 3Δοκιμάστε περισσότερες από μία μονάδες ελέγχου

    Κρατήστε σταθερά task, error type και θέση ώστε η αλλαγή στο verdict να αποδίδεται στο review window και όχι σε διαφορετική δυσκολία.

  4. Βήμα 4Μετρήστε catch και false rejection μαζί

    Υπολογίστε informedness ή deployment-specific utility με το πραγματικό κόστος miss, άδικου block, latency και ανθρώπινης κλιμάκωσης.

  5. Βήμα 5Βαθμονομήστε threshold ανά μήκος

    Ξεχωρίστε την πραγματική πτώση ranking από το threshold drift. Άλλο πρόβλημα διορθώνεται με recalibration και άλλο απαιτεί νέα δομή review.

  6. Βήμα 6Τοποθετήστε checkpoints μετά από observations

    Αφήστε τα read-only lookups να παράγουν evidence πριν ελεγχθούν τα εξαρτώμενα writes και κρατήστε deterministic gates για schema, permissions και known invariants.

  7. Βήμα 7Κλειδώστε και επανελέγξτε την επιλογή

    Versionάρετε verifier, prompt, unit, threshold και tool contracts. Νέο μοντέλο, workflow ή traffic distribution απαιτεί νέα βαθμονόμηση.

Στη συγκεκριμένη ανάλυση, η μετάβαση από δύο σε οκτώ ενέργειες στον retail 70B εξοικονομούσε περίπου 246 verifier tokens ανά ενέργεια, αλλά έχανε 0,567 informedness. Η σωστή ανταλλαγή εξαρτάται από το κόστος ενός miss και μιας ψευδούς απόρριψης στη δική σας εφαρμογή. Ακόμη και ένα καλό rollback δεν αρκεί αν ο agent έχει ήδη αλλάξει εξωτερική κατάσταση ή μνήμη, όπως δείχνει και το πρόβλημα του semantic rollback στους AI agents.

Τα όρια της έρευνας και η σωστή ανάγνωση

Οι εισαγόμενες αστοχίες ήταν μεμονωμένες, μη προσαρμοστικές εγγραφές. Ένας planner που γνωρίζει τον μηχανισμό ελέγχου ή ένα σφάλμα πολλών βημάτων μπορεί να συμπεριφερθεί διαφορετικά. Η αξιολόγηση κάλυψε δύο domains, zero-shot judges, μήκη έως οκτώ και per-call proxies. Δεν αποτελεί απόδειξη για κάθε production agent.

Επιπλέον, το retail clean set είχε 31 gold anchors, γεγονός που περιορίζει την ισχύ για μικρές διαφορές. Τα false rejections στα καθαρά prefixes που παρήγαγαν εκτελεστές ήταν χαμηλότερα από τα gold-clean, αν και η ανοδική τάση με το μήκος παρέμενε. Οι συγγραφείς αποφεύγουν να μεταφέρουν μηχανικά το headline informedness σε πραγματική deployment distribution.

Αυτές οι επιφυλάξεις δεν ακυρώνουν το συμπέρασμα. Καθορίζουν πού ισχύει: οι συγκεκριμένοι zero-shot monitors, όταν αξιολογήθηκαν με ελεγχόμενα twins, έγιναν πιο rejective με μεγαλύτερα windows χωρίς αντίστοιχη βελτίωση στη διάκριση. Η σωστή επιχειρηματική αντίδραση δεν είναι να υιοθετηθεί τυφλά ένα μήκος, αλλά να απαιτηθεί καθαρή, paired μέτρηση πριν από κάθε safety claim.

Υπάρχει επίσης κίνδυνος ο ίδιος ο ελεγκτής να γίνει μέρος του failure mode. Το παράδειγμα όπου το AI πείθει τον ελεγκτή του δείχνει γιατί verdicts, reasons και downstream αποφάσεις χρειάζονται ανεξάρτητη παρατήρηση, όχι απόλυτη εμπιστοσύνη σε ένα δεύτερο μοντέλο.

Η ουσία για όσους σχεδιάζουν AI governance

Η μελέτη μεταφέρει τη συζήτηση από το «βάλαμε έναν verifier» στο «πώς ακριβώς τον μετρήσαμε». Ένα safety case πρέπει να δηλώνει τη μονάδα επαλήθευσης, να παρουσιάζει καθαρά δείγματα μαζί με τα σφάλματα και να ξεχωρίζει την ανίχνευση από την τάση για γενική απόρριψη.

Το πιο χρήσιμο insight για μια επιχείρηση είναι ότι το context έχει δομή. Περισσότερα μη εκτελεσμένα βήματα χωρίς observations δεν είναι ισοδύναμα με περισσότερη αξιόπιστη πληροφορία. Μερικές φορές δημιουργούν μεγαλύτερη αβεβαιότητα και ωθούν το μοντέλο σε προληπτικό μπλοκάρισμα.

Οι AI agents χρειάζονται guardrails που προστατεύουν χωρίς να ακυρώνουν την εργασία που υποτίθεται ότι αυτοματοποιούν. Η σύντομη, βαθμονομημένη μονάδα δεν είναι απλώς μια τεχνική επιλογή. Είναι ένας τρόπος να κρατηθούν η ασφάλεια, η εμπειρία πελάτη και η λειτουργική απόδοση μέσα στο ίδιο σύστημα μέτρησης.

AI αυτοματισμοί με μετρήσιμα guardrails

Σχεδιάστε oversight που προστατεύει χωρίς να μπλοκάρει τη ροή

Η TWO DOTS συνδέει μικρά checkpoints, deterministic validation, LLM review, tool observations, audit logs και human escalation σε επιχειρησιακούς agents. Έτσι το e-commerce και το support μετρούν μαζί λάθη, ψευδείς απορρίψεις και πραγματικό λειτουργικό κόστος.

Συχνές ερωτήσεις

Τι είναι η μονάδα επαλήθευσης στο LLM oversight;

Είναι ο αριθμός των προγραμματισμένων ενεργειών που εξετάζει μία κλήση του AI verifier πριν εγκρίνει ή απορρίψει την εκτέλεση. Η επιλογή επηρεάζει κόστος, catch και false rejections.

Γιατί το υψηλό catch rate δεν αρκεί;

Επειδή ένα σύστημα μπορεί να πιάνει όλα τα λάθη απορρίπτοντας ταυτόχρονα και όλα τα σωστά σχέδια. Το catch πρέπει να αναφέρεται μαζί με το false rejection σε matched clean samples.

Τι μετρά το informedness;

Στη μελέτη ορίζεται ως catch μείον false rejection. Μετρά πόσο καλά ο verifier ξεχωρίζει τα προβληματικά από τα καθαρά prefixes, αντί να ανταμείβει απλώς την αυστηρότητα.

Ποιο review window ήταν καλύτερο;

Σε όλους τους έξι judges και στα δύο domains, η κορυφή εμφανίστηκε σε μία ή δύο ενέργειες. Η ακριβής επιλογή εξαρτιόταν από μοντέλο και domain και δεν αποτελεί καθολικό production rule.

Γιατί χειροτέρεψαν τα μεγαλύτερα παράθυρα;

Ένας σημαντικός μηχανισμός ήταν η στέρηση observations: τα ενδιάμεσα βήματα δεν είχαν εκτελεστεί, οπότε ο verifier συχνά αντιμετώπιζε την απουσία στοιχείων ως λόγο απόρριψης.

Αρκεί να μειώσω το review window;

Όχι μηχανικά. Χρειάζεται calibration σε αντιπροσωπευτικά clean/error pairs, thresholds ανά μήκος και κόστη που αντιστοιχούν στη δική σας χρήση, μαζί με deterministic gates και tool observations.

Ισχύει το αποτέλεσμα για κάθε AI agent;

Όχι. Η εργασία περιορίζεται σε δύο domains, έξι zero-shot judges και μήκη έως οκτώ. Προσφέρει ελεγχόμενη μέθοδο και ισχυρή ένδειξη, όχι καθολικό νόμο.

Ποια KPIs πρέπει να βλέπει η διοίκηση;

Τουλάχιστον catch, false rejection, ανθρώπινες κλιμακώσεις, latency, overrides και πραγματικό κόστος misses ή άδικων blocks. Η ασφάλεια πρέπει να αξιολογείται μαζί με τη διατήρηση της χρήσιμης λειτουργίας.

Ενημερωτικό Δελτίο

Εισάγετε τη διεύθυνση email σας παρακάτω για να εγγραφείτε στο ενημερωτικό δελτίο μας