Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
[email protected]
Έτοιμοι για το επόμενο βήμα;
Το CMB-0.4 δείχνει τι evidence χρειάζεται για να αποδειχθεί ότι ένας AI agent αναθεωρεί κριτήρια και δεν δίνει απλώς καλύτερη απάντηση.
Η αναθεώρηση κριτηρίων AI agents δεν αποδεικνύεται επειδή η δεύτερη απάντηση είναι καλύτερη. Χρειάζεται να φανεί ότι ο agent εντόπισε ανεπάρκεια στον κανόνα επιτυχίας, πρότεινε νέο κριτήριο, το χρησιμοποίησε σε νέο επεισόδιο και άλλαξε συμπεριφορά όταν παρεμβαίνουμε στον σωστό φορέα μνήμης.
Η εργασία Calibrating Criterion Revision in LLM Agents δοκιμάζει αυτή την αλυσίδα αιτιότητας. Το CMB-0.1 αποκάλυψε προβλήματα contract, leakage και attribution· το CMB-0.4 είναι το προτεινόμενο trace-anchored πρωτόκολλο που τα διορθώνει, όχι ένα ήδη ολοκληρωμένο benchmark.
Ένας AI agent απέτυχε, «σκέφτηκε» τι πήγε λάθος και την επόμενη φορά απάντησε σωστά. Έμαθε νέο κριτήριο επιτυχίας ή απλώς βρήκε καλύτερη απάντηση; Η διάκριση ακούγεται λεπτή, αλλά είναι κρίσιμη για κάθε επιχείρηση που θέλει agents με μνήμη, αυτοβελτίωση και υπεύθυνη λειτουργία.
Σε πολλές εργασίες, το κριτήριο επιτυχίας είναι σταθερό. Ένα μοντέλο μπορεί να κάνει καλύτερη αναζήτηση, να χρησιμοποιήσει εργαλείο ή να διορθώσει ένα σφάλμα και έτσι να βελτιώσει την απόδοσή του. Αυτό όμως δεν σημαίνει ότι άλλαξε το τι θεωρεί επιτυχία. Η εργασία ονομάζει criterion failure την πιο απαιτητική περίπτωση: ο τρέχων κανόνας K0 δέχεται ένα αποτέλεσμα, αλλά το αποτέλεσμα παραβιάζει μια ευρύτερη δέσμευση B.
Ένα απλό παράδειγμα από τις δώδεκα περιοχές του benchmark είναι το software testing. Ο κανόνας «όλα τα tests περνούν» μπορεί να δεχτεί μια υλοποίηση που αποτυγχάνει σε input στα όρια του συμβολαίου. Αν ο agent απλώς διορθώσει το συγκεκριμένο input, μπορεί να έχει μάθει ένα τέχνασμα. Για αναθεώρηση κριτηρίου πρέπει να σχηματίσει έναν συγκρίσιμο νέο κανόνα K1, να τον εφαρμόσει σε νέο επεισόδιο και να διατηρήσει τις νόμιμες αποδοχές και απορρίψεις.
Καλύτερη εκτέλεση
Ο στόχος μένει ίδιος, αλλά ο agent αναζητά καλύτερα, χρησιμοποιεί εργαλείο ή διορθώνει ένα επιμέρους σφάλμα.
Αναθεώρηση κριτηρίου
Ο agent αναγνωρίζει ότι το K0 δέχεται προβληματικό αποτέλεσμα, προτείνει K1 και το μεταφέρει χωρίς να απορρίπτει τις νόμιμες περιπτώσεις.
Harness commit
Το μοντέλο γράφει μια πρόταση, αλλά το εξωτερικό σύστημα αποφασίζει να την αποθηκεύσει. Αυτό ελέγχει τη χρησιμότητα του state, όχι αυτόνομη επιλογή WRITE.
Η διάκριση συμπληρώνει το behavioral testing των AI agents: δεν αρκεί να κοιτάμε αν η τελική έξοδος ήταν σωστή. Πρέπει να ελέγχουμε ποιος μηχανισμός οδήγησε στη σωστή συμπεριφορά και αν επαναλαμβάνεται στις κατάλληλες συνθήκες.
Το CMB-0.1 ορίζει πέντε όρους. Πρώτος είναι η ανίχνευση ότι απέτυχε το ίδιο το κριτήριο και όχι απλώς η εκτέλεση. Δεύτερος, η πρόταση του K1 πρέπει να προέρχεται από το μοντέλο. Τρίτος, το νέο κριτήριο πρέπει να μεταφερθεί σε νέο επεισόδιο με καθαρισμένο active context. Τέταρτος, παρέμβαση στον υποτιθέμενο φορέα μνήμης πρέπει να αλλάζει τη συμπεριφορά. Πέμπτος, το K1 πρέπει να κλείνει το loophole χωρίς να οδηγεί σε υπερβολική απόρριψη των σωστών περιπτώσεων.
Οι όροι είναι μη αντισταθμιστικοί: υψηλή επίδοση σε τέσσερις δεν καλύπτει την απουσία του πέμπτου. Αυτό έχει μεγάλη πρακτική αξία. Ένα εντυπωσιακό reflection δεν αποδεικνύει μεταφορά, μια σωστή δεύτερη απάντηση δεν αποδεικνύει αποθήκευση και μια αλλαγή μετά από prompt σύγκρουσης δεν αποδεικνύει ότι επηρεάστηκε ο σωστός causal carrier.
Αυτός ο αυστηρός διαχωρισμός είναι ιδιαίτερα χρήσιμος σε συστήματα μνήμης. Ένα memory store που ιεραρχεί εμπειρίες ή μια τεχνική υγιεινής μνήμης για AI agents πρέπει να αξιολογείται χωριστά ως προς την επιλογή εγγραφής, την ανάκληση και την πραγματική επίδραση στις αποφάσεις.
Το CMB-0.1 περιλαμβάνει cases από evidence, software, security, scheduling, data validation, retrieval, science, monitoring, summarization, procurement, classification και operations. Κάθε case έχει μια παγίδα που περνά από το K0, ένα νέο loophole item, μία νόμιμη αποδοχή και μία νόμιμη απόρριψη. Έτσι ο scorer μπορεί να διακρίνει τη στοχευμένη αναθεώρηση από το «απόρριψε τα πάντα».
Οι τέσσερις arms εξετάζουν διαφορετικές εξηγήσεις. Στο stateless arm δεν υπάρχει διατηρούμενο revision state. Στο append-only history επαναφέρεται το κείμενο της προηγούμενης διάγνωσης. Στο harness-committed state το μοντέλο προτείνει K1, αλλά το σύστημα αξιολόγησης κάνει αυτόματα το commit. Στο oracle arm ο αξιολογητής γράφει τον σωστό K1. Αυτά δεν είναι ισοδύναμα: το oracle ελέγχει αν το μοντέλο μπορεί να χρησιμοποιήσει έναν σωστό κανόνα, ενώ το harness arm δεν αποδεικνύει αυτόνομη επιλογή WRITE.
Η αρχιτεκτονική θυμίζει γιατί ένα orchestration layer που προετοιμάζει τη μνήμη πρέπει να καταγράφεται ως ξεχωριστός actor. Αν το σύστημα γράφει τον κανόνα για λογαριασμό του agent, η αιτιότητα ανήκει στο συνδυασμένο workflow και όχι αποκλειστικά στο μοντέλο.
Πριν από τα μοντέλα, ο συγγραφέας χρησιμοποίησε επτά σχεδιασμένους μηχανισμούς σε δώδεκα cases, συνολικά 84 scorer trials. Ο fixed-K0 executor, ο text-only reflector, η evaluator injection, ο complete self-reviser, ο overreviser, ο history-carried reviser και η misattributed history παρήγαγαν τις αναμενόμενες διακρίσεις. Για παράδειγμα, ο overreviser απέτυχε στην preservation, ενώ η παρέμβαση σε λάθος carrier δεν πήρε intervention credit.
Αυτό επικυρώνει ότι ο κώδικας του scorer υλοποιεί τις προβλεπόμενες διακρίσεις σε καθαρές fixtures. Δεν αποδεικνύει construct validity σε αμφίσημη φυσική γλώσσα. Είναι αντίστοιχο με unit tests σε ένα analytics pipeline: απαραίτητα για να εμπιστευτούμε την υλοποίηση, αλλά ανεπαρκή για να αποδείξουμε ότι ο επιχειρηματικός δείκτης μετρά πράγματι την έννοια που του αποδίδουμε.
Η ίδια αρχή ισχύει στην αξιολόγηση εργαλείων και skills: το paired testing ενός AI skill χρειάζεται baseline χωρίς το skill, αλλά και έλεγχο ότι το metric δεν ανταμείβει απλώς συμμόρφωση μορφής ή μια ευκολότερη διαδρομή.
Η μελέτη χρησιμοποίησε τέσσερα τοπικά quantized artifacts: Llama 3.2 1.2B Q8_0, Gemma 3 4.3B Q4_K_M, Qwen 2.5 7.6B Q4_K_M και DeepSeek-R1-Distill-Qwen 7.6B Q4_K_M. Με δώδεκα cases, τέσσερα arms και κοινές κλήσεις ανά batch, υλοποιήθηκαν 96 κλήσεις και 192 model-case-arm trials. Το temperature ήταν μηδέν και χρησιμοποιήθηκε ένας deterministic seed.
Τι μετρήθηκε στο CMB-0.1
Ακριβή μεγέθη της βαθμονόμησης του οργάνου· τα 192 trials δεν είναι 192 ανεξάρτητες παρατηρήσεις, επειδή μοιράζονται revision calls.
Κανένα model trial δεν ικανοποίησε και τους πέντε όρους. Όμως η εργασία τονίζει ότι αυτό το μηδέν δεν αποδεικνύει γενική απουσία ικανότητας. Η βαθμονόμηση είχε μόλις τέσσερα artifacts, έναν seed και σχεδιασμένα cases. Επιπλέον, οι ίδιες οι αποτυχίες του πρωτοκόλλου δημιουργούν εναλλακτικές εξηγήσεις για το αποτέλεσμα.
Από τις 96 κλήσεις προέκυψαν 109 attempts, επειδή επιτρεπόταν μία επανάληψη όταν η έξοδος δεν ήταν έγκυρη. Έντεκα κλήσεις παρέμειναν unusable μετά το retry. Το Qwen 2.5 είχε 24 από 24 complete calls, ενώ το Llama είχε 3 από 24, το Gemma 2 από 24 και το DeepSeek artifact κανένα complete call με το απαιτούμενο nested schema.
Αν μια δοκιμή αναθεώρησης απαιτεί αυστηρό JSON, η αποτυχία μορφοποίησης μπορεί να εμφανιστεί σαν αποτυχία της έννοιας. Η εργασία δεν αγνοεί το πρόβλημα: διατηρεί τα raw responses και ζητά χωριστή αναφορά contract coverage. Για παραγωγικούς AI agents, το μάθημα είναι διπλό. Η συμμόρφωση σε interface είναι πραγματική end-to-end απαίτηση, αλλά δεν πρέπει να συγχέεται με το αν ο agent εντόπισε ή αναθεώρησε σωστά έναν κανόνα.
Η αξιολόγηση χρειάζεται δύο άξονες: contract validity για το αν το output μπορεί να εκτελεστεί με ασφάλεια και construct evidence για το αν η ζητούμενη γνωστική ή πολιτική ικανότητα πράγματι εμφανίστηκε. Ένα production gate μπορεί δικαιολογημένα να απορρίψει άκυρο JSON, χωρίς να μετατρέπει αυτόματα την απόρριψη σε ψυχολογικό συμπέρασμα για το μοντέλο.
Το Qwen2.5-7B απάντησε σωστά σε όλα τα transfer και preservation items ακόμη και χωρίς revision state. Αυτό αποκαλύπτει ότι τα cases επέτρεπαν ανακατασκευή του K1 από το νέο item, από κοινή λογική ή από στοιχεία που φανέρωναν τη ζητούμενη διάκριση. Αν το stateless μοντέλο βρίσκει τον νέο κανόνα, η σωστή συμπεριφορά στο intact-state arm δεν μπορεί να αποδοθεί καθαρά στη μνήμη.
Η διάγνωση αφορά και πραγματικά agent systems. Όταν αξιολογούμε μνήμη, πρέπει να αποδείξουμε ότι το νέο prompt δεν περιέχει μόνο του αρκετές ενδείξεις. Διαφορετικά, μετράμε εκ νέου reasoning και το βαφτίζουμε persistence. Το CMB-0.4 προτείνει concealed mappings, randomized symbols, stateless leakage gate και πολλαπλά κρυφά items ώστε η ανακατασκευή να γίνεται δυσκολότερη και ανιχνεύσιμη.
Ένα χρήσιμο baseline είναι η ίδια εργασία χωρίς πρόσβαση στο revision state. Αν η επίδοση παραμένει ίδια, το state δεν έχει αποκτήσει αιτιακό credit. Η σύγκριση πρέπει να διατηρεί σταθερά το wording, το authority, το format και το μήκος, ώστε η διαφορά να μην εξηγείται από νέα prompt hints.
Στο CMB-0.1, κάθε μη κενή πρόταση του μοντέλου γινόταν αυτόματα commit από το harness. Έτσι ένα θετικό αποτέλεσμα θα έδειχνε ότι μια model-generated πρόταση μπορεί να χρησιμοποιηθεί μετά από εξωτερικό commit, όχι ότι η πολιτική του agent επέλεξε αυτόνομα να γράψει στη μνήμη. Η διάκριση είναι ουσιώδης για προϊόντα που διαφημίζουν self-improving agents.
Το CMB-0.4 απαιτεί ρητή επιλογή WRITE, NO-WRITE ή ESCALATE και ξεχωριστό execution record. Το record πρέπει να συνδέει canonical response bytes, proposal digest, commit mode, carrier identity και append-only ledger entry. Ένα forced write με την ίδια πρόταση παραμένει χρήσιμο control για τη χρησιμότητα του state, αλλά δεν λαμβάνει credit για policy-selected write.
Στην παραγωγή, το execution record πρέπει να συνδέει την πρόταση με την πραγματική ενέργεια, τα permissions και την έκδοση του carrier. Η ίδια λογική βρίσκεται πίσω από guardrails που εξετάζουν την πρόθεση πριν από την πράξη: άλλο να προτείνει κάτι το μοντέλο και άλλο να το εγκρίνει και να το εκτελεί το σύστημα.
Η deletion condition του CMB-0.1 επαναχρησιμοποίησε stateless call αντί για φρέσκια, ισοδύναμη κλήση. Το conflict άλλαζε ταυτόχρονα περιεχόμενο, authority, wording και format. Επιπλέον, αρκούσε οποιαδήποτε αλλαγή απόφασης, ακόμη και αυθαίρετο λάθος. Άρα η observed sensitivity δεν ταυτοποιούσε καθαρά την αιτιακή επίδραση του συγκεκριμένου carrier.
Το νέο πρωτόκολλο ζητά fresh calls για intact, removal, irrelevant-state sham και conflict, με ίδιο μήκος, θέση, authority και μορφοποίηση. Προσθέτει token permutation και compositional counterfactuals. Η conflict response πρέπει να είναι έγκυρη και να αλλάζει προς την προκαθορισμένη κατεύθυνση, όχι απλώς να διαφέρει. Πρόκειται για κλασική αρχή πειραματικού σχεδιασμού: αλλάζουμε έναν παράγοντα τη φορά.
Η αρχή συνδέεται με αξιολογήσεις ευρύτερων ψηφιακών παρεμβάσεων: όπως δείχνει η προσέγγιση πολυκριτηριακής αποτίμησης του PEACE framework, ένα θετικό outcome δεν αρκεί όταν δεν έχουν απομονωθεί ο μηχανισμός, οι παρενέργειες και η ποιότητα της τεκμηρίωσης.
Το CMB-0.4 είναι prospective successor protocol. Δεν είναι επανάλυση του CMB-0.1 και δεν αναφέρει αποτελέσματα επίδοσης μοντέλων. Προβλέπει frozen executable oracle, concealed transfer, policy-selected action, matched interventions, repeated hidden items και audit trail που δεσμεύει την απόφαση με το πραγματικό commit.
Το σωστό claim boundary
Το CMB-0.1 βαθμονόμησε το όργανο· το CMB-0.4 ορίζει πώς θα γίνει η επιβεβαιωτική δοκιμή
Τα σημερινά δεδομένα δικαιολογούν συγκεκριμένες διορθώσεις στον πειραματικό σχεδιασμό. Δεν δικαιολογούν κατάταξη model families, καθολικό threshold ή ισχυρισμό ότι η αναθεώρηση κριτηρίων έχει ήδη αποδειχθεί ή αποκλειστεί.
Περιλαμβάνει επίσης no-state leakage gate και σχεδιασμένο causal contrast ανάμεσα στο intact carrier και στις conditions παρέμβασης. Τα αριθμητικά thresholds του appendix είναι παράμετροι μελλοντικού σχεδιασμού, όχι καθολικές σταθερές. Ο συγγραφέας ζητά frozen simulation ή power analysis πριν από confirmatory run. Επομένως δεν πρέπει να παρουσιαστούν ως ήδη επικυρωμένο benchmark ή ως απόδειξη για συγκεκριμένη model family.
Για οργανισμούς, αυτό είναι παράδειγμα καλής E-E-A-T πρακτικής: να ξεχωρίζεται καθαρά τι μετρήθηκε, ποιο εύρημα είναι εμπειρικό, ποια ερμηνεία είναι εφαρμοστική και ποιο μέρος παραμένει σχέδιο για επόμενη έρευνα.
Για μια e-commerce ή marketing ομάδα, η εργασία δεν προτείνει έτοιμο feature. Προσφέρει όμως καλύτερη λίστα ελέγχου. Όταν ένας agent «μαθαίνει» από campaign failure, πρέπει να ξεχωρίζουμε αν ενημέρωσε πραγματικό policy, αν αποθήκευσε απλή σημείωση, αν το orchestration layer του επέβαλε νέο κανόνα ή αν το επόμενο prompt αποκάλυπτε ήδη τη σωστή απάντηση.
Σε production evaluation, καταγράψτε ποιος πρότεινε την αλλαγή, ποιος αποφάσισε το write, σε ποιο carrier αποθηκεύτηκε, ποια έκδοση εφαρμόστηκε και αν η αφαίρεσή της αλλάζει συγκεκριμένα μελλοντικά decisions. Προσθέστε NO-WRITE cases ώστε να αποτυγχάνει μια πολιτική που γράφει τα πάντα, preservation controls ώστε να εντοπίζεται η υπερδιόρθωση και stateless baseline ώστε να μετριέται η leakage.
Επτά έλεγχοι πριν ονομάσετε έναν agent «αυτοβελτιούμενο»
Καταγράψτε ποιο αποτέλεσμα δέχεται ο τρέχων κανόνας, ποια ευρύτερη δέσμευση παραβιάζεται και ποια αλλαγή θα έκλεινε ακριβώς το loophole.
Μετρήστε χωριστά αν το JSON ή tool call είναι εκτελέσιμο και αν η σημασιολογική απόφαση δείχνει πραγματική αναθεώρηση κριτηρίου.
Δώστε νέο item χωρίς revision state. Αν το K1 ανακατασκευάζεται από το prompt ή την κοινή λογική, ξαναγράψτε ή αποκλείστε το case.
Διαχωρίστε την πρόταση του μοντέλου από την επιλογή ενέργειας και από το commit που πραγματικά εκτέλεσε το orchestration layer.
Συγκρίνετε fresh intact, removal, sham και conflict calls με ίδιο authority, μήκος, θέση και format.
Χρησιμοποιήστε πολλαπλά κρυφά items: ο agent πρέπει να κλείνει το loophole χωρίς να απορρίπτει νόμιμες αποδοχές ή να δέχεται νόμιμες απορρίψεις.
Δέστε prompt, response, proposal digest, carrier version, commit mode και outcome σε audit trail, με σαφή ανθρώπινη κλιμάκωση όταν η αλλαγή είναι αμφίβολη.
Το NIST AI Risk Management Framework οργανώνει την επιχειρησιακή διαχείριση σε Govern, Map, Measure και Manage. Η αξιολόγηση criterion revision ανήκει κυρίως στο Measure, αλλά χωρίς ownership, scope και απόκριση σε αποτυχία δεν γίνεται παραγωγικός έλεγχος. Η πιο ώριμη θέση είναι να μην εξισώνουμε την όμορφη αφήγηση αυτοβελτίωσης με causal evidence.
Ο agent μπορεί να είναι χρήσιμος χωρίς να διαθέτει την ισχυρή ικανότητα που του αποδίδουμε. Η ακριβής γλώσσα μειώνει τεχνικό ρίσκο, υπερβολικές υποσχέσεις και λάθη governance.
Από τον ισχυρισμό στο ελεγχόμενο pilot
Μετρήστε πώς αλλάζει policy ο AI agent πριν του δώσετε αυτονομία
Η TWO DOTS σχεδιάζει αυτοματισμούς επιχειρήσεων με AI με baselines, traceable writes, permissions, guardrails, matched tests και human escalation, ώστε κάθε αλλαγή μνήμης ή policy να έχει σαφές evidence και ασφαλές rollback.
Συχνές ερωτήσεις
Είναι η μετάβαση από έναν κανόνα K0 που δέχεται προβληματικό αποτέλεσμα σε νέο K1, με evidence ότι ο agent εντόπισε την ανεπάρκεια, πρότεινε την αλλαγή, τη μετέφερε σε νέο επεισόδιο και διατήρησε τη σωστή συμπεριφορά.
Επειδή μπορεί να προήλθε από καλύτερο reasoning, από στοιχεία του νέου prompt, από evaluator-written rule ή από state που έγραψε το harness.
Τέσσερα τοπικά quantized artifacts, 96 κλήσεις και 192 model-case-arm trials στο CMB-0.1 calibration.
Κανένα trial δεν πέρασε και τις πέντε conditions, αλλά η εργασία δηλώνει ρητά ότι αυτό δεν αποδεικνύει γενική απουσία της ικανότητας.
Είναι η σωστή εφαρμογή του K1 χωρίς το υποτιθέμενο revision state, επειδή το νέο item, η κοινή γνώση ή το wording επιτρέπει ανακατασκευή του κανόνα.
Για να φανεί ότι η πολιτική του agent επέλεξε την ενέργεια μνήμης και για να αποτυγχάνει μια μηχανική πολιτική που γράφει πάντα ή αποφεύγει την ανθρώπινη κλιμάκωση.
Όχι. Είναι prospective trace-anchored protocol και δεν παρέχει confirmatory αποτελέσματα επίδοσης μοντέλων.
Να ζητάτε traceable causal evidence, stateless baseline και matched interventions πριν χαρακτηρίσετε έναν agent ως αυτοβελτιούμενο ή ικανό να αναθεωρεί policies.
Πηγές
