Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
[email protected]
Έτοιμοι για το επόμενο βήμα;
Το OWMI δείχνει ότι η λεκτική αυτοαναφορά οκτώ open-weight μοντέλων έμεινε στην τύχη, παρότι το σήμα υπήρχε στις ενεργοποιήσεις τους.
Το OWMI δίνει μια στενή αλλά καθαρή απάντηση: στα οκτώ open-weight μοντέλα που μέτρησε, η λεκτική αυτοαναφορά δεν ξεχώρισε μια πραγματική εσωτερική παρέμβαση από μια εικονική καλύτερα από την τύχη. Στα 11.216 πλήρη ζεύγη της dose battery, το pooled AUROC ήταν περίπου 0,5007 και το equivalence test περιόρισε το πλεονέκτημα κάτω από 0,15 ποσοστιαίες μονάδες.
Αυτό δεν είναι τεστ συνείδησης ούτε απόδειξη ότι τα μοντέλα στερούνται κάθε εσωτερικού σήματος. Γραμμικοί probes ανέκτησαν την παρουσία της ίδιας παρέμβασης με held-out accuracy 75,0% και 95,8%, ενώ ένα ειδικά εκπαιδευμένο known positive πλησίασε τέλεια διάκριση. Το κρίσιμο κενό βρίσκεται ανάμεσα στην πληροφορία που υπάρχει στις ενεργοποιήσεις και στην πληροφορία που περνά στις λέξεις.
Η εργασία Open-Weight Masked Introspection ορίζει την intervention reportability: πόση πληροφορία μεταφέρει η έξοδος ενός μοντέλου για μια ελεγχόμενη αλλαγή στον δικό του υπολογισμό. Για κάθε item, το σύστημα εκτελεί μια κανονική προώθηση και μια συνθήκη όπου αλλάζει συγκεκριμένο υπολογιστικό αντικείμενο. Επειδή ο πειραματιστής γνωρίζει τι μεταβλήθηκε, η απάντηση βαθμολογείται απέναντι σε ground truth και όχι απέναντι στο πόσο πειστική ακούγεται.
Οι παρεμβάσεις εφαρμόζονται σε σημεία του residual stream, σε attention heads και σε features από sparse autoencoders. Το ερώτημα δεν είναι αν το μοντέλο μπορεί να περιγράψει γενικά την αρχιτεκτονική του, αλλά αν η έξοδός του φέρει διακριτικό σήμα για ένα εσωτερικό γεγονός που συνέβη στη συγκεκριμένη εκτέλεση.
Η διάκριση έχει πρακτική αξία. Μια εύγλωττη εξήγηση μπορεί να προέρχεται από μοτίβα του prompt, από το τελικό ορατό output ή από μια μετατόπιση στις πιθανότητες των επόμενων tokens. Για να μιλήσουμε για χρήσιμη αυτοαναφορά, η αναφορά πρέπει να προσθέτει πληροφορία που δεν εξηγείται από αυτά τα απλούστερα κανάλια.
Η battery χωρίζει την ενδοσκοπική αναφορά σε πέντε probes. Το detection ρωτά αν συνέβη αλλαγή. Το confidence καταγράφει πόσο βέβαιο είναι το μοντέλο. Το localization ζητά το σημείο της παρέμβασης, το characterization το είδος του αντικειμένου που άλλαξε και το reconstruction την πληροφορία που αφαιρέθηκε.
Ο διαχωρισμός αποτρέπει μια ασαφή συνολική βαθμολογία από το να κρύψει διαφορετικούς μηχανισμούς. Ένα μοντέλο μπορεί να εκφράζει αβεβαιότητα χωρίς να αλλάζει το δυαδικό «ναι» ή «όχι». Μπορεί επίσης να αντιλαμβάνεται γενική διαταραχή χωρίς να εντοπίζει το layer, το head ή το feature που επηρεάστηκε.
Η ίδια λογική εμφανίζεται στην αξιολόγηση skill lift για AI agents: μια ενιαία τελική επίδοση δεν αρκεί όταν χρειάζεται να ξεχωρίσουμε routing, tool use, reasoning και safety behavior. Στο OWMI, κάθε probe πρέπει να ερμηνεύεται με το δικό του scoring και το δικό του null condition.
Ο πρώτος έλεγχος είναι το sham: το μοντέλο δέχεται την ίδια διαδικασία, αλλά τίποτα δεν αλλάζει. Έτσι ένα σύστημα που απαντά μονίμως «παρατήρησα παρέμβαση» δεν παίρνει credit. Ο δεύτερος είναι μια τυχαία διαταραχή ταιριασμένη ως προς την επίδραση ή το norm, ώστε το benchmark να μη συγχέει την αναγνώριση του συγκεκριμένου αντικειμένου με την απλή αίσθηση ότι το output επηρεάστηκε.
Ο τρίτος είναι ένας text-only observer που βλέπει μόνο την ορατή απάντηση. Αν αυτός μαντεύει εξίσου καλά, τότε η φαινομενική αυτοαναφορά μπορεί να προκύπτει από την ανάγνωση του αποτελέσματος και όχι από πρόσβαση στην εσωτερική αιτία. Η δύναμη του OWMI βρίσκεται ακριβώς στη σύγκριση με αυτά τα εναλλακτικά κανάλια.
Λεκτική αναφορά
Η απάντηση του ίδιου μοντέλου πρέπει να διακρίνει intervention από sham και να ξεπερνά ό,τι εξηγεί το ορατό output.
Βεβαιότητα
Βαθμολογείται χωριστά, επειδή μπορεί να αλλάζει όταν η δυαδική απάντηση μένει απολύτως σταθερή.
Activation probe
Ένας ανεξάρτητος ταξινομητής διαβάζει τις ενεργοποιήσεις και ελέγχει αν το εσωτερικό σήμα υπάρχει ακόμη.
Αυτό το τριπλό πλαίσιο αλλάζει το νόημα της «εξήγησης». Η λεκτική αφήγηση δεν είναι causal trace επειδή χρησιμοποιεί τεχνικούς όρους. Χρειάζεται baseline, control και ανεξάρτητο σημείο αναφοράς, όπως και η αξιολόγηση του αν ένας AI agent αναθεωρεί πραγματικά τα κριτήριά του χρειάζεται παρεμβάσεις και όχι μόνο πειστική αιτιολόγηση.
Το paper ξεχωρίζει τη first-order leakage από τη second-order access. Στην πρώτη περίπτωση, η παρέμβαση μετακινεί απευθείας τα logits και σπρώχνει την απάντηση προς μια συγκεκριμένη διατύπωση. Η αναφορά τότε είναι αποτέλεσμα της διαταραχής, όχι αναπαράστασή της. Στη δεύτερη περίπτωση, ένα μέρος του υπολογισμού διαβάζει ή συνοψίζει την κατάσταση ενός άλλου μέρους και μεταφέρει αυτή την πληροφορία στην έξοδο.
Υπάρχει και ενδιάμεση εξήγηση: η παρέμβαση μπορεί να αλλάζει τον τρόπο με τον οποίο το μοντέλο επεξεργάζεται την ίδια την ερώτηση του probe. Το OWMI χρησιμοποιεί δύο χρονικά scopes, ένα όπου το hook παραμένει ενεργό και ένα όπου αφαιρείται πριν από την ερώτηση. Στα δύο dose-calibrated μοντέλα, η λεκτική διάκριση παρέμεινε στην τύχη και στα δύο scopes.
Αυτό δεν αποδεικνύει ότι κάθε πιθανό leakage έχει αποκλειστεί. Περιορίζει όμως την εύκολη ερμηνεία ότι μια αλλαγή στη λέξη «ναι» αρκεί ως ένδειξη πρόσβασης δεύτερου βαθμού. Η χρήσιμη εποπτεία πρέπει να δείξει ότι το σήμα είναι ειδικό για την παρέμβαση, σταθερό και ισχυρότερο από τους matched controls.
Η κύρια αξιολόγηση κάλυψε οκτώ μετρήσιμα open-weight μοντέλα από τις οικογένειες Qwen, Mistral, Llama, Gemma, GLM, Phi και DeepSeek, με μεγέθη περίπου 0,5 έως 15 δισεκατομμύρια παραμέτρους. Η ποικιλία μειώνει την πιθανότητα το null αποτέλεσμα να οφείλεται αποκλειστικά σε ένα training pipeline, αλλά δεν αποτελεί αντιπροσωπευτικό δείγμα όλων των LLMs.
Ένα ένατο μοντέλο, το Qwen3-14B, δεν μπήκε στη συγκρίσιμη roster. Μόνο 5 από 384 trials έδωσαν scorable response και κανένα δεν σχημάτισε πλήρες intervention–sham pair. Οι συγγραφείς αποδίδουν το πρόβλημα στο thinking segment που εξαντλούσε το probe budget και ζητούν επανάληψη με μεγαλύτερο όριο, αντί να μετατρέπουν το failure-to-parse σε αρνητικό αποτέλεσμα ενδοσκόπησης.
Το όριο αυτό θυμίζει γιατί μια αξιόπιστη σύγκριση, όπως στο FlavourBench για αξιολόγηση AI, πρέπει να κρατά σταθερά harness, budget και scoring. Όταν αλλάζει η ικανότητα παραγωγής του απαιτούμενου format, αλλάζει και το ποιο υποσύνολο φτάνει τελικά στη μέτρηση.
Στα 11.216 πλήρη intervention–sham ζεύγη της dose battery, το pooled detection contrast ήταν d′ = 0,0039 και AUROC περίπου 0,5007. Το 0,5 αντιστοιχεί σε τυχαία κατάταξη, άρα το πλεονέκτημα ήταν περίπου επτά εκατοστά της ποσοστιαίας μονάδας. Το equivalence testing περιόρισε το discrimination advantage κάτω από 0,15 ποσοστιαίες μονάδες AUROC με p<0,0001.
Τι έδειξε το OWMI
Οι τιμές αφορούν το συγκεκριμένο experimental setup και δεν είναι γενικά ποσοστά για κάθε μοντέλο ή κάθε μορφή ενδοσκόπησης.
Η επιλογή equivalence test είναι ουσιαστική. Ένα απλό μη στατιστικά σημαντικό αποτέλεσμα δεν αποδεικνύει απουσία ικανότητας· μπορεί να σημαίνει ανεπαρκές sample. Εδώ το ερώτημα αντιστράφηκε: πόσο μεγάλο θα μπορούσε να είναι το κρυμμένο αποτέλεσμα δεδομένης της ακρίβειας των μετρήσεων; Η απάντηση είναι ότι το διαθέσιμο λεκτικό detection signal ήταν υπερβολικά μικρό για επιχειρησιακή χρήση.
Μια ξεχωριστή breadth battery πρόσθεσε 19.520 μετρήσεις σε τρία μοντέλα, τρεις κατηγορίες υπολογιστικών αντικειμένων, έξι βάθη, τέσσερα benchmark domains, δύο εκτελεσμένα temporal tracks και τέσσερις scored probe families. Κανένας άξονας δεν άλλαξε το συμπέρασμα, αλλά η ίδια η εργασία περιορίζει τη γενίκευση σε όσα πράγματι εκτελέστηκαν και βαθμολογήθηκαν.
Ο ισχυρότερος έλεγχος απέναντι στην ένσταση «δεν υπήρχε τίποτα να αναφερθεί» προήλθε από linear probes. Στα δύο dose-calibrated μοντέλα, γραμμικοί ταξινομητές ανέκτησαν την παρουσία της παρέμβασης με held-out accuracy 95,8% και 75,0%, έναντι chance 50%. Σε 200 label-shuffled refits, το null δεν έφτασε αυτές τις τιμές.
Οι ερευνητές διάβασαν ξανά το probe σε βαθύτερα layers, μέχρι το τελευταίο layer πριν από την απάντηση, και βρήκαν μηδενικό held-out error στα σημεία που αναφέρουν. Άρα το σήμα δεν εξαφανίστηκε αμέσως μετά την παρέμβαση. Παρέμενε διαθέσιμο κοντά στο στάδιο όπου θα έπρεπε να σχηματιστεί η λεκτική αναφορά.
Το αποτέλεσμα δεν σημαίνει ότι κάθε production σύστημα πρέπει να ανοίξει τις ενεργοποιήσεις του. Σημαίνει ότι η αυτοαναφορά και το internal reference είναι διαφορετικά κανάλια, με διαφορετική αξιοπιστία. Όπως στην ανάκτηση μνήμης για AI agents, το ότι μια πληροφορία υπάρχει κάπου στο σύστημα δεν εγγυάται ότι θα φτάσει σωστά στο τελικό output.
Για να αποδείξει ότι το όργανο μπορεί να ανιχνεύσει reportability όταν υπάρχει, η μελέτη εκπαίδευσε steering-aware LoRA πάνω στο Qwen2.5-7B-Instruct. Το μοντέλο εκπαιδεύτηκε σε 400 directions και αξιολογήθηκε σε 100 disjoint held-out directions. Στην ίδια pipeline πέτυχε d′ = 5,15 και AUROC περίπου 1,0, αναγνωρίζοντας και τα 100 intervention και τα 100 sham trials.
Το known positive δεν αποκτά έτσι γενική ενδοσκόπηση. Δείχνει ότι η μέτρηση είναι ευαίσθητη όταν έχει εκπαιδευτεί συγκεκριμένη διαδρομή αναφοράς για αυτή την κατηγορία παρέμβασης. Χωρίς έναν τέτοιο θετικό έλεγχο, ένα null αποτέλεσμα θα μπορούσε να οφείλεται σε ακατάλληλο prompt, parser ή scoring.
Στο ίδιο Qwen2.5-7B-Instruct, η δυαδική απάντηση ήταν σταθερή και είχε AUROC ακριβώς 0,500. Η λεκτικά δηλωμένη βεβαιότητα, όμως, διέκρινε intervention από sham με AUROC 0,647: η μέση βεβαιότητα έπεσε από 0,858 στο sham σε 0,620 υπό παρέμβαση. Η μελέτη αντιμετωπίζει αυτό ως διάσταση μεταξύ δύο καναλιών, όχι ως γενική απόδειξη introspection.
Για την παραγωγή, το μάθημα είναι ότι binary report, confidence, token probabilities, tool traces και internal probes δεν πρέπει να συγχωνεύονται σε ένα score. Το Intent Horizon για AI guardrails αναδεικνύει την ίδια ανάγκη: διαφορετικά βάθη ελέγχου χρειάζονται χωριστά σήματα και calibrated escalation.
Η συμπεριφορά των μη αναγνώσιμων outputs μπορεί να αλλάξει δραστικά μια μικρή εκτίμηση. Η κύρια ανάλυση χρησιμοποιεί complete-pair coding, ώστε κάθε intervention να συγκρίνεται με το αντίστοιχο sham όταν και τα δύο είναι scorable. Όταν τα unparseable reports διατηρούνται ως μηδενικό evidence, το συνολικό detection contrast αλλάζει πρόσημο. Οι συγγραφείς κρατούν τη δεύτερη κωδικοποίηση ως robustness check, επειδή αλλιώς ένα metric μπορεί να μετρά parse rate και να το ονομάζει discrimination.
Επιπλέον, η reconstruction διάσταση δεν είχε ακόμη scored estimate, το spontaneous track δεν σχημάτισε τα paired records που απαιτούσε ο estimator και ο per-run causal-relevance έλεγχος υπήρχε χωρίς να έχει βαθμολογήσει τη dose battery. Αυτά δεν αναιρούν το κύριο detection result, αλλά περιορίζουν όσα μπορούμε να πούμε για reconstruction, leakage share και αυθόρμητη αυτοαναφορά.
Δεν αξιολογήθηκαν closed-weight frontier systems, όλα τα πιθανά intervention types ή όλες οι συνθήκες elicitation. Το σωστό συμπέρασμα είναι ότι τα συγκεκριμένα open-weight μοντέλα δεν παρείχαν αξιόπιστη λεκτική αναφορά για τις συγκεκριμένες παρεμβάσεις. Η βιβλιοθήκη OWMI δημοσιεύτηκε ώστε το ίδιο ερώτημα να επανεξετάζεται με νέα μοντέλα και καλύτερα harnesses.
Για marketing, e-commerce, customer support και εσωτερικά operations, το paper δεν λέει να καταργηθεί το self-critique. Λέει να μη συγχέεται με ανεξάρτητο causal trace. Ένας agent μπορεί να εντοπίζει πρακτικά λάθη ή να βελτιώνει την απάντησή του, χωρίς η εξήγησή του για την εσωτερική αιτία να είναι αξιόπιστη καταγραφή του υπολογισμού.
Σε ροές με ουσιαστικές συνέπειες, η αυτοαναφορά πρέπει να συγκρίνεται με tool-call logs, input/output checks, policy rules, retrieval evidence, deterministic validators και ανθρώπινη έγκριση. Το NIST AI RMF αντιμετωπίζει την παρακολούθηση, το testing, την τεκμηρίωση και τα go/no-go κριτήρια ως διαρκή στοιχεία διαχείρισης κινδύνου, όχι ως εφάπαξ έλεγχο πριν από το launch.
Το deployment decision
Μην κάνετε approve μια πράξη επειδή ο agent εξηγεί με βεβαιότητα γιατί είναι σωστή
Ορίστε sham cases, ανεξάρτητα policy checks, trace completeness, confidence calibration και escalation threshold. Σε ροές υψηλού ρίσκου, η λεκτική αυτοαναφορά του μοντέλου είναι ένα συμπληρωματικό σήμα — όχι ο μηχανισμός τελικής έγκρισης.
Η αρχή συνδέεται με τον σχεδιασμό προδιαγραφών και επαλήθευσης για AI ανάπτυξη: το σύστημα πρέπει να αποδεικνύει observable properties με tests, όχι να βεβαιώνει μόνο του ότι τις τήρησε. Και σε δυναμικά περιβάλλοντα, ο προγραμματισμός context για AI agents χρειάζεται καταγραφές που δείχνουν ποια δεδομένα και εργαλεία επηρέασαν κάθε απόφαση.
Η ώριμη εφαρμογή δεν ξεκινά με την ερώτηση «εμπιστευόμαστε το μοντέλο;». Ξεκινά με το ποια συγκεκριμένη απόφαση χρειάζεται έλεγχο, ποιο είναι το πραγματικό ground truth, ποια εναλλακτική εξήγηση πρέπει να αποκλειστεί και ποια αστοχία απαιτεί ανθρώπινη παρέμβαση.
Επτά βήματα για εποπτεία χωρίς τυφλή εμπιστοσύνη στην αυτοαναφορά
Ξεχωρίστε αν δηλώνει ότι βρήκε σωστό evidence, ακολούθησε policy, χρησιμοποίησε εργαλείο ή γνωρίζει την αιτία ενός failure.
Χρησιμοποιήστε source records, tool receipts, κανόνες, approved δεδομένα ή human labels που δεν παράγονται από το ίδιο λεκτικό κανάλι.
Ελέγξτε αν ο agent δίνει την ίδια εξήγηση όταν το γεγονός δεν συνέβη ή όταν μια άλλη διαταραχή προκαλεί παρόμοιο output.
Κρατήστε διακριτά binary report, confidence, output quality, trace completeness και policy compliance. Μην κρύβετε τις αποκλίσεις σε έναν μέσο όρο.
Μετρήστε timeouts, μη έγκυρα schemas και μη ολοκληρωμένα reasoning outputs ανά condition, ώστε το διαθέσιμο sample να μην παρουσιάζεται ως πλήρες.
Επιβεβαιώστε ότι το monitoring ανιχνεύει μια ελεγχόμενη παραβίαση και ορίστε thresholds για retry, human review, rollback ή απενεργοποίηση.
Νέο μοντέλο, prompt, tool, retrieval source ή policy μπορεί να αλλάξει reportability και parse rate. Κρατήστε versioned tests και συγκρίσιμα baselines.
Η σωστή πρακτική δεν είναι η τυφλή δυσπιστία. Είναι η επαλήθευση ανάλογα με το ρίσκο: μεγαλύτερη αυτονομία όταν το impact είναι χαμηλό και ισχυρότερη ανεξάρτητη επιβεβαίωση όταν ο agent επηρεάζει χρήματα, πρόσβαση, πελάτες ή δημοσιευμένο περιεχόμενο.
Το OWMI μεταφέρει τη συζήτηση από το «ακούγεται ειλικρινές» στο «ποιο σήμα μετρήθηκε απέναντι σε ποιον έλεγχο;». Αυτή είναι και η βάση για αξιόπιστους αυτοματισμούς επιχειρήσεων με AI: η εξήγηση του agent παραμένει χρήσιμη, αλλά η τελική εμπιστοσύνη χτίζεται με traces, validators, ελεγχόμενα baselines και σαφή δικαιώματα ανθρώπινης παρέμβασης.
Από το self-critique στην επαληθεύσιμη λειτουργία
Σχεδιάστε AI workflows με ανεξάρτητους ελέγχους και ασφαλή escalation
Η TWO DOTS συνδέει επιχειρησιακά δεδομένα, AI agents, tool traces, deterministic validation και ανθρώπινη έγκριση, ώστε μια πειστική αυτοαναφορά να μην υποκαθιστά το πραγματικό evidence.
Συχνές ερωτήσεις
Το Open-Weight Masked Introspection είναι framework που παρεμβαίνει σε γνωστά εσωτερικά σημεία ενός μοντέλου και μετρά αν η έξοδός του αναφέρει την αλλαγή καλύτερα από sham, matched random και text-only controls.
Όχι. Η μελέτη μετρά intervention reportability, μια στενή πληροφοριακή ικανότητα. Δεν αξιολογεί συνείδηση, συναίσθηση ή ανθρώπινη αυτογνωσία.
Στα 11.216 πλήρη ζεύγη της dose battery, η λεκτική διάκριση intervention από sham είχε pooled AUROC περίπου 0,5007, ουσιαστικά στο επίπεδο της τύχης.
Ναι. Linear probes ανέκτησαν την παρουσία της παρέμβασης με held-out accuracy 75,0% και 95,8%, και το σήμα παρέμενε διαθέσιμο μέχρι βαθύτερα layers.
Επειδή ένα steering-aware LoRA πέτυχε d′ 5,15 και AUROC περίπου 1,0 στην ίδια pipeline, δείχνοντας ότι το όργανο μπορούσε να μετρήσει reportability όταν υπήρχε εκπαιδευμένη διαδρομή αναφοράς.
Μπορούμε να το χρησιμοποιούμε ως συμπληρωματικό σήμα, όχι ως μοναδική απόδειξη της εσωτερικής αιτίας. Χρειάζεται σύγκριση με traces, rules, source evidence και ανεξάρτητους validators.
Όχι. Αφορά τα οκτώ open-weight μοντέλα, τα intervention types, τα layers, τα prompts και τα scoring paths που εξετάστηκαν. Closed-weight και μελλοντικά μοντέλα παραμένουν ανοιχτό ερώτημα.
Να μην εξισώνει μια πειστική AI εξήγηση με verified causal trace και να κλιμακώνει ανεξάρτητους ελέγχους, ανθρώπινη έγκριση και rollback ανάλογα με το ρίσκο.
Πηγές
