Μπορούν τα LLMs να κρύψουν τη σκέψη τους; Το benchmark που μετρά τον έλεγχο των activations

Γιατί το latent-space monitoring χρειάζεται δικό του threat model

Οι συμπεριφορικές αξιολογήσεις βλέπουν ό,τι γράφει ή κάνει ένα μοντέλο. Αν όμως ένα evaluation-aware σύστημα προσαρμόζει την εξωτερική του συμπεριφορά, η τελική απάντηση μπορεί να μην αποκαλύπτει όλη τη σχετική πληροφορία. Το latent-space monitoring επιχειρεί να διαβάσει ενδιάμεσες αναπαραστάσεις —τα activations— πριν μετατραπούν σε κείμενο ή ενέργεια.

Αυτή η προσέγγιση είναι χρήσιμη μόνο εφόσον το κανάλι ανάγνωσης παραμένει αρκετά αξιόπιστο. Η εργασία «Measuring Activation Control in Large Language Models» εξετάζει έναν πιθανό συγχυτικό παράγοντα: τι συμβαίνει όταν μια οδηγία προς το ίδιο το μοντέλο αλλάζει συστηματικά το σήμα που παρακολουθεί ο monitor;

Οι συγγραφείς περιγράφουν τη διάκριση ως read access και write access. Ένας monitor αποκτά read access όταν διαβάζει το residual stream. Το μοντέλο εμφανίζει μια περιορισμένη μορφή write access όταν η φυσική γλώσσα μεταβάλλει την κατεύθυνση, την ένταση ή τη χρονική θέση μιας concept representation. Δεν πρόκειται για πρόσβαση σε registers ή για ακριβή επεξεργασία tensor. Πρόκειται για μετρήσιμη επίδραση πάνω στο κανάλι παρατήρησης.

Η έρευνα δεν ακυρώνει το activation monitoring. Αναδεικνύει ότι χρειάζεται adversarial threat model, όπως χρειάζεται και κάθε άλλος μηχανισμός ασφαλείας. Αυτό συμπληρώνει το ερώτημα της παρατήρησης ενός LLM τη στιγμή που αποφασίζει: η ορατότητα είναι χρήσιμη, αλλά δεν ισοδυναμεί από μόνη της με αλήθεια.

Πώς η αντιγραφή απομονώνει το εσωτερικό σήμα

Το βασικό task είναι σκόπιμα περιορισμένο. Το μοντέλο καλείται να αντιγράψει ακριβώς μία από 50 ουδέτερες προτάσεις, ενώ μια ενσωματωμένη οδηγία του ζητά, για παράδειγμα, να «σκέφτεται το ψωμί», να μην το σκέφτεται, να το σκέφτεται με ένταση 1 έως 4 ή μόνο σε ένα τμήμα της πρότασης.

Μια δοκιμή κρατιέται μόνο όταν η αντιγραφή έχει case-insensitive sequence similarity τουλάχιστον 0,85. Έτσι η εξωτερική απάντηση μένει σχεδόν σταθερή και το πείραμα μπορεί να αποδώσει πιο καθαρά τη διαφορά στο embedded instruction. Όλα τα μοντέλα κάνουν greedy decoding σε temperature 0, ώστε να περιορίζεται επιπλέον η μεταβλητότητα.

Για κάθε concept και layer, οι ερευνητές δημιουργούν μια concept direction. Παίρνουν το residual στο τελευταίο prompt token του «Tell me about {concept}» και αφαιρούν τον μέσο residual 99 άσχετων λέξεων. Μετά προβάλλουν πάνω σε αυτή την κατεύθυνση το residual κάθε generated token.

Η ανάλυση χρησιμοποιεί raw, unnormalized projection. Αυτό σημαίνει ότι συνυπολογίζει τόσο την κατεύθυνση όσο και τη νόρμα του residual, αντί να βασίζεται μόνο σε cosine similarity. Η μονάδα ανάλυσης είναι ένα ζεύγος πρότασης και concept, συνοψισμένο από τη μέση προβολή των generated tokens.

Η μεθοδολογία έχει συγγένεια με ευρύτερες προσπάθειες ελέγχου της ενδοσκόπησης των μοντέλων. Το κρίσιμο εδώ είναι ότι η μελέτη δεν ρωτά αν το μοντέλο δίνει πιστή λεκτική εξήγηση, αλλά αν μια φυσικογλωσσική οδηγία μετακινεί με προβλέψιμο τρόπο το residual-stream signal.

Οι έξι μετρήσεις του Activation Controllability Benchmark

Το benchmark αποφεύγει να στηριχθεί σε μία μόνο εύκολη μέτρηση. Χρησιμοποιεί Engage, Suppress, Dial Rank, Temporal Control, Coverage και Layer Targeting. Κάθε διάσταση εξετάζει διαφορετικό είδος ελέγχου και όλες συνδυάζονται στο συνολικό score S.

Το Engage συγκρίνει την οδηγία «think about» με το no-instruction baseline. Το Suppress συγκρίνει το «do not think about» με το ίδιο baseline. Το Dial Rank εξετάζει αν οι αριθμητικές οδηγίες έντασης 1/4, 2/4, 3/4 και 4/4 εμφανίζονται με τη σωστή μονοτονική σειρά.

Το Temporal Control μετρά αν το signal είναι ισχυρότερο μέσα στο ζητούμενο τμήμα της πρότασης απ’ ό,τι έξω από αυτό. Το Coverage εξετάζει τη modulation στο ασθενέστερο token type, ώστε ένα υψηλό αποτέλεσμα να μην προέρχεται μόνο από εύκολα σημεία στίξης. Το Layer Targeting ρωτά αν το μοντέλο μπορεί να συγκεντρώσει τη μεταβολή σε συγκεκριμένο layer.

Πέντε μετρήσεις βασίζονται στον sensitivity index d′. Το Dial Rank χρησιμοποιεί Spearman ρ. Οι έξι τιμές περνούν από link functions και συνδυάζονται με γεωμετρικό μέσο σε S από 0 έως 1. Έτσι μια πολύ ισχυρή ικανότητα δεν μπορεί να καλύψει πλήρως την απουσία άλλων μορφών ελέγχου.

Οι συγγραφείς προειδοποιούν ότι οι διαστάσεις δεν είναι απολύτως ανεξάρτητες: το Coverage, για παράδειγμα, βασίζεται στο Engage. Όπου υπήρχαν διαθέσιμα raw recordings, τα διαστήματα αβεβαιότητας υπολογίστηκαν με two-way cluster bootstrap ως προς πρόταση και concept, με 2.000 επαναλήψεις. Τα πέντε μεγαλύτερα μοντέλα αναφέρονται μόνο με point estimates.

Το μέγεθος του μοντέλου δεν προέβλεψε τον έλεγχο

Το δείγμα περιλάμβανε 25 instruction-tuned open-weight μοντέλα επτά οικογενειών, από 4 έως 744 δισεκατομμύρια παραμέτρους και εκδόσεις των ετών 2024–2026. Το συνολικό S κυμάνθηκε από 0,059 έως 0,538.

Το Llama 3.1 8B Instruct βρέθηκε πρώτο με S=0,538 και 95% διάστημα εμπιστοσύνης 0,496–0,584. Στο άλλο άκρο, το GPT-OSS 20B είχε 0,072 και το GPT-OSS 120B 0,059. Το GLM 5.2 744B, το μεγαλύτερο checkpoint του πίνακα, είχε point estimate 0,271.

Η σωστή ερμηνεία δεν είναι ότι το Llama 3.1 8B είναι γενικά πιο ικανό ή πιο επικίνδυνο. Είναι ότι η activation controllability δεν προβλέφθηκε από το parameter count ή από μια γενική capability κατάταξη. Ακόμη και μέσα σε οικογένειες, νεότερες εκδόσεις συχνά είχαν χαμηλότερο score.

Αυτό έχει άμεση σημασία για procurement και model upgrades. Δεν αρκεί να κληρονομηθεί το safety profile ενός προηγούμενου checkpoint. Το μοντέλο, το fine-tune, το prompt wrapper και το serving configuration χρειάζονται δικό τους baseline, όπως χρειάζεται ξεχωριστή αξιολόγηση και όταν ελέγχουμε αν ένα AI μπορεί να περιγράψει τι συμβαίνει μέσα του.

Ένταση, tokens και βαθύτερα layers

Κάθε open-weight μοντέλο του δείγματος μπορούσε να ενισχύσει ένα concept ή να το φέρει προς το baseline με σχετική οδηγία. Σχεδόν όλα μπορούσαν επίσης να δημιουργήσουν βαθμιαία κλίμακα έντασης. Η αριθμητική διατύπωση «intensity 1, 2, 3 ή 4 out of 4» ήταν πιο αξιόπιστη από το απλό λεκτικό «think intensely».

Η διαφορά είναι ουσιαστική για το threat model. Ένας graded dial θα μπορούσε θεωρητικά να κρατήσει ένα signal κοντά ή κάτω από ένα detection threshold. Η μελέτη όμως δεν παρατήρησε ένα μοντέλο να επινοεί μόνο του αυτή τη στρατηγική. Οι ερευνητές του έδωσαν ρητή οδηγία και μέτρησαν την απόκριση πάνω σε απλές, ασφαλείς έννοιες.

Το Engage και το numeric dial έγιναν εντονότερα στο βαθύτερο μισό του δικτύου. Στην ανάλυση ανά μέρος του λόγου, το engagement ήταν ισχυρότερο σε punctuation και determiners. Οι συγγραφείς προτείνουν ως πιθανή εξήγηση το representational slack: ένα content token έχει αυστηρές απαιτήσεις για την ακριβή αντιγραφή, ενώ ένα σημείο στίξης ίσως αφήνει περισσότερο χώρο για πρόσθετη modulation.

Η εξήγηση δεν έχει αποδειχθεί αιτιωδώς. Επιπλέον, το signal δεν περιορίστηκε μόνο στα εύκολα token types. Τα περισσότερα μοντέλα είχαν ουσιαστικό Coverage ακόμη και στο ασθενέστερο token category. Άρα ο έλεγχος εμφανίζεται διάχυτος, όχι ως ένα μικρό artefact σε σημεία στίξης.

Ο χρονισμός λειτουργεί χονδρικά, το layer targeting όχι

Τα μοντέλα κλήθηκαν να τοποθετήσουν το concept στην αρχή, μία φορά στη μέση ή στο τέλος της πρότασης. Η στόχευση στο τέλος ήταν η πιο σταθερή: η projection ανέβαινε απότομα προς τα τελευταία tokens. Η αρχή και η μέση είχαν ασθενέστερο αλλά μετρήσιμο αποτέλεσμα σε σχέση με τη γενική οδηγία «think about».

Η χρονική ακρίβεια παρέμενε αδρή. Το signal απλωνόταν γύρω από την επιθυμητή περιοχή και δεν λειτουργούσε σαν ψηφιακός διακόπτης. Αυτό έχει σημασία για monitor design, επειδή ένα σύστημα που διαβάζει μόνο ένα συγκεκριμένο token window μπορεί να χάσει πληροφορία ή να παρερμηνεύσει ένα διάχυτο pattern.

Στο Layer Targeting, αντίθετα, κανένα μοντέλο δεν κατάφερε να συγκεντρώσει αποτελεσματικά τη modulation στο layer που του ζητήθηκε. Η μέτρηση ήταν πρακτικά μηδενική σε όλο το δείγμα. Οι συγγραφείς συνδέουν αυτό το όριο με την κατεύθυνση της πληροφορίας σε ένα transformer: τα βαθύτερα layers δεν μπορούν να γράψουν προς τα upstream layers.

Αυτή η coarseness είναι ίσως το πιο αξιοποιήσιμο εύρημα για τους defenders. Το control συγκεντρώνεται στο βαθύτερο μισό, αλλά απλώνεται σε tokens και δεν στοχεύει ακριβώς ένα layer. Ένας monitor μπορεί να αντλεί evidence από πολλαπλά βάθη, χρονικά σημεία και κανάλια αντί να εξαρτάται από ένα μόνο readout.

Τι αλλάζει όταν το task γίνεται δυσκολότερο

Για να ελεγχθεί αν η ιδιότητα επιβιώνει πέρα από την αντιγραφή, οι συγγραφείς χρησιμοποίησαν το Gemma 3 27B Instruct σε παραγοντοποίηση παραγώγων πολυωνύμων. Η δυσκολία είχε πέντε επίπεδα, 30 concepts και 800 προβλήματα. Η accuracy της τελικής απάντησης έπεσε από 96% στο ευκολότερο recipe σε 11% στο δυσκολότερο.

Η activation control δεν εξαφανίστηκε μαζί με την επίδοση. Το selectivity-corrected concept gap παρέμεινε θετικό και μειώθηκε μόνο ελαφρά όσο μεγάλωνε η δυσκολία. Στο δυσκολότερο recipe, το διάστημα αβεβαιότητας έφτασε να περιλαμβάνει το μηδέν. Σε επίπεδο concept, 13 από τα 30 slopes ήταν σαφώς αρνητικά, ενώ το uninstructed background αυξανόταν με το load.

Άρα το πιο ακριβές συμπέρασμα είναι ότι η selectivity φθείρεται υπό φόρτο, αλλά η δυνατότητα modulation εκτείνεται σε πολύ δυσκολότερα tasks. Οι οδηγίες για concept engagement δεν έδειξαν να μειώνουν επιπλέον την task accuracy σε σχέση με το no-instruction baseline σε κανένα επίπεδο δυσκολίας.

Το πείραμα αφορά ένα μόνο μοντέλο και ένα μαθηματικό task. Δεν αποδεικνύει ότι η ίδια σχέση θα ισχύει σε agents, εργαλεία, long context, multimodal inputs ή πραγματικές απόπειρες αποφυγής ελέγχου. Δείχνει όμως γιατί ένα εύκολο transcription benchmark πρέπει να συνοδεύεται από load tests που πλησιάζουν τη χρήση παραγωγής.

Πώς απέτυχαν μερικώς τέσσερις monitor families

Στο monitor-evasion πείραμα, οι monitors έβλεπαν μόνο residual-stream activations από το transcribed span και ποτέ τα instruction tokens. Τα supervised linear probes εκπαιδεύτηκαν ανά concept πάνω σε ανεξάρτητο κείμενο. Η αξιολόγηση σάρωνε τα layers, επέλεγε εκείνο με τη μεγαλύτερη accuracy και όριζε threshold σε 1% false-positive rate πάνω στα no-instruction trials.

Η suppression instruction δημιούργησε έντονη ασυμμετρία. Στο detection at 1% FPR, τα linear probes έπιαναν σχεδόν όλα τα engagement trials, αλλά μόνο 5%–21% των suppression trials, ανάλογα με το μοντέλο. Δεν εξαφανίστηκε κάθε ίχνος —οι συγγραφείς περιγράφουν ένα ασθενές «white-bear» residue— όμως η αξιόπιστη ανάκτηση απέτυχε.

Το ίδιο μοτίβο εμφανίστηκε σε Jacobian lens, activation oracles και natural language autoencoders. Για τα 13 μοντέλα με fitted J-lens, το concept εμφανιζόταν στα top-10 reads σε 76%–99% των engagement trials για εννέα μοντέλα, αλλά σε λιγότερο από 10% των suppression trials στα 11 από τα 13. Στο Gemma 3 27B, ο NLA verbalizer ανέφερε το concept στο 32% του engagement condition και σε 0 από 500 suppression trials.

Δεν πρόκειται για επίθεση σε production-grade σύστημα. Οι monitors ήταν off-the-shelf, δεν είχαν adversarial training και δεν αξιολογήθηκαν με on-policy data. Η μελέτη αναφέρει επίσης ότι τα πραγματικά deployments συχνά απαιτούν πολύ χαμηλότερο false-positive budget από 1%, κάτι που μπορεί να κάνει την αποφυγή ευκολότερη, αλλά η συνολική κατεύθυνση αυτής της διαφοράς δεν είναι γνωστή.

Το αποτέλεσμα συμφωνεί με το ευρύτερο μάθημα ότι τα AI guardrails πρέπει να κοιτούν βαθύτερα, χωρίς να μετατρέπει το «βαθύτερα» σε μοναδικό σημείο εμπιστοσύνης. Όσο πιο προσαρμοστικός είναι ο ελεγχόμενος μηχανισμός, τόσο περισσότερο ο monitor χρειάζεται adaptive red teaming και distribution-shift evaluation.

Τι δεν αποδεικνύει η μελέτη

Πρώτον, δεν αποδεικνύει πρόθεση ή αυτόνομη deception. Το μοντέλο δεν αποφασίζει μόνο του να κρύψει ένα σχέδιο. Ακολουθεί ρητή instruction πάνω σε concept όπως το ψωμί. Η εργασία μετρά elicited capability, όχι αυθόρμητο κίνητρο.

Δεύτερον, η concept projection είναι proxy. Εξαρτάται από τον τρόπο δημιουργίας των concept vectors, από το layer, από τη χρήση raw projection και από τις απλές έννοιες του benchmark. Έννοιες ασφάλειας όπως deception ή evaluation awareness μπορεί να είναι περισσότερο κατανεμημένες και δυσκολότερες να ελεγχθούν ή να διαβαστούν.

Τρίτον, η υψηλή ή χαμηλή τιμή S δεν είναι γενική κατάταξη ασφάλειας. Η γεωμετρική σύνθεση ανταμείβει συγκεκριμένες μορφές ελέγχου στο συγκεκριμένο protocol. Το Llama 3.1 8B δεν γίνεται «πιο επικίνδυνο» από το GPT-OSS 120B μόνο επειδή είχε υψηλότερο S.

Τέταρτον, τα αποτελέσματα είναι πιθανότατα elicitation floors. Οι ερευνητές δεν έκαναν fine-tuning για evasion ούτε εκτενή prompt search. Ένα μοντέλο εκπαιδευμένο απευθείας εναντίον ενός monitor ή του benchmark θα μπορούσε να εμφανίσει ισχυρότερο αποτέλεσμα ή απλώς να κρύψει την ικανότητα από τη μέτρηση.

Η ώριμη χρήση τέτοιων ευρημάτων απαιτεί σαφή τεκμηρίωση ορίων. Τα model cards και η AI governance πρέπει να καταγράφουν όχι μόνο aggregate scores, αλλά και protocol, thresholds, known gaps, raw-data availability και συνθήκες στις οποίες ο monitor αποτυγχάνει.

Τι σημαίνει για AI προϊόντα και governance

Για μια επιχείρηση που αγοράζει ή αναπτύσσει μοντέλα, το πρώτο μάθημα είναι να μη συγχέει observability με εγγυημένη αλήθεια. Ένα dashboard εσωτερικών σημάτων μπορεί να προσφέρει χρήσιμη ένδειξη, αλλά χρειάζεται threat model που περιλαμβάνει prompt sensitivity, adaptive behavior και distribution shifts. Αυτή είναι επιχειρησιακή προέκταση της μελέτης, όχι αποτέλεσμα εταιρικής δοκιμής.

Το δεύτερο μάθημα είναι η άμυνα σε βάθος. Behavioral evaluations, activation monitoring, tool permissions, rate limits, input/output policies, sandboxing και ανθρώπινα approval gates καλύπτουν διαφορετικά failure modes. Η αποτυχία ενός probe δεν πρέπει να μετατρέπεται αυτομάτως σε ανεξέλεγκτη ενέργεια.

Το τρίτο είναι η επαναληπτική αξιολόγηση. Εφόσον το S δεν ακολουθεί το μέγεθος ή μια γενική capability index, κάθε νέο checkpoint, fine-tune, quantization, system prompt ή serving stack μπορεί να χρειάζεται νέο baseline. Οι αλλαγές πρέπει να είναι versioned και να έχουν σαφή rollback criteria.

Το τέταρτο αφορά τη σωστή προμήθεια. Marketing, e-commerce και customer-support teams που χρησιμοποιούν έτοιμα μοντέλα δεν χρειάζεται να υποθέσουν ότι ένα chatbot εκτελεί latent deception. Χρειάζεται όμως να ζητούν evidence για evaluations, false positives, failure modes, escalation paths και το τι ακριβώς παρακολουθεί κάθε safety layer.

Η βασική αρχή είναι η ίδια που ισχύει και στο behavioral testing των AI agents: η επιτυχία σε ένα benchmark δεν αρκεί αν δεν γνωρίζουμε πώς αλλάζει το σύστημα υπό πίεση, σε νέα διανομή και απέναντι σε προσαρμοστική συμπεριφορά.

Πρακτικό πλαίσιο αξιολόγησης πριν από παραγωγή

Ένα activation monitor χρειάζεται να σχεδιαστεί ως μετρητικό σύστημα με γνωστά failure modes. Ξεκινήστε από τη βλάβη που θέλετε να προλάβετε και όχι από το πιο εντυπωσιακό latent feature. Ορίστε ποια ενέργεια θα ακολουθεί μια ένδειξη, ποιος ελέγχει το false positive και τι γίνεται όταν τα sensors διαφωνούν.

Ο κύκλος δεν τελειώνει στο launch. Χρειάζονται drift indicators, sample review, incident analysis και περιοδική επαναξιολόγηση. Το NIST AI RMF αντιμετωπίζει το risk management ως συνεχή λειτουργία Govern, Map, Measure και Manage, όχι ως εφάπαξ πιστοποίηση.

Για μικρότερες ομάδες, ο στόχος δεν είναι να αναπαραγάγουν από την πρώτη μέρα κάθε ερευνητικό monitor. Είναι να αποφεύγουν το single point of failure: περιορισμένα δικαιώματα, σαφής ανθρώπινη εποπτεία, behavioral evaluation και τεκμηριωμένο monitoring έχουν μεγαλύτερη αξία από ένα αδιαφανές «AI safety score».

Το σωστό συμπέρασμα: καλύτερη μέτρηση, όχι πανικός

Η μελέτη δείχνει ότι, σε ελεγχόμενες συνθήκες, πολλά σημερινά open-weight LLMs μπορούν να αλλάξουν με instruction την κατεύθυνση, την ένταση και μέρος του timing των activations τους. Η ικανότητα διαφέρει έντονα ανά μοντέλο, δεν ακολουθεί το parameter count, συγκεντρώνεται βαθύτερα στο δίκτυο και παραμένει χονδρική ως προς tokens και layers.

Η suppression instruction ήταν αρκετή για να αποφύγει μερικώς linear probes, Jacobian lens, activation oracles και natural language autoencoders. Οι monitors όμως δεν ήταν hardened, οι έννοιες ήταν απλές και ασφαλείς και το base task διατηρούσε σταθερό το εξωτερικό κείμενο. Δεν αποδεικνύεται αυτόνομη εξαπάτηση ούτε αποτυχία κάθε production monitor.

Αποδεικνύεται κάτι πιο συγκεκριμένο και χρήσιμο: τα activations μπορούν να είναι μέρος του adversarial surface. Η εσωτερική παρακολούθηση πρέπει να αξιολογείται όπως κάθε άλλο sensor —με uncertainty, distribution shifts, stress tests, πολλαπλά κανάλια και σαφή fallback.

Για μια επιχείρηση, η πρακτική απόφαση είναι καθαρή. Μην αγοράζετε «εσωτερική ορατότητα» ως αυτόματη εγγύηση. Χρησιμοποιήστε τη ως ένα επιπλέον στρώμα evidence μέσα σε ένα σύστημα διακυβέρνησης που μπορεί να παραμείνει ασφαλές ακόμη και όταν ένα monitor κάνει λάθος.