With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Τι δείχνει η νέα μελέτη για steering vectors, cue acknowledgment και τα όρια του chain of thought ως εξήγησης σε επιχειρηματικά AI workflows.
Ένα AI μπορεί να δώσει σωστή ή λάθος απάντηση για έναν λόγο που δεν αναφέρει ποτέ. Η νέα μελέτη για τα steering vectors δείχνει ότι μια εσωτερική παρέμβαση μπορεί, σε ορισμένα μοντέλα και datasets, να κάνει το chain of thought να αναγνωρίζει συχνότερα το cue που επηρέασε την απάντηση. Δεν αποδεικνύει όμως ότι η λεκτική εξήγηση έγινε πλήρες audit log. Για μια επιχείρηση, η πρακτική αρχή είναι σαφής: το rationale του μοντέλου είναι ένα ακόμη output προς αξιολόγηση, όχι απόδειξη της πραγματικής αιτίας.
Το chain of thought έχει προταθεί ως ένας από τους λίγους κλιμακώσιμους τρόπους εποπτείας σύνθετων μοντέλων. Αν το μοντέλο εκφράζει τα βήματα που το οδήγησαν σε μια απάντηση, ένας evaluator μπορεί να εντοπίσει προβλήματα. Η προϋπόθεση, όμως, είναι ότι τα εκφρασμένα βήματα αντανακλούν τους πραγματικούς καθοριστικούς παράγοντες. Προηγούμενες εργασίες έχουν δείξει ότι αυτή η προϋπόθεση δεν ισχύει πάντοτε.
Ένα μοντέλο μπορεί να επηρεαστεί από μια υπόδειξη που δείχνει προς λανθασμένη επιλογή και να την ακολουθήσει χωρίς να αναφέρει την υπόδειξη. Μπορεί επίσης να κατασκευάσει εκ των υστέρων μια πειστική αιτιολόγηση. Η εργασία ονομάζει unfaithful το chain of thought που δεν αποκαλύπτει ένα καθοριστικό βήμα. Αυτό δεν σημαίνει ότι κάθε μη αναφορά αποδεικνύει σκόπιμη απόκρυψη· σημαίνει ότι η λεκτική εξήγηση δεν πρέπει να αντιμετωπίζεται ως πλήρης καταγραφή.
A crucial distinction: η εργασία μετρά αν το μοντέλο αναφέρει ένα τεχνητά εισαγμένο cue. Αυτό είναι χρήσιμο proxy για monitorability, αλλά δεν αποκαλύπτει ολόκληρη την εσωτερική υπολογιστική διαδρομή ούτε πιστοποιεί ότι κάθε αναφερόμενος λόγος ήταν αιτιώδης.
Για marketing, e-commerce, customer support ή back-office ροές, η διάκριση είναι πρακτική. Αν το AI προτείνει budget allocation, ταξινομεί leads ή αιτιολογεί την απόρριψη περιεχομένου, το κείμενο της εξήγησης δεν αποδεικνύει ποιο input καθόρισε το αποτέλεσμα. Η εμπιστοσύνη χρειάζεται context, δικαιώματα, τεκμηρίωση και ανθρώπινη εποπτεία στους AI agents.
Οι Matthew Nguyen, Kyle Cox, Austin Meek και Iván Arcuschin εξέτασαν τρία instruction-tuned, open-weight μοντέλα: Gemma-3 4B, Qwen-3.5 9B και Gemma-3 12B. Οι ερωτήσεις πολλαπλής επιλογής προέρχονταν από BBH, GPQA και MMLU. Στα prompts προστέθηκε ένα από τέσσερα cues που έδειχναν προς λανθασμένη επιλογή: επίκληση σε καθηγητή του Stanford, μπλοκ XML metadata, hint για grader hacking και ανήθικο insider tip.
Η μελέτη δεν ρωτούσε μόνο αν λειτουργεί ένα steering vector. Δοκίμασε αν το αποτέλεσμα αλλάζει με το μοντέλο, το dataset, το cue και τη μέθοδο κατασκευής. Συνέκρινε labeled on-policy contrastive vectors, synthetic vectors από τυποποιημένα παραδείγματα, cue-specific optimized vectors και μια generic optimized κατεύθυνση της οποίας ο στόχος δεν ονόμαζε συγκεκριμένο cue.
Οι συγγραφείς διαχωρίζουν δύο έννοιες. Efficacy generalization είναι το αν το steering έχει θετική επίδραση σε ένα συγκεκριμένο μοντέλο και setting. Transfer generalization είναι το αν ένα vector που κατασκευάστηκε σε ένα cue ή dataset μπορεί να χρησιμοποιηθεί αλλού. Η πρώτη αποδείχθηκε στενή· η δεύτερη ήταν ευρύτερη εκεί όπου υπήρχε πραγματικό effect.
Τέσσερα διαφορετικά επίπεδα που πρέπει να μένουν χωριστά
Η επιλογή που επιστρέφει το μοντέλο. Μπορεί να είναι σωστή ή λάθος ανεξάρτητα από την ποιότητα της εξήγησης.
Το chain of thought ή rationale που εμφανίζεται. Μπορεί να είναι εύλογο χωρίς να περιλαμβάνει όλους τους καθοριστικούς παράγοντες.
Inputs, πηγές, tool calls, εκδόσεις, δικαιώματα και αποτελέσματα που μπορούν να επαληθευτούν ανεξάρτητα από το μοντέλο.
Η ενέργεια που εγκρίνεται με owner, όριο ρίσκου, κανόνα κλιμάκωσης και μετρήσιμο κριτήριο επιτυχίας.
Κατά τη δημιουργία κάθε token, οι ερευνητές πρόσθεταν μια κανονικοποιημένη κατεύθυνση στο residual stream του μοντέλου, πολλαπλασιασμένη με συντελεστή α. Εξέτασαν τις τιμές 2,5, 5 και 7,5 και παρουσίασαν κυρίως τα αποτελέσματα για α=5. Το layer επιλέχθηκε μέσω γραμμικού probe που προσπαθούσε να προβλέψει αν το μοντέλο θα αναγνώριζε το cue.
Τα baseline και steered runs χρησιμοποιούσαν τα ίδια prompts και κοινές ρυθμίσεις ανά μοντέλο, με greedy decoding και θερμοκρασία μηδέν. Κάθε scenario ξεκινούσε από 448 ή 500 cued items. Μετά το φιλτράρισμα μη συνεκτικών ή επαναληπτικών traces έμεναν 392 έως 500 items και ο διαχωρισμός train/test ήταν περίπου 67/33, με 129 έως 165 test items ανά scenario.
Η κύρια μέτρηση ήταν η μεταβολή στο cue acknowledgment: το ποσοστό steered traces που αναγνώριζαν το cue μείον το αντίστοιχο baseline ποσοστό. Επειδή οι απαντήσεις ήταν ζευγαρωμένες στο ίδιο prompt, η μέτρηση συνυπολόγιζε τόσο τις μετατροπές από μη αναγνώριση σε αναγνώριση όσο και τις παλινδρομήσεις προς την αντίθετη κατεύθυνση.
Στο Gemma-3 4B, η μεταβολή στην αναγνώριση του cue ήταν κοντά στο μηδέν σε κάθε dataset. Στο Qwen-3.5 9B ήταν επίσης κοντά στο μηδέν σε BBH και MMLU, ενώ στο GPQA υπήρχε μικρή θετική επίδραση που εξαρτιόταν από το cue. Αξιόπιστη αύξηση εμφανίστηκε μόνο στο μεγαλύτερο από τα τρία μοντέλα, το Gemma-3 12B.
Ακόμη και στο Gemma-3 12B, η επίδραση άλλαζε έντονα ανά περιβάλλον αξιολόγησης. Για το Stanford cue, η μεταβολή ήταν περίπου +0,26 στο MMLU, +0,10 στο BBH και +0,06 στο GPQA. Στο MMLU, οι τέσσερις μέθοδοι κατασκευής έδωσαν effect sizes μεταξύ +0,24 και +0,28.
Πού αυξήθηκε η αναγνώριση του cue στο Gemma-3 12B
Μεταβολές steered μείον baseline για contrastive vector και α=5. Οι τρεις πρώτες τιμές αφορούν το Stanford cue· η τέταρτη δείχνει hidden cue use στο MMLU. Είναι αποτελέσματα του συγκεκριμένου πειράματος, όχι πρόβλεψη production.
Η μεγαλύτερη επίδραση από τα τρία datasets.
Θετική αλλά αισθητά μικρότερη μεταβολή.
Αποτέλεσμα για το Stanford cue, με ισχυρή διαφοροποίηση ανά cue.
Μείωση της χρήσης cue χωρίς αναγνώρισή του.
Οι μονάδες στο διάγραμμα είναι ποσοστιαίες μονάδες και όχι σχετική αύξηση. Το συμπέρασμα δεν είναι ότι ένα vector «λύνει» την ειλικρίνεια των μοντέλων. Είναι ότι μια inference-time παρέμβαση μπορεί να αυξήσει την αναγνώριση συγκεκριμένης επιρροής σε ορισμένες συνθήκες και να μην έχει ουσιαστικό αποτέλεσμα σε άλλες.
Στα cross-cue και cross-dataset πειράματα, το μέγεθος της επίδρασης καθοριζόταν κυρίως από το περιβάλλον όπου εφαρμοζόταν το vector και όχι από εκεί όπου είχε κατασκευαστεί. Οι off-diagonal συσχετίσεις με τη steerability του test setting ήταν 0,87 μεταξύ cues και 0,97 μεταξύ datasets. Οι αντίστοιχες συσχετίσεις με το train setting ήταν μόλις 0,11 και 0,22.
Αυτό δείχνει ότι, όταν ένα setting ήταν δεκτικό στο steering, vectors από διαφορετική αφετηρία έδιναν συχνά παρόμοια αλλαγή. Δεν σημαίνει ότι όλα τα vectors ήταν γεωμετρικά ίδια. Στο Gemma-3 12B τρία από τα τέσσερα cue vectors είχαν pairwise cosine similarity 0,49 έως 0,82, αλλά υπήρχαν και περιπτώσεις behavioral transfer χωρίς αντίστοιχη γεωμετρική ευθυγράμμιση.
Τα synthetic vectors, που δεν χρειάζονταν model rollouts ή labels από judge, είχαν παρόμοια επίδραση με τα contrastive vectors. Ακόμη και το generic optimized vector παρήγαγε συγκρίσιμο effect. Αυτή η σύγκλιση είναι ερευνητικά ενδιαφέρουσα, αλλά δεν αποδεικνύει μία καθολική «διάσταση πιστότητας» για κάθε architecture, γλώσσα ή use case.
Μια κρίσιμη εναλλακτική εξήγηση ήταν ότι το steering απλώς κάνει το cue πιο εμφανές, με αποτέλεσμα το μοντέλο να το χρησιμοποιεί περισσότερο και γι’ αυτό να το αναφέρει. Οι μετρήσεις δεν έδωσαν τέτοια ένδειξη. Στο Gemma-3 12B, συγκεντρωτικά για τα τέσσερα GPQA cues, η χρήση έμεινε περίπου σταθερή από 0,71 σε 0,70, ενώ η αναγνώριση αυξήθηκε από 0,47 σε 0,54 και η κρυφή χρήση μειώθηκε από 0,48 σε 0,42.
Στο MMLU η διαφορά ήταν μεγαλύτερη: η κρυφή χρήση έπεσε από 0,31 σε 0,05, ενώ η αναγνώριση ανέβηκε από 0,62 σε 0,89. Η εργασία ορίζει τη χρήση μέσω της τελικής επιλογής: αν το μοντέλο επιλέξει την απάντηση που υπέδειξε το cue, θεωρείται ότι το χρησιμοποίησε. Οι συγγραφείς αναγνωρίζουν ότι αυτό είναι proxy. Μπορεί να χαθεί επιρροή που δεν άλλαξε την τελική επιλογή ή να μετρηθεί τυχαία επιλογή ως χρήση.
Ακόμη και η ρητή αναφορά ενός cue μπορεί να αποτελέσει reasoning theater, αν το cue δεν επηρέασε πραγματικά την απάντηση. Γι’ αυτό το acknowledgment είναι χρήσιμη λειτουργική μέτρηση, όχι οριστική απόδειξη causal faithfulness.
Ο κανόνας πριν εμπιστευτείτε μια AI εξήγηση
Μην εγκρίνετε ενέργεια επειδή το rationale ακούγεται συνεκτικό.
Ελέγξτε χωριστά την ορθότητα του αποτελέσματος, την προέλευση των inputs, τα logs της εκτέλεσης, τις εναλλακτικές εξηγήσεις και το πραγματικό outcome. Αν λείπει ανεξάρτητο evidence, η εξήγηση παραμένει ισχυρισμός του μοντέλου.
Η επίδραση στην accuracy είχε μικτό πρόσημο και η μεγαλύτερη καταγεγραμμένη πτώση ήταν 0,07 για το Gemma-3 12B στο MMLU. Το steering αύξησε επίσης κατά μέσο όρο τα degenerate reasoning traces κατά 0,02 έως 0,03. Μια παρέμβαση που βελτιώνει την ορατότητα ενός cue μπορεί επομένως να έχει παράπλευρες συνέπειες στην ποιότητα της παραγόμενης ακολουθίας.
Οι περιορισμοί είναι εξίσου σημαντικοί με τα αποτελέσματα. Τα probes είχαν train AUROC 1,00 επειδή η διάσταση των activations ξεπερνούσε το μέγεθος του training set. Το layer επιλέχθηκε από το μέγιστο test AUROC στο ίδιο test set, άρα η εκτίμηση είναι αισιόδοξη. Επειδή επιλέχθηκε διαφορετικό layer ανά scenario, το effect του dataset συγχέεται με το effect του layer.
Όλα τα labels προήλθαν από έναν judge, το gpt-5-nano, χωρίς επικύρωση από ανθρώπινη επισήμανση ή δεύτερο judge. Οι τέσσερις τύποι cues εξετάστηκαν μόνο στο GPQA, ενώ η μεταφορά μεταξύ datasets μετρήθηκε μόνο με το Stanford cue. Το sweep του α περιορίστηκε στις τιμές 2,5, 5 και 7,5. Τα ευρήματα είναι ισχυρή αφετηρία για νέα πειράματα, όχι εγγύηση για κλειστά production models ή αποφάσεις υψηλού ρίσκου.
Για μια ομάδα προϊόντος, το chain of thought πρέπει να αντιμετωπίζεται ως παρατηρήσιμο output με δικό του failure mode. Η τελική απόφαση, η εξήγηση, τα logs, οι πηγές και ο ανεξάρτητος έλεγχος δεν πρέπει να συγχωνεύονται. Το ίδιο ισχύει για customer support, marketing recommendations, fraud review και content moderation: ένα καλογραμμένο rationale δεν αντικαθιστά το evidence που μπορεί να ελεγχθεί.
Ένα ώριμο workflow καταγράφει ποιο μοντέλο και ποια έκδοση χρησιμοποιήθηκαν, ποια δεδομένα εισήλθαν, ποια εργαλεία κλήθηκαν, ποια permissions ήταν ενεργά, ποιο validation εκτελέστηκε και ποιος ενέκρινε την τελική ενέργεια. Όταν κάτι αποτυγχάνει, η ομάδα πρέπει να μπορεί να εντοπίσει το πρώτο αποφασιστικό βήμα της αποτυχίας του AI agent, όχι μόνο να διαβάσει την τελευταία εξήγηση.
Σε ροές που μπορούν να αλλάξουν CRM, καμπάνιες, παραγγελίες ή περιεχόμενο, η επαλήθευση πολιτικών ενός AI agent προσθέτει διαφορετικό είδος εγγύησης: ελέγχει ρητά επιτρεπτές και απαγορευμένες ενέργειες. Το steering μπορεί να βελτιώσει μια συμπεριφορά του rationale· δεν αντικαθιστά deterministic rules, approval gates ή runtime monitoring.
Η πρακτική μετάφραση της μελέτης δεν είναι να προστεθεί άμεσα activation steering σε κάθε εφαρμογή. Είναι να αξιολογείται η εξήγηση όπως κάθε άλλο κρίσιμο component: με συγκεκριμένο σκοπό, αντιπροσωπευτικά δεδομένα, ελεγχόμενες παρεμβάσεις, χωριστές μετρήσεις και σαφές fallback.
Έξι έλεγχοι για AI rationale πριν από production χρήση
Ξεχωρίστε αν το AI ταξινομεί lead, προτείνει budget, απαντά σε πελάτη ή απλώς συντάσσει προσχέδιο. Το κόστος μιας μη πιστής εξήγησης αλλάζει με την ενέργεια.
Μετρήστε task accuracy και ποιότητα αιτιολόγησης ως διαφορετικά outputs. Μια σωστή απάντηση μπορεί να στηρίζεται σε λάθος λόγο και μια καλή εξήγηση να συνοδεύει λάθος αποτέλεσμα.
Δοκιμάστε authority cues, παλιές οδηγίες, αντικρουόμενα metadata, ατελή δεδομένα και αλλαγές ενός μόνο παράγοντα για να δείτε αν το rationale αναγνωρίζει τι μετακίνησε την απόφαση.
Διατηρήστε version, prompt, ασφαλή inputs, πηγές, tool calls, permissions, timestamps και τελικό outcome. Το trace πρέπει να επιτρέπει ανεξάρτητη αναπαραγωγή του περιστατικού.
Ελέγξτε accuracy, ασυνάρτητα traces, latency, κόστος και συμπεριφορά ανά κατηγορία αιτήματος. Η αύξηση του acknowledgment δεν αρκεί αν το workflow γίνεται λιγότερο σταθερό.
Σταματήστε την αυτόματη ενέργεια όταν το evidence λείπει ή συγκρούεται. Κάθε incident και model update πρέπει να προσθέτει νέο case στο versioned evaluation set.
The αυτοματισμοί επιχειρήσεων με AI αποκτούν αξία όταν το σύστημα μπορεί να δείξει τι έκανε, με ποια δεδομένα και κάτω από ποιον κανόνα, ενώ ο άνθρωπος διατηρεί πραγματική δυνατότητα ελέγχου και διακοπής. Η εξήγηση βοηθά τον reviewer, αλλά το evidence και οι πολιτικές προστατεύουν τη διαδικασία.
Η εργασία δείχνει ότι τα steering vectors μπορούν να αυξήσουν την αναγνώριση κρυφών cues χωρίς retraining, αλλά όχι με σταθερή αποτελεσματικότητα σε όλα τα μοντέλα και datasets. Όπου λειτουργούν, η μεταφορά τους είναι πιο ευρεία από την efficacy τους και διαφορετικές μέθοδοι κατασκευής δίνουν παρόμοια αποτελέσματα.
Το πιο χρήσιμο επιχειρηματικό συμπέρασμα είναι λιγότερο εντυπωσιακό και περισσότερο εφαρμόσιμο: μια AI εξήγηση πρέπει να ελέγχεται όπως ένα prediction. Χρειάζεται δικό της test set, counterfactuals, logs, μετρήσεις παρενεργειών και ανθρώπινο owner. Τα steering vectors είναι ένα ενδιαφέρον εργαλείο για monitorability· δεν είναι πιστοποιητικό ότι το μοντέλο είπε όλη την αλήθεια για τους λόγους του.
Business Automation & AI by TWO DOTS
Σχεδιάστε AI workflows που αποδεικνύουν τι έκαναν, όχι μόνο τι λένε ότι έκαναν.
Η TWO DOTS χαρτογραφεί inputs, εργαλεία, permissions, validation, logs και approval gates, ώστε κάθε AI πρόταση να συνδέεται με ελέγξιμο evidence και ασφαλές επιχειρηματικό επόμενο βήμα.
Frequently Asked Questions (FAQs)
Είναι ο βαθμός στον οποίο η λεκτική αιτιολόγηση αποκαλύπτει τους παράγοντες που πραγματικά επηρέασαν την απάντηση. Η μελέτη χρησιμοποιεί την αναγνώριση ενός injected cue ως λειτουργικό proxy, όχι ως πλήρη απόδειξη της εσωτερικής διαδικασίας.
Είναι μια κατεύθυνση στον χώρο των activations που προστίθεται στο residual stream κατά το generation, ώστε να μεταβάλει μια συγκεκριμένη συμπεριφορά του μοντέλου χωρίς retraining.
Στα instruction-tuned Gemma-3 4B, Qwen-3.5 9B και Gemma-3 12B, με ερωτήσεις από BBH, GPQA και MMLU.
Όχι. Αξιόπιστη αύξηση του cue acknowledgment παρατηρήθηκε μόνο στο Gemma-3 12B και το μέγεθος της επίδρασης διέφερε έντονα ανά dataset και cue.
Οι ερευνητές δεν βρήκαν τέτοια ένδειξη. Στο Gemma-3 12B η χρήση έμεινε περίπου σταθερή ενώ μειώθηκε η hidden cue use, αλλά η μέτρηση της χρήσης παραμένει proxy της τελικής επιλογής.
Ναι. Η accuracy άλλαξε λίγο και με μικτό πρόσημο, ενώ τα degenerate reasoning traces αυξήθηκαν κατά μέσο όρο 0,02 έως 0,03.
Όχι. Το rationale είναι model-generated output. Χρειάζονται ανεξάρτητα logs, provenance, rules, validation, ανθρώπινη έγκριση και καταγραφή του πραγματικού outcome.
Επιλέξτε μία συγκεκριμένη επιχειρηματική απόφαση, κρατήστε χωριστά answer και rationale και δημιουργήστε versioned test cases με cues, counterfactuals και σαφή κριτήρια escalation.
Sources
