Why2Speak: γιατί η εξήγηση ενός AI agent μπορεί να αλλάζει την απόφασή του

Οι Shreya Mendi και Brinnae Bent, από το Pratt School of Engineering του Duke University, μελετούν την πιστότητα της συλλογιστικής σε ένα ελεγχόμενο αλλά ιδιαίτερα αντιπροσωπευτικό περιβάλλον: έναν βοηθό που παρακολουθεί μια πολυμερή συζήτηση και επιλέγει ανάμεσα σε δύο ενέργειες, να παρέμβει τώρα ή να παραμείνει σιωπηλός. Η περίπτωση αυτή φωτίζει προβλήματα που θα συναντήσουν επιχειρήσεις όταν αναθέτουν σε agents που χρειάζονται behavioral testing την παρακολούθηση συνομιλιών, διαδικασιών, εξυπηρέτησης ή άλλων ροών όπου η αδράνεια είναι επίσης ουσιαστική επιλογή.

Η σιωπή είναι απόφαση, όχι απουσία απάντησης

Στα περισσότερα benchmarks ερωτήσεων και απαντήσεων, το μοντέλο καλείται οπωσδήποτε να δώσει μια απάντηση. Στην πραγματική λειτουργία ενός agent, όμως, υπάρχουν στιγμές όπου η σωστή ενέργεια είναι να μην κάνει τίποτα. Ένας κλινικός βοηθός μπορεί να σημάνει έναν κίνδυνο ή να μη διακόψει τον επαγγελματία. Ένα σύστημα διδασκαλίας μπορεί να βοηθήσει ή να αφήσει τον μαθητή να συνεχίσει την προσπάθεια. Ένας βοηθός meeting μπορεί να διορθώσει ένα λάθος ή να μην επιβαρύνει τη συζήτηση με περιττή παρέμβαση.

Αυτό δημιουργεί ασύμμετρο κόστος. Μια άσκοπη παρέμβαση μπορεί να διακόψει μια εργασία και να διαβρώσει την εμπιστοσύνη. Μια λανθασμένη αποχή μπορεί να αφήσει ένα σφάλμα ή μια ευκαιρία χωρίς αντιμετώπιση. Επομένως, η αξιολόγηση δεν αφορά απλώς το αν το μοντέλο «ξέρει» κάτι. Αφορά την πολιτική με την οποία μετατρέπει την κατανόηση σε ενέργεια.

Η πιστή συλλογιστική έχει εδώ αυστηρότερη έννοια από μια πειστική εξήγηση. Η εξήγηση πρέπει να αντανακλά τον υπολογισμό που επηρέασε πραγματικά την πράξη ή την αποχή. Ένα λεκτικά εύλογο σκεπτικό που παράγεται αφού η απόφαση έχει ήδη κλειδώσει είναι rationalization, όχι διαφάνεια.

Το πείραμα του Why2Speak και το When2Speak

Οι ερευνητές χρησιμοποιούν το benchmark When2Speak. Περιλαμβάνει περίπου 16.000 συνθετικές συνομιλίες, οι οποίες δίνουν 173.325 σημεία απόφασης σε επίπεδο token. Μόνο περίπου το 13% των σημείων αποτελούν πραγματικές ευκαιρίες παρέμβασης. Αυτή η έντονη ανισορροπία είναι θεμελιώδης: ένας ταξινομητής μπορεί να εμφανίζει υψηλή απλή ακρίβεια προβλέποντας συχνά τη σιωπή, χωρίς να βρίσκει τις κρίσιμες στιγμές.

Οι περιπτώσεις προέρχονται από 11.498 σενάρια και καλύπτουν πέντε κατηγορίες γνωστικού κενού: διόρθωση πραγματολογικού λάθους, ορισμό έννοιας, παροχή δεδομένων, ταυτοποίηση πηγής και σύνθεση ή αναπλαισίωση. Οι κατηγορίες ανακατασκευάστηκαν από τα αρχικά σενάρια μόνο για τις αναλύσεις ερμηνευσιμότητας· δεν χρησιμοποιήθηκαν για να εκπαιδευτεί η πρόβλεψη παρέμβασης.

Το βασικό μοντέλο είναι το Qwen3-8B, επειδή τα ίδια βάρη μπορούν να αποκωδικοποιηθούν σε δύο τρόπους. Στο no-think mode παράγεται απευθείας το token της απόφασης. Στο think mode προηγείται αλυσίδα συλλογιστικής και ακολουθεί το τελικό token. Έτσι, η σύγκριση δεν μπερδεύεται εξαρχής από διαφορετική αρχιτεκτονική.

Ικανότητα και ελεγξιμότητα δεν συμπίπτουν

Το ισχυρότερο άμεσο policy δεν είναι το πιο ελέγξιμο. Ο decision-token classifier, εκπαιδευμένος με LoRA για να προβλέπει απευθείας την ενέργεια, φτάνει macro-F1 0,620 στο matched evaluation. Δεν εκθέτει, όμως, συλλογιστική που μπορεί να επιθεωρηθεί. Αν το ίδιο checkpoint αναγκαστεί να λειτουργήσει σε think mode, το macro-F1 πέφτει στο 0,367.

Το βασικό Qwen3-8B παρουσιάζει την αντίστροφη εικόνα. Χωρίς συλλογιστική παρεμβαίνει σχεδόν πάντα: macro-F1 0,096 και false-intervention rate 0,989. Με think mode το macro-F1 ανεβαίνει στο 0,536 και οι ψευδείς παρεμβάσεις μειώνονται στο 0,232. Παράλληλα, όμως, αυξάνονται οι χαμένες πραγματικές ευκαιρίες παρέμβασης, με missed-intervention rate 0,579.

Το αποτέλεσμα δεν λέει ότι η συλλογιστική είναι γενικά κακή ή ότι η άμεση πρόβλεψη είναι πάντα προτιμότερη. Δείχνει κάτι πιο συγκεκριμένο: στο συγκεκριμένο abstaining policy, η δυνατότητα να επιθεωρήσουμε ένα reasoning trace αγοράζεται με μετρήσιμο κόστος στην ποιότητα απόφασης. Επιπλέον, η ενεργοποίηση του reasoning mode αλλάζει το operating point του μοντέλου, άρα δεν λειτουργεί σαν ουδέτερο παράθυρο προς την ίδια πολιτική.

Γιατί το supervised fine-tuning δεν γεφυρώνει το χάσμα

Η άμεση εποπτευόμενη εκπαίδευση του τελικού token βελτιώνει την ταξινόμηση, αλλά αποδυναμώνει το reasoning behavior. Η εναλλακτική masked SFT κρατά τις αλυσίδες συλλογιστικής του μοντέλου, ενώ εφαρμόζει loss μόνο στην τελική απόφαση. Το μοντέλο συνεχίζει να παράγει reasoning περίπου στο 99% των παραδειγμάτων αξιολόγησης, όμως δεν βελτιώνει τις δύσκολες περιπτώσεις πέρα από το βασικό reasoning policy.

Η αιτία βρίσκεται στην κατασκευή των δεδομένων εκπαίδευσης. Για να μην εκπαιδευτεί το μοντέλο πάνω σε εκ των υστέρων εξηγήσεις που έχουν γραφτεί γνωρίζοντας ήδη τη σωστή απάντηση, οι ερευνητές κρατούν μόνο reasoning traces που το βασικό μοντέλο παρήγαγε φυσικά και οδήγησαν ήδη στη σωστή απόφαση. Με αυτόν τον ασφαλή περιορισμό, η εκπαίδευση ενισχύει κυρίως συμπεριφορές που το μοντέλο κατέχει. Δεν του διδάσκει πώς να διορθώνει τις περιπτώσεις όπου είναι βέβαιο αλλά λάθος.

Η μελέτη εντοπίζει επίσης mismatch στο prior. Όταν το ποσοστό παρεμβάσεων στα δεδομένα εκπαίδευσης είναι υψηλότερο από το ποσοστό στο περιβάλλον χρήσης, η απόδοση στο φυσικό operating point φαίνεται να καταρρέει. Όταν τα priors ταιριάζουν, το πρόβλημα περιορίζεται, ενώ η παραγωγή reasoning και η threshold-free διάκριση παραμένουν σχεδόν σταθερές. Για μια επιχείρηση αυτό σημαίνει ότι η αλλαγή ενός KPI μπορεί να οφείλεται σε λάθος calibration ή threshold και όχι σε απώλεια βασικής ικανότητας.

Γιατί το group-relative reinforcement learning έμεινε στο ίδιο επίπεδο

Οι συγγραφείς δοκιμάζουν GRPO σε think mode με δύο rewards. Το πρώτο επιβραβεύει τη σωστή τελική απόφαση. Το δεύτερο προσθέτει bonus όταν η ολοκλήρωση της συλλογιστικής αλλάζει την απόφαση σε σχέση με την πρόωρη διακοπή της. Η παράμετρος του bonus είναι 0,3. Παρ’ όλα αυτά, ούτε το accuracy reward ούτε το faithfulness-aware reward ξεπερνά ουσιαστικά το βασικό reasoning policy.

Το base policy καταγράφει macro-F1 0,536, το RL-accuracy 0,520 και το RL-faithfulness 0,549. Οι διαφορές βρίσκονται μέσα στη διακύμανση μεταξύ ανεξάρτητων runs, γι’ αυτό οι ερευνητές δεν τις αντιμετωπίζουν ως πραγματική κατάταξη. Ακόμη και μετά από εκτιμώμενη αύξηση του αποτελεσματικού gradient κατά 5 έως 10 φορές, η held-out απόδοση σταθεροποιείται στο ίδιο επίπεδο.

Ο μηχανισμός αποτυχίας είναι σημαντικός για κάθε ομάδα που χρησιμοποιεί group-relative objectives. Αν όλα τα rollouts μιας ομάδας επιλέγουν την ίδια, λανθασμένη ενέργεια, οι σχετικές ανταμοιβές δεν έχουν διαφορά από την οποία να προκύψει χρήσιμο learning signal. Το policy μπορεί να παραμένει με αυτοπεποίθηση λάθος ακριβώς στα prompts που χρειάζονται περισσότερο διόρθωση.

Πότε σχηματίζεται πραγματικά η απόφαση

Για να εξετάσουν αν το reasoning απλώς ντύνει μια προϋπάρχουσα επιλογή, οι ερευνητές εκπαιδεύουν γραμμικά probes πάνω σε hidden activations πριν και μετά την αλυσίδα συλλογιστικής. Στο βασικό reasoning policy, η απόφαση δεν είναι πολύ πιο αποκωδικοποιήσιμη πριν από το chain of thought από όσο προβλέπεται μόνο από το κείμενο εισόδου: AUROC 0,664 ± 0,034 έναντι 0,631 ± 0,053 για text-only baseline. Μετά το reasoning, η αποκωδικοποιησιμότητα ανεβαίνει σε 0,976 ± 0,045.

Στον άμεσο classifier, αντίθετα, η τελική επιλογή είναι ήδη σχεδόν πλήρως αποκωδικοποιήσιμη πριν παραχθεί reasoning, με AUROC 0,997. Αυτή είναι η αναμενόμενη υπογραφή μιας άμεσης πολιτικής: η απόφαση σχηματίζεται νωρίς και μετά απλώς εκπέμπεται.

Τα probes για το είδος της παρέμβασης δείχνουν την αντίστροφη χρονική πορεία. Η πληροφορία για το είδος του γνωστικού κενού είναι ισχυρότερη πριν από το reasoning και εξασθενεί καθώς σχηματίζεται η δυαδική απόφαση. Η προσεκτική ερμηνεία είναι ότι το μοντέλο αναγνωρίζει πρώτα τι είδους κατάσταση αντιμετωπίζει και στη συνέχεια μετατρέπει αυτή την κατανόηση σε επιλογή δράσης. Η αποκωδικοποιησιμότητα, πάντως, δεν αποδεικνύει από μόνη της αιτιώδη χρήση.

Γιατί η αφαίρεση του chain of thought παραπλανά

Η συμπεριφορική ανάλυση συγκρίνει πλήρη συλλογιστική, κομμένη συλλογιστική και ουδέτερο filler ίδιου μήκους. Η απλή αφαίρεση του reasoning κάνει το βασικό μοντέλο να επιστρέφει στην εκφυλισμένη συμπεριφορά «σχεδόν πάντα παρεμβαίνω». Μια αφελής μέτρηση θα θεωρούσε τις αλλαγές αποφάσεων απόδειξη ότι το περιεχόμενο της συλλογιστικής είναι πλήρως αιτιώδες.

Όμως το ουδέτερο filler αλλάζει ακόμη περισσότερες αποφάσεις. Άρα ένα μεγάλο μέρος της επίδρασης προέρχεται από την αλλαγή του inference mode ή της μορφής, όχι από το νόημα των reasoning tokens. Όταν οι ερευνητές συγκρίνουν την κομμένη πραγματική συλλογιστική με filler ίδιου μήκους, το πρώτο μισό του αυθεντικού reasoning τραβά τις προβλέψεις προς το πλήρες policy. Το περιεχόμενο έχει λοιπόν μετρήσιμη αλλά μέτρια αιτιώδη συμβολή.

Το συμπέρασμα αποφεύγει και τα δύο άκρα. Η συλλογιστική δεν είναι απλή διακόσμηση, αλλά ούτε κάθε αλλαγή μετά από ablation αποδεικνύει ότι η εξήγηση ήταν ο πραγματικός μηχανισμός. Χωρίς content control, τα flip tests υπερεκτιμούν την πιστότητα.

Οι «σωστές» εξηγήσεις δεν είναι κατ’ ανάγκη πιστές

Μετά το reinforcement learning, οι λεκτικές εξηγήσεις συμφωνούν συχνότερα με τη σωστή κατηγορία παρέμβασης: η συμφωνία αυξάνεται από 0,378 στο base policy σε 0,425 με accuracy objective και 0,474 με faithfulness objective. Αυτό δείχνει καλύτερη περιγραφή της κατηγορίας, όχι υποχρεωτικά πιστότερη πρόσβαση στον εσωτερικό μηχανισμό.

Στο τέλος του chain of thought, τα internal representations ευθυγραμμίζονται περισσότερο με τη δηλωμένη εξήγηση. Εκεί, όμως, το residual stream περιέχει ήδη το κείμενο που μόλις παρήχθη. Ένα probe μπορεί απλώς να ξαναδιαβάζει τη διατύπωση αντί να εντοπίζει μια ανεξάρτητη εσωτερική αιτία. Πριν αρχίσει το reasoning, αυτή η ευθυγράμμιση σχεδόν εξαφανίζεται.

Για ομάδες AI governance, αυτό είναι κρίσιμο: η αύξηση της λεκτικής συμφωνίας με ένα gold label δεν πρέπει να παρουσιάζεται ως αύξηση της reasoning faithfulness. Χρειάζεται διάκριση ανάμεσα σε explanation quality, internal representation και causal influence.

Έξι έλεγχοι για αξιόπιστη αξιολόγηση

Το Why2Speak δεν δίνει ένα μοναδικό «faithfulness score». Προτείνει ένα σύνολο δικλίδων που αποφεύγουν να μετατρέψουν το reasoning trace σε εύκολο αλλά παραπλανητικό proxy.

Τι σημαίνει για AI agents σε επιχειρησιακές ροές

Η προσεκτική επιχειρησιακή ερμηνεία δεν είναι ότι κάθε agent χρειάζεται να αποκαλύπτει chain of thought. Το paper δεν αξιολογεί πραγματικές εμπορικές εγκαταστάσεις και χρησιμοποιεί συνθετικές συνομιλίες. Δείχνει, όμως, γιατί η εντολή «εξήγησε πριν ενεργήσεις» δεν αποτελεί από μόνη της μηχανισμό ελέγχου. Μπορεί να ενεργοποιεί διαφορετικό policy, με διαφορετική συχνότητα δράσης και διαφορετικό προφίλ λαθών.

Σε customer support με AI agents, social listening, moderation, meeting assistance ή εσωτερικούς copilots, η ομάδα θα πρέπει να ορίζει ρητά το κόστος περιττής και χαμένης παρέμβασης. Το macro-F1 είναι χρήσιμο σε ανισόρροπα δεδομένα, αλλά δεν αντικαθιστά την ξεχωριστή παρακολούθηση false-intervention και missed-intervention rates. Το κατάλληλο operating point εξαρτάται από το ρίσκο της συγκεκριμένης ροής και όχι από ένα καθολικό benchmark.

Επίσης, ένα enterprise AI harness και το audit πρέπει να εξετάζουν το deployed mode, όχι μόνο μια εργαστηριακή έκδοση που παράγει εξηγήσεις. Αν το production σύστημα αποφασίζει άμεσα αλλά το audit ζητά εκ των υστέρων rationale, τότε ελέγχεται διαφορετική διαδικασία. Αν το production σύστημα υποχρεώνεται να reason πριν ενεργήσει, πρέπει να μετρηθεί εκ νέου η ίδια η απόδοση, γιατί το reasoning μπορεί να μετακινεί την πολιτική.

Ένα πιο αξιόπιστο πλαίσιο AI oversight

Με βάση τα ευρήματα της μελέτης, μια υπεύθυνη μετάβαση του AI agent στην παραγωγή μπορεί να οργανώσει την αξιολόγηση σε τέσσερα επίπεδα. Πρώτα καταγράφεται η συμπεριφορά στο φυσικό operating point: πόσο συχνά ο agent δρα, απέχει, παρεμβαίνει άσκοπα και χάνει χρήσιμες ευκαιρίες. Έπειτα εξετάζεται η threshold-free διάκριση ώστε να φανεί αν μια αλλαγή είναι ουσιαστική μάθηση ή απλή μετατόπιση calibration.

Στο τρίτο επίπεδο, η ερμηνευσιμότητα χρειάζεται ελεγχόμενες συγκρίσεις: probes πριν και μετά το reasoning, text baselines, class-balanced metrics και tests που δεν αναμιγνύουν διαφορετικές οικογένειες δεδομένων. Στο τέταρτο, η αιτιώδης εξάρτηση εξετάζεται με perturbations που κρατούν σταθερή τη μορφή και αλλάζουν το περιεχόμενο. Καμία μεμονωμένη ένδειξη δεν αρκεί για να χαρακτηριστεί ένα explanation πιστό.

Αυτό το πλαίσιο δεν εγγυάται ότι θα βρεθεί μια πολιτική με μέγιστη απόδοση και πλήρη ελεγξιμότητα. Κάνει όμως σαφέστερο ποια ιδιότητα μετρά κάθε test και περιορίζει την πιθανότητα να βαφτιστεί «διαφάνεια» μια πειστική λεκτική επιφάνεια.

Τα όρια και το σωστό συμπέρασμα

Οι συγγραφείς τονίζουν ότι τα συμπεράσματα προέρχονται από ένα συγκεκριμένο task, κυρίως ένα model family και περιορισμένο εύρος αλγορίθμων. Οι συνομιλίες είναι συνθετικές, ενώ οι συγκρίσεις GPT-4o, GPT-5.1, Qwen3-30B, Nemotron-3-Nano και Llama-3.2-3B δεν έχουν όλες το ίδιο μέγεθος δείγματος ή τον ίδιο ρόλο. Τα απόλυτα scores δεν πρέπει να διαβάζονται σαν γενική κατάταξη μοντέλων.

Η μελέτη προτείνει ως επόμενα βήματα multi-round self-distillation με priors που ταιριάζουν στο deployment, objectives που δίνουν σήμα ακόμη και όταν όλα τα rollouts συμφωνούν στη λάθος ενέργεια, rewards βασισμένα σε content-controlled perturbations και ταυτόχρονη βελτίωση ανεξάρτητων συμπεριφορικών και αναπαραστατικών audits.

Το πιο χρήσιμο συμπέρασμα για την αγορά είναι απλό αλλά απαιτητικό: η εξήγηση ενός agent είναι και μέρος του interface και πιθανό μέρος του policy. Δεν πρέπει να θεωρείται αυτόματα ακριβής καταγραφή μιας απόφασης που θα ήταν ίδια χωρίς αυτήν. Το agentic AI security stack χρειάζεται πειράματα που διαχωρίζουν την ποιότητα της απόφασης, τη λεκτική πειστικότητα, την εσωτερική αναπαράσταση και την αιτιώδη συμβολή του reasoning.