Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το DecodeShare εντοπίζει έναν κοινό υποχώρο στις decode-time αποφάσεις των LLM και δείχνει γιατί οι παρεμβάσεις χρειάζονται έλεγχο στο πραγματικό inference.
Το DecodeShare δείχνει ότι ένα μικρό σύνολο κατευθύνσεων στα decode-time hidden states μπορεί να λειτουργεί ως κοινό κανάλι για πολλές επόμενες-token αποφάσεις ενός LLM. Οι ερευνητές δεν αρκέστηκαν σε συσχέτιση: αφαίρεσαν τον υποχώρο μόνο κατά το KV-cached decoding και τον συνέκριναν με dimension- και energy-matched controls.
Το πρακτικό συμπέρασμα είναι άμεσο. Ένα steering vector, safety intervention ή άλλο activation-level control που θα λειτουργήσει στην παραγωγή πρέπει να αξιολογείται στο ίδιο decode runtime, σε πολλά tasks και με σαφές rollback. Ένα θετικό prefill proxy δεν είναι τελική απόδειξη.
Σύντομη απάντηση: το DecodeShare εντοπίζει ένα μικρό κοινό υποσύνολο κατευθύνσεων στα hidden states του KV-cached decoding και δείχνει με matched παρεμβάσεις ότι η αφαίρεσή του επηρεάζει τις αποφάσεις περισσότερο από τυχαίους ή prefill-derived υποχώρους.
Όταν ένα μεγάλο γλωσσικό μοντέλο απαντά, δεν εκτελεί απλώς μία ενιαία λειτουργία. Πρώτα επεξεργάζεται ολόκληρο το prompt και έπειτα παράγει την απάντηση token προς token, επαναχρησιμοποιώντας τις ήδη υπολογισμένες πληροφορίες μέσω KV cache. Η έρευνα DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions εξετάζει ακριβώς αυτή τη δεύτερη φάση: τη στιγμή κατά την οποία το μοντέλο παίρνει την επόμενη μικρή απόφαση.
Οι συγγραφείς προτείνουν ένα πρωτόκολλο που ονομάζουν DecodeShare. Στόχος του είναι να εντοπίσει αν διαφορετικές εργασίες χρησιμοποιούν έναν κοινό, χαμηλής διάστασης υποχώρο στις κρυφές αναπαραστάσεις κατά το decoding και, κυρίως, να ελέγξει αν ο υποχώρος αυτός έχει αιτιώδη σημασία. Το εύρημα δεν πρέπει να διαβαστεί ως απόδειξη ότι τα LLM «σκέφτονται» όπως οι άνθρωποι. Είναι, όμως, μια τεχνικά χρήσιμη ένδειξη ότι ένα μικρό μέρος της εσωτερικής γεωμετρίας μπορεί να λειτουργεί ως κοινό κανάλι αποφάσεων.
Στη φάση prefill, το μοντέλο επεξεργάζεται τα tokens του prompt και δημιουργεί τα keys και values που θα αποθηκευτούν στην cache. Στη φάση decoding, κάθε νέο βήμα επεξεργάζεται το τρέχον token και αξιοποιεί αυτή την cache για να παράγει τα επόμενα logits. Η διάκριση είναι κρίσιμη, επειδή πολλές τεχνικές ερμηνευσιμότητας και activation steering μετρούν κατευθύνσεις πάνω στις ενεργοποιήσεις του prompt, παρότι η πραγματική επιλογή του επόμενου token γίνεται σε διαφορετικό καθεστώς inference.
Τέσσερα διαφορετικά αντικείμενα που δεν πρέπει να συγχέονται
Περιγράφουν την επεξεργασία ολόκληρου του prompt και τη δημιουργία της KV cache. Είναι χρήσιμες για ανάλυση, αλλά δεν αποτελούν αυτόματα proxy της επόμενης token απόφασης.
Παράγονται σε κάθε cached single-token βήμα και οδηγούν στα επόμενα logits. Εκεί εκτιμά και παρεμβαίνει το DecodeShare.
Είναι το μικρό σύνολο κατευθύνσεων που χρησιμοποιείται με συνέπεια σε πολλά tasks και περνά null tests, όχι απλώς οι PCA κατευθύνσεις με τη μεγαλύτερη ενέργεια.
Στοχεύει μια επιθυμητή συμπεριφορά, αλλά μπορεί να επικαλύπτεται με τον κοινό decode υποχώρο και να δημιουργεί παράπλευρη υποβάθμιση.
Το DecodeShare βασίζεται σε μια απλή αρχή ευθυγράμμισης: αν θέλουμε να μελετήσουμε ή να επηρεάσουμε αποφάσεις που λαμβάνονται στο decode, πρέπει να μετράμε και να παρεμβαίνουμε στα decode-time states. Οι συγγραφείς συλλέγουν τις κρυφές καταστάσεις ενός συγκεκριμένου layer σε διαδοχικά βήματα KV-cached decoding και περιορίζουν τις αιτιώδεις παρεμβάσεις μόνο σε αυτά τα βήματα. Το prefill μένει ανέπαφο.
Για ομάδες που υλοποιούν AI προϊόντα, η διάκριση αυτή έχει πρακτική αξία. Ένα πείραμα που φαίνεται επιτυχημένο πάνω στο prompt μπορεί να μη μεταφέρεται στη ζωντανή παραγωγή, όπου η απάντηση δημιουργείται σταδιακά. Η αξιολόγηση πρέπει επομένως να μιμείται όσο γίνεται το πραγματικό inference path, όπως συμβαίνει και σε ένα σύστημα LLM routing που ισορροπεί καθυστέρηση, ακρίβεια και κόστος.
Η κεντρική υπόθεση της μελέτης είναι ότι οι αποφάσεις επόμενου token εξαρτώνται αιτιωδώς από έναν μικρό υποχώρο των decode-time hidden states, ο οποίος χρησιμοποιείται σε πολλές διαφορετικές εργασίες. «Μικρός» εδώ σημαίνει χαμηλής διάστασης σε σχέση με ολόκληρο το hidden width του μοντέλου, όχι κατ’ ανάγκη ασήμαντος. Αντίθετα, ένας συμπαγής υποχώρος μπορεί να έχει δυσανάλογα μεγάλη επίδραση.
Οι ερευνητές χωρίζουν τον έλεγχο σε τρεις υποθέσεις. Πρώτον, η κοινή δομή πρέπει να εμφανίζεται περισσότερο από όσο θα περίμενε κανείς από κατάλληλες τυχαίες βάσεις. Δεύτερον, η αφαίρεσή της μόνο κατά το decode πρέπει να βλάπτει την απόδοση περισσότερο από ισοδύναμες παρεμβάσεις ελέγχου. Τρίτον, οι βάσεις που υπολογίζονται από prefill states δεν πρέπει να θεωρούνται αυτομάτως υποκατάστατο των decode-derived βάσεων.
Σημαντικό στοιχείο της εργασίας είναι ότι ορίζει και κριτήρια διάψευσης. Αν η κοινή δομή δεν ξεπερνά τα null baselines ή αν η αφαίρεσή της δεν διαφέρει από matched controls, η αντίστοιχη υπόθεση απορρίπτεται. Αυτή η λογική περιορίζει την πιθανότητα να βαφτιστεί ως «μηχανισμός» ένα απλό μοτίβο υψηλής διακύμανσης.
Για κάθε εργασία, το πρωτόκολλο συλλέγει decode-time hidden states από calibration prompts και από έως έναν προκαθορισμένο αριθμό βημάτων παραγωγής. Οι εργασίες εξισορροπούνται ως προς τον αριθμό δειγμάτων, ώστε μία μεγάλη ομάδα states να μην κυριαρχεί στην ανάλυση. Στη συνέχεια οι αναπαραστάσεις κεντράρονται ανά εργασία, συγκεντρώνονται και αναλύονται με PCA.
Το PCA από μόνο του δεν αρκεί. Οι κορυφαίες συνιστώσες μπορεί απλώς να έχουν μεγάλη ενέργεια χωρίς να είναι πραγματικά κοινές μεταξύ εργασιών. Το DecodeShare εξετάζει πόσο σταθερά εμφανίζεται κάθε κατεύθυνση στις επιμέρους εργασίες και επιλέγει εκείνες που περνούν ένα κριτήριο sharedness. Έτσι διαχωρίζει την έννοια «εξηγεί μεγάλη διακύμανση» από την έννοια «χρησιμοποιείται συστηματικά σε διαφορετικά tasks».
Η δημοσιευμένη ανάλυση περιλαμβάνει αριθμητική συλλογιστική, ερωτήσεις κοινής γνώσης και κατανόησης, καθώς και πρόσθετους ελέγχους σε εργασίες όπως HumanEval, SST-2 και RTE. Αναφέρονται πειράματα με οικογένειες μοντέλων Llama και Qwen, ενώ στα πρόσθετα αποτελέσματα περιλαμβάνονται και έλεγχοι με Falcon. Αυτό έχει σημασία: ο ισχυρισμός δεν στηρίζεται σε ένα μόνο prompt ή μία μόνο κατηγορία benchmark.
Το ότι μια κατεύθυνση είναι παρούσα σε πολλές εργασίες δεν αποδεικνύει ότι είναι απαραίτητη. Για τον αιτιώδη έλεγχο, οι συγγραφείς αφαιρούν την προβολή του hidden state πάνω στον επιλεγμένο υποχώρο μόνο στα decode steps. Κατόπιν συγκρίνουν τη μεταβολή στην απόδοση με παρεμβάσεις ίδιας διάστασης και αντίστοιχου ενεργειακού προϋπολογισμού.
Αυτά τα controls είναι ουσιώδη. Αν αφαιρούσαμε απλώς τις πιο «δυνατές» κατευθύνσεις, οποιαδήποτε πτώση θα μπορούσε να οφείλεται στο ότι διαγράψαμε πολλή ενέργεια και όχι έναν ιδιαίτερο μηχανισμό. Η μελέτη χρησιμοποιεί τυχαίους υποχώρους, μη κοινές κατευθύνσεις και energy-matched συγκρίσεις, ώστε να ελέγξει αυτή την εναλλακτική εξήγηση.
Στα πειράματα, η στοχευμένη αφαίρεση του decode-shared υποχώρου προκαλεί μεγαλύτερη υποβάθμιση από τα matched controls. Οι συγγραφείς κάνουν επίσης patchback: αφού προκαλέσουν βλάβη, επαναφέρουν μόνο το κοινό συστατικό. Στον πίνακα που συνοψίζει πολλαπλά layers, τα αναφερόμενα targeted rescue rates κυμαίνονται από 65% έως 100% για τις συγκεκριμένες ρυθμίσεις Llama-2-7B-Chat και Qwen2.5-7B-Instruct. Οι αριθμοί αυτοί αφορούν τις πειραματικές συνθήκες της εργασίας και δεν αποτελούν γενική εγγύηση για κάθε μοντέλο.
Στα πλήρη πρόσθετα αποτελέσματα, ο κοινός πυρήνας παραμένει μικρός σε σχέση με το hidden width. Για παράδειγμα, σε συγκεκριμένες ρυθμίσεις layer 10 αναφέρονται 73 κοινές κατευθύνσεις για Qwen2.5-7B-Instruct με πλάτος 3.584, 109 για Llama-2-7B-Chat με πλάτος 4.096 και 112 για Llama-3.1-8B-Instruct με πλάτος 4.096. Οι αντίστοιχες αναλογίες είναι περίπου 2,04%, 2,66% και 2,73%.
Πόσο μικρός ήταν ο κοινός πυρήνας στο layer 10
Οι τιμές προέρχονται από τον αυστηρό all-tasks έλεγχο του Appendix Table 11 με όριο sharedness 10−3. Αφορούν τη συγκεκριμένη πειραματική ρύθμιση, όχι σταθερό χαρακτηριστικό κάθε LLM.
Κοινές κατευθύνσεις ίσες με 2,04% του hidden width.
Κοινές κατευθύνσεις ίσες με 2,66% του hidden width.
Κοινές κατευθύνσεις ίσες με 2,73% του hidden width.
Κοινές κατευθύνσεις ίσες με 2,73% του hidden width.
Το ενδιαφέρον δεν είναι ότι υπάρχει ένας μαγικός μοναδικός άξονας. Η εικόνα είναι περισσότερο ένα συμπαγές σύνολο κατευθύνσεων που μεταβάλλεται ανά μοντέλο, layer, threshold και σύνθεση εργασιών. Η εργασία αναγνωρίζει ότι ένας υπερβολικά αυστηρός ορισμός «κοινό σε όλα τα tasks» μπορεί να καταρρεύσει όταν αυξάνεται η ετερογένεια. Για αυτό εξετάζει και majority-pooled ορισμούς.
Αυτό είναι μια σημαντική προειδοποίηση για dashboards και εσωτερικές μετρήσεις AI. Ένας μοναδικός συνοπτικός δείκτης μπορεί να κρύψει τη διαφορά ανά task. Χρειάζονται αναλύσεις ανά model, layer, κατηγορία εργασίας και prompt distribution, μαζί με σαφή αναφορά της αβεβαιότητας.
Η τρίτη υπόθεση της εργασίας αφορά το estimator mismatch. Οι ερευνητές υπολογίζουν αντίστοιχες βάσεις από prefill activations και τις εφαρμόζουν σε decode-only παρεμβάσεις με ίδιους προϋπολογισμούς. Το αποτέλεσμα είναι ότι οι prefill-derived βάσεις συχνά δεν αναπαράγουν το αιτιώδες αποτέλεσμα των decode-derived βάσεων.
Η διατύπωση «συχνά» είναι σημαντική. Η εργασία δεν υποστηρίζει ότι prefill και decode είναι πάντοτε ασύνδετα, ούτε ότι κάθε prefill-based μέθοδος αποτυγχάνει. Δείχνει ότι η μεταφορά δεν πρέπει να θεωρείται δεδομένη και ότι υπάρχουν εξαρτήσεις από μοντέλο, layer και task. Σε ορισμένες περιπτώσεις εμφανίζονται εξαιρέσεις, χωρίς να αλλάζει η συνολική ποιοτική εικόνα.
Για deployment, αυτό μεταφράζεται σε έναν καθαρό κανόνα: αν ένα steering vector ή safety intervention θα χρησιμοποιηθεί κατά την παραγωγή, πρέπει να αξιολογηθεί σε πραγματικό KV-cached decoding. Ένα offline score πάνω στις τελευταίες prompt activations μπορεί να είναι χρήσιμο ως proxy, αλλά δεν αρκεί ως τελική δοκιμή.
Το activation steering επιχειρεί να αλλάξει μια συμπεριφορά προσθέτοντας ή αφαιρώντας μια κατεύθυνση στις εσωτερικές ενεργοποιήσεις. Η DecodeShare μελέτη δείχνει ότι συνήθεις steering directions μπορούν να επικαλύπτονται με τον κοινό decode υποχώρο. Έτσι, μια παρέμβαση που σχεδιάστηκε για ένα χαρακτηριστικό μπορεί παράλληλα να διαταράξει υπολογισμό που χρησιμοποιείται από πολλές εργασίες.
Οι συγγραφείς εξετάζουν την προβολή αυτού του κοινού συστατικού έξω από τα steering vectors. Η διαδικασία διαχωρίζει καλύτερα τους λειτουργικούς ρόλους, αλλά δεν παρουσιάζεται ως καθολική επιδιόρθωση. Η αφαίρεση της επικάλυψης αποκαλύπτει trade-offs χρησιμότητας και ανθεκτικότητας που εξαρτώνται από το task. Ένα vector μπορεί να γίνει ασφαλέστερο για μία χρήση και λιγότερο αποτελεσματικό για άλλη.
Η πιο σταθερή πρακτική ένδειξη είναι η αξιολόγηση των steering vectors στο decode. Σύμφωνα με την εργασία, το decode-time validation δίνει πιο αξιόπιστο σήμα για την κατάταξή τους σε held-out KV-cached utility από ό,τι τα prefill proxies. Αυτό δεν εξαλείφει την ανάγκη για end-to-end tests, αλλά βελτιώνει το σημείο στο οποίο γίνεται η τεχνική επιλογή.
Οι περισσότερες επιχειρήσεις δεν θα τροποποιήσουν hidden states ενός foundation model. Μπορούν όμως να αξιοποιήσουν τη μεθοδολογική ιδέα. Πρώτον, οι δοκιμές πρέπει να αναπαράγουν τη λειτουργία παραγωγής: ίδιο μοντέλο, ίδιο serving stack, KV cache, decoding policy και αντιπροσωπευτική κατανομή prompts. Διαφορετικά, ένα θετικό εργαστηριακό αποτέλεσμα μπορεί να είναι μέτρηση άλλου συστήματος.
Δεύτερον, κάθε παρέμβαση συμπεριφοράς χρειάζεται πολλαπλά benchmarks. Αν μια αλλαγή μειώνει μια ανεπιθύμητη τάση αλλά υποβαθμίζει αριθμητική, κατανόηση ή τήρηση οδηγιών, η ομάδα πρέπει να δει το πλήρες trade-off. Το DecodeShare δείχνει έναν πιθανό μηχανισμό για τέτοιες παράπλευρες επιπτώσεις: την επικάλυψη με κοινή δομή αποφάσεων.
Τρίτον, η παρακολούθηση πρέπει να γίνεται ανά task και όχι μόνο με έναν μέσο όρο. Για ένα e-commerce assistant, αυτό μπορεί να σημαίνει χωριστά test sets για αναζήτηση προϊόντων, πολιτικές επιστροφών, σύγκριση χαρακτηριστικών, δημιουργία κειμένου και κλιμάκωση σε άνθρωπο. Η μελέτη δεν αξιολογεί αυτά τα εμπορικά use cases· η σύνδεση είναι πρακτική εφαρμογή της μεθοδολογίας, όχι δικό της πειραματικό εύρημα.
Ένα compact αλλά υψηλής επιρροής κανάλι αποτελεί ταυτόχρονα ευκαιρία και κίνδυνο. Μπορεί να δώσει καλύτερους στόχους για διάγνωση, αλλά μια κακώς βαθμονομημένη παρέμβαση μπορεί να προκαλέσει ευρεία υποβάθμιση. Για αυτό οι έλεγχοι δεν πρέπει να περιορίζονται στην επιθυμητή συμπεριφορά. Χρειάζονται regression suites, matched controls και μηχανισμοί rollback, με την ίδια πειθαρχία που απαιτεί η επαλήθευση μιας πολιτικής πριν εμπιστευτούμε έναν AI agent.
Σε επίπεδο governance, η εργασία ενισχύει την ανάγκη να καταγράφεται πού μετρήθηκε μια παρέμβαση και πού εφαρμόζεται. Η φράση «το vector λειτουργεί» είναι ελλιπής χωρίς model version, layer, prompt distribution, decode policy, inference implementation και metric. Μικρές αλλαγές σε αυτά τα στοιχεία μπορούν να μεταβάλουν το αποτέλεσμα.
Για εξωτερικά API χωρίς white-box πρόσβαση, το πρωτόκολλο δεν μπορεί να εφαρμοστεί αυτούσιο. Εκεί, η συμπεριφορική ασφάλεια χρειάζεται adversarial δοκιμές αντίστοιχες με όσες αναδεικνύουν τα incomplete prompt jailbreaks στα LLM. Η σωστή απάντηση δεν είναι να εικάσουμε τον εσωτερικό μηχανισμό, αλλά να ενισχύσουμε τα συμπεριφορικά tests. Η DecodeShare είναι εργαλείο μηχανιστικής ανάλυσης για περιβάλλοντα όπου υπάρχουν activations και δυνατότητα intervention.
Οι ίδιοι οι συγγραφείς τονίζουν ότι απαιτείται white-box πρόσβαση και ότι ο υποχώρος πρέπει να εκτιμάται ανά μοντέλο. Δεν αποδεικνύεται ένας παγκόσμιος κοινός χώρος που μεταφέρεται αυτούσιος μεταξύ αρχιτεκτονικών. Τα αποτελέσματα εξαρτώνται επίσης από το σύνολο calibration tasks, τα thresholds sharedness, το layer και το πρωτόκολλο decoding.
Η PCA είναι γραμμική τεχνική και αποτυπώνει γραμμικούς υποχώρους. Πιο σύνθετη μη γραμμική δομή μπορεί να υπάρχει χωρίς να εμφανίζεται στον ίδιο έλεγχο. Επίσης, η υποβάθμιση μετά από αφαίρεση δείχνει αιτιώδη εξάρτηση υπό τη συγκεκριμένη παρέμβαση, όχι πλήρη σημασιολογική ερμηνεία κάθε κατεύθυνσης.
Τέλος, τα benchmarks της εργασίας δεν ταυτίζονται με κάθε πραγματικό περιβάλλον. Η μεταφορά προς customer support, marketing automation ή agentic workflows πρέπει να επαληθευθεί ξεχωριστά. Το ασφαλές συμπέρασμα είναι ότι η γεωμετρία του decode αξίζει να μελετάται, όχι ότι έχει ήδη λυθεί η ερμηνεία των αποφάσεων των LLM.
Μια τεχνική ομάδα μπορεί να μετατρέψει τις αρχές της έρευνας σε διαδικασία τεσσάρων σταδίων. Αρχικά ορίζει αντιπροσωπευτικά tasks και σταθερό serving configuration. Έπειτα μετρά baseline απόδοση σε πραγματικό autoregressive decoding. Στη συνέχεια εφαρμόζει την αλλαγή μαζί με dimension- ή energy-matched controls όπου αυτό είναι εφικτό. Τέλος, αναλύει τα αποτελέσματα ανά task και επαναλαμβάνει σε held-out prompts.
Έξι πύλες για ασφαλή αξιολόγηση μιας decode-time παρέμβασης
Ορίστε model version, serving stack, KV cache, decoding policy και prompt distribution όπως θα λειτουργούν στην παραγωγή.
Εκτιμήστε τις κατευθύνσεις σε task-balanced calibration set και κρατήστε ξεχωριστά παραδείγματα για causal και end-to-end αξιολόγηση.
Συλλέξτε τα single-token hidden states από KV-cached βήματα όταν η αλλαγή πρόκειται να εφαρμοστεί κατά την παραγωγή.
Συγκρίνετε με υποχώρους ίδιας διάστασης και αφαιρούμενης ενέργειας ώστε η πτώση να μην αποδίδεται απλώς σε μεγαλύτερη διαταραχή.
Μετρήστε reasoning, instruction following, ασφάλεια και κρίσιμα business flows χωρίς να κρύβετε αποτυχίες μέσα σε έναν μέσο όρο.
Καταγράψτε baselines, thresholds, παρενέργειες και fallback, και προωθήστε την αλλαγή μόνο όταν περνά regression suite στο ίδιο runtime.
Αν χρησιμοποιείται activation steering, η ομάδα πρέπει να συγκρίνει τουλάχιστον prefill-based και decode-based validation, να ελέγχει overlap με task-general directions και να καταγράφει τις παράπλευρες επιπτώσεις. Αν δεν υπάρχει πρόσβαση στις ενεργοποιήσεις, μπορεί να διατηρήσει το ίδιο πνεύμα μέσω A/B behavioral evaluation και αυστηρών regression tests.
Η ουσία είναι η συνέπεια ανάμεσα στο σημείο μέτρησης και στο σημείο δράσης. Όσο μεγαλύτερη είναι η απόσταση ανάμεσα στο offline proxy και στο πραγματικό runtime, τόσο πιο αδύναμο γίνεται το συμπέρασμα για την παραγωγή.
Η εργασία προσφέρει ένα πρωτόκολλο και όχι μια έτοιμη συνταγή βελτιστοποίησης. Εντοπίζει κοινές κατευθύνσεις στα decode-time hidden states, τις ελέγχει με αυστηρά decode-only interventions και δείχνει ότι η αφαίρεσή τους είναι πιο επιβλαβής από κατάλληλα controls. Παράλληλα, τεκμηριώνει ότι οι prefill-derived βάσεις συχνά δεν αναπαράγουν το ίδιο αποτέλεσμα.
Για την αγορά, το πιο χρήσιμο μήνυμα είναι μεθοδολογικό: η αξιοπιστία των AI παρεμβάσεων κρίνεται στο πραγματικό καθεστώς inference. Η κατανόηση του prompt δεν είναι το ίδιο με τη διαδοχική απόφαση token προς token. Και όταν ένα μικρό εσωτερικό συστατικό χρησιμοποιείται από πολλά tasks, μια φαινομενικά τοπική αλλαγή μπορεί να έχει οριζόντιες συνέπειες.
Η απόφαση για παραγωγή
Αν μια παρέμβαση δρα στο decode, πρέπει να εκτιμηθεί και να ελεγχθεί στο decode.
Το DecodeShare δεν μετατρέπει έναν εσωτερικό υποχώρο σε έτοιμο προϊόν. Δίνει όμως μια σαφή αρχή: ίδιο inference καθεστώς, matched controls, held-out tasks, καταγραφή παρενεργειών και ασφαλές rollback πριν από deployment.
Αυτοματισμοί Επιχειρήσεων & AI από την TWO DOTS
Σχεδιάστε AI workflows που ελέγχονται στο runtime όπου πραγματικά λειτουργούν.
Η TWO DOTS οργανώνει AI αυτοματισμούς με αντιπροσωπευτικά test sets, validation gates, ανθρώπινη εποπτεία, monitoring και fallback για κρίσιμες επιχειρησιακές ροές.
Συχνές ερωτήσεις
Είναι πρωτόκολλο που εντοπίζει κοινές κατευθύνσεις σε decode-time hidden states πολλών tasks και ελέγχει αιτιωδώς τη σημασία τους με decode-only παρεμβάσεις.
Το prefill επεξεργάζεται όλο το prompt και δημιουργεί την KV cache. Το decode παράγει κάθε επόμενο token με single-token forward passes που επαναχρησιμοποιούν αυτή την cache.
Σημαίνει ένα χαμηλής διάστασης σύνολο κατευθύνσεων που εμφανίζει συνεπή χρήση σε διαφορετικά tasks. Δεν σημαίνει ένα μοναδικό κέντρο σκέψης ή έναν καθολικό μηχανισμό όλων των LLM.
Οι κορυφαίες PCA κατευθύνσεις μπορεί απλώς να συγκεντρώνουν μεγάλη ενέργεια. Το DecodeShare προσθέτει sharedness criteria, null tests και dimension- ή energy-matched causal controls.
Η decode-only αφαίρεσή του προκάλεσε μεγαλύτερη υποβάθμιση από matched non-shared και τυχαίους ελέγχους, ενώ το targeted patchback επανέφερε μεγάλο μέρος των flips στις συγκεκριμένες ρυθμίσεις.
Όχι. Η μελέτη δείχνει ότι δεν πρέπει να θεωρούνται αυτόματα ισοδύναμες με decode-derived κατευθύνσεις. Χρειάζεται έλεγχος στο πραγματικό locus όπου θα εφαρμοστεί η παρέμβαση.
Όχι αυτούσιο, επειδή απαιτεί white-box πρόσβαση σε hidden states και δυνατότητα intervention. Σε κλειστά API η ασφαλής εναλλακτική είναι αυστηρή συμπεριφορική αξιολόγηση στο πραγματικό inference setup.
Κάθε αλλαγή στη συμπεριφορά ενός AI συστήματος χρειάζεται production-matched tests, ανάλυση ανά task, regression suite, monitoring και ασφαλές rollback πριν από κλιμάκωση.
