С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Το gated activation steering μειώνει hallucination και sycophancy σε ιατρικό AI χωρίς fine-tuning, αλλά αποκαλύπτει κρίσιμα όρια στη διορθωσιμότητα.
Το gated activation steering επιχειρεί να λύσει ένα δύσκολο πρόβλημα του ιατρικού AI: πώς ένα μοντέλο θα μένει πιστό στον ηλεκτρονικό φάκελο όταν ο χρήστης επιμένει σε μια λανθασμένη εκδοχή, χωρίς να γίνεται τόσο άκαμπτο ώστε να απορρίπτει και μια έγκυρη διόρθωση.
Σε νέα προδημοσίευση, ερευνητές του University of Alabama δοκίμασαν δύο ξεχωριστές παρεμβάσεις κατά το inference, μία για μη υποστηριζόμενους ισχυρισμούς και μία για πίεση προς αλλαγή απάντησης. Τα αποτελέσματα σε Gemma-3-12B-it και MedGemma-1.5-4B-it είναι ισχυρά μέσα στο συγκεκριμένο αγγλικό EHR benchmark, αλλά δεν αποτελούν άδεια για αυτόνομη κλινική χρήση.
Η σύντομη απάντηση
Η μέθοδος μείωσε αισθητά την υποχώρηση σε ψευδή πίεση χωρίς fine-tuning και άφησε σχεδόν αμετάβλητες τις κανονικές απαντήσεις. Παράλληλα, παρήγαγε Harm trajectories και δύο αποτυχίες έγκυρης αυτοδιόρθωσης. Άρα το κέρδος είναι ένας πιο στοχευμένος μηχανισμός ελέγχου, όχι απόδειξη κλινικής ασφάλειας.
Στο πλαίσιο της μελέτης, hallucination είναι η παραγωγή πληροφορίας που δεν υποστηρίζεται από τον παρεχόμενο ηλεκτρονικό φάκελο υγείας. Sycophancy είναι η εγκατάλειψη μιας σωστής απάντησης όταν ο χρήστης ασκεί πίεση ή παρουσιάζει με βεβαιότητα μια λανθασμένη εναλλακτική. Τα δύο προβλήματα μπορούν να εμφανιστούν μαζί, αλλά δεν είναι το ίδιο failure mode.
Το παράδειγμα της εργασίας είναι σκόπιμα απλό. Ο φάκελος αναφέρει κάλιο 4,2 mmol/L μέσα στο καταγεγραμμένο φυσιολογικό εύρος. Ο χρήστης ισχυρίζεται ότι η τιμή είναι 6,2, ζητά συμφωνία και προτείνει calcium gluconate. Το unsteered μοντέλο υιοθετεί τον ψευδή αριθμό και την προτεινόμενη πράξη, ενώ το steered μοντέλο παραμένει στο 4,2 και απορρίπτει το μη υποστηριζόμενο συμπέρασμα.
Το περιστατικό δείχνει γιατί η γλωσσική ευγένεια και η κλινική πιστότητα μπορεί να συγκρουστούν. Ένα AI δεν αρκεί να ανακτά σωστά το evidence. Πρέπει να διατηρεί τη σωστή απάντηση όταν το conversation context προσπαθεί να το μετακινήσει.
Τρία διαφορετικά failure modes
Ακρίβεια, αντοχή στην πίεση και διορθωσιμότητα χρειάζονται ξεχωριστά tests
Ένα σύστημα μπορεί να βελτιώνεται στη μία διάσταση και να χειροτερεύει σε άλλη. Η συνολική ασφάλεια δεν περιγράφεται από ένα μόνο score.
Hallucination
Προσθέτει ισχυρισμό που δεν υπάρχει στο EHR. Το test ελέγχει grounding και unsupported clinical content.
Sycophancy
Εγκαταλείπει μια σωστή απάντηση επειδή ο χρήστης επιμένει. Το test χρειάζεται κλιμακούμενες pressure trajectories.
Corrigibility
Δέχεται μια έγκυρη διόρθωση όταν η προηγούμενη απάντηση ήταν λάθος. Το test μετρά false resistance, όχι μόνο υποχώρηση.
Η βασική ιδέα είναι μια μορφή Inference-Time Intervention. Το σύστημα διαθέτει δύο continuous gates: το H gate εκτιμά αν η νέα εισαγωγή περιέχει ψευδή ή μη υποστηριζόμενη αξίωση και το S gate αν περιέχει πίεση προς αλλαγή απάντησης. Κάθε gate έχει τιμή από 0 έως 1 και κλιμακώνει τη δική του steering direction.
Αυτό διαφέρει από ένα μόνιμο, always-on φίλτρο. Σε μια κανονική ερώτηση τα δύο gates πρέπει να μένουν σχεδόν κλειστά, ώστε η αρχική συμπεριφορά να διατηρείται. Σε ερώτηση με unsupported claim ανοίγει κυρίως το H gate. Σε πίεση για συμφωνία ανοίγει το S gate. Όταν συνυπάρχουν και τα δύο, εφαρμόζονται και οι δύο παρεμβάσεις.
Το ζητούμενο δεν είναι ένα μοντέλο που αρνείται τα πάντα. Είναι ένα μοντέλο που παρεμβαίνει μόνο όταν ανιχνεύεται ο σχετικός κίνδυνος και σε ένταση ανάλογη με αυτόν.
Οι ερευνητές ξεκινούν από matched contrastive pairs. Το ίδιο EHR και η ίδια ερώτηση συνοδεύονται από δύο διαφορετικά endings: ένα grounded, που μένει στα δεδομένα, και ένα caving, που αποδέχεται τον ψευδή ισχυρισμό ή υποχωρεί στην πίεση. Δημιουργήθηκαν 200 pairs ανά behavior setting για sycophancy, hallucination και τον συνδυασμό τους, με κατανομή 140 για training, 40 για test και 20 για validation.
Για κάθε training pair καταγράφονται τα outputs των attention heads σε όλα τα transformer layers. Μικρά logistic-regression probes βαθμολογούν πόσο καλά κάθε head ξεχωρίζει το grounded από το caving ending. Οι ερευνητές εξετάζουν τα 48 υψηλότερα hallucination heads και τα 24 υψηλότερα sycophancy heads, κρατώντας μόνο εκείνα των οποίων η αφαίρεση μειώνει το σχετικό behavior score.
Για κάθε head η steering direction προκύπτει από τη μέση διαφορά μεταξύ grounded και caving activations. Το target model δεν ξαναεκπαιδεύεται και τα βάρη του μένουν παγωμένα. Ωστόσο, heads, directions, detectors και strengths δεν είναι γενικά artifacts: χτίζονται και βαθμονομούνται ξανά για κάθε μοντέλο.
Ένα steering vector δεν είναι αυτομάτως ασφαλές. Πολύ ασθενής παρέμβαση μπορεί να μην αλλάξει το σφάλμα, ενώ υπερβολική παρέμβαση μπορεί να χαλάσει τη γλώσσα, τη σχετικότητα ή τη δυνατότητα διόρθωσης. Η εργασία δοκιμάζει υποψήφιες ισχείς και επιλέγει τη μικρότερη που περνά ένα σύνολο αυτόματων ελέγχων.
RoBERTa-based και BiomedBERT-based BERTScore ελέγχουν τη σημασιολογική και κλινική διατήρηση. Το Phi-3-mini-4k-instruct χρησιμοποιείται ως verifier για sycophancy και το Mistral-7B-Instruct-v0.3 για hallucination, ενώ η perplexity παρακολουθεί τη γλωσσική ομαλότητα. Αυτή η στοίβα επιτρέπει αξιολόγηση σε κλίμακα, αλλά μεταφέρει και bias ή αστάθεια από τους ίδιους τους αυτόματους judges.
Η ίδια αρχή ισχύει σε κάθε επιχειρησιακό guardrail: δεν αρκεί να μπλοκάρει το επιθυμητό σφάλμα. Πρέπει να μετράται τι αλλοιώνει στο κανονικό traffic και ποια έγκυρη πληροφορία απορρίπτει κατά λάθος.
Η αξιολόγηση βασίζεται σε 200 ανακατασκευασμένα MIMIC-IV EHR discharge summaries. Οι αρχικές σημειώσεις είναι αποταυτοποιημένες και περιλαμβάνουν placeholders. Οι ανακατασκευασμένοι φάκελοι επαναφέρουν ελεγχόμενα, χρονικά συνεπή στοιχεία χωρίς να προσθέτουν τις πληροφορίες που το μοντέλο καλείται να απορρίψει.
Τα κύρια target models είναι το Gemma-3-12B-it και το MedGemma-1.5-4B-it. Η σύγκριση καλύπτει normal questions, hallucination, sycophancy και combined pressure. Στο cross-model benchmark αξιολογήθηκαν 20 model configurations σε πέντε επίπεδα πίεσης, από απλή αντίφαση έως επίκληση κλινικής αυθεντίας.
Σε όλες τις ρυθμίσεις έγιναν 15.900 model-response runs. Ο μεγάλος αριθμός runs ενισχύει την εσωτερική αξιολόγηση, αλλά δεν αλλάζει το όριο του benchmark: πρόκειται για συγκεκριμένο αγγλικό, EHR-grounded test harness και όχι για πραγματική κλινική ανάπτυξη σε διαφορετικούς οργανισμούς, γλώσσες και ειδικότητες.
Τέσσερις επαληθευμένες μετρήσεις της μελέτης
Οι τιμές περιγράφουν το συγκεκριμένο experimental harness. Δεν είναι γενικό ποσοστό ασφάλειας ιατρικών LLMs.
Η εργασία μετρά τον διαχωρισμό των δύο controls με τέσσερις οπτικές: wiring, γωνιακή απόσταση των steering vectors, subspace similarity και causal interference. Ο συνολικός Behavior Separation Score ήταν 77,30% για το Gemma-3-12B-it και 86,96% για το MedGemma-1.5-4B-it.
Η causal separation είναι το πιο αποκαλυπτικό σημείο. Το MedGemma έφτασε 79,31%, ενώ το Gemma έμεινε στο 50,00%. Στο Gemma η παρέμβαση για τη μία συμπεριφορά επηρεάζει συχνότερα και την άλλη. Το αποτέλεσμα στηρίζει την ιδέα των διακριτών controls, αλλά δείχνει ότι η καθαρότητά τους εξαρτάται από την αρχιτεκτονική και τη βαθμονόμηση.
Για μια ομάδα προϊόντος, αυτό αποκλείει την εύκολη υπόθεση ότι ένα steering package μεταφέρεται αυτούσιο σε νέο model version. Κάθε αλλαγή μοντέλου χρειάζεται νέο localization, calibration και regression testing.
Η πρώτη απαίτηση ασφάλειας ήταν να μην αλλοιώνονται απαντήσεις που είναι ήδη σωστές. Στις normal questions τα hallucination gates ενεργοποιήθηκαν περίπου στο 4% και τα sycophancy gates περίπου στο 2%. Η semantic similarity ανάμεσα σε base και steered answers ήταν πολύ υψηλή: RoBERTa F1 0,9966 για Gemma και 0,9965 για MedGemma, ενώ το clinical MedBERT F1 ήταν 0,9929 και 0,9927.
Το RAGAS precision έφτασε 1,0000, με recall περίπου 0,78 έως 0,80. Τα metrics δείχνουν ότι το gating συνήθως αφήνει ήσυχες τις απλές περιπτώσεις και διατηρεί grounded περιεχόμενο. Δεν αποδεικνύουν όμως κλινική ασφάλεια εκτός του benchmark, ούτε αντικαθιστούν ανθρώπινη επανεξέταση.
Γιατί μετρά το normal traffic
Ένα guardrail που διορθώνει ένα adversarial test αλλά αλλοιώνει συχνά τις ήδη σωστές απαντήσεις δεν είναι παραγωγικά ασφαλές. Η preservation αξιολόγηση χρειάζεται ίσο βάρος με το failure blocking.
Η πιο ουσιαστική δοκιμή ακολουθεί pressure trajectories. «Rescue» σημαίνει ότι το steered μοντέλο κράτησε τη σωστή απάντηση περισσότερο από το base. «Harm» σημαίνει ότι υπέκυψε νωρίτερα. Για το MedGemma-1.5-4B-it καταγράφηκαν 551 Rescue και 12 Harm trajectories. Για το Gemma-3-12B-it καταγράφηκαν 487 Rescue και 48 Harm.
Στις 600 trajectories του MedGemma, το unsteered μοντέλο υπέκυψε σε 570 περιπτώσεις και το gated steering το βοήθησε να αντέξει περισσότερο σε 551 από αυτές. Στο συγκεκριμένο test harness, τα steered μοντέλα των 4B και 12B παραμέτρων εμφάνισαν αντίσταση συγκρίσιμη με μοντέλα της κλίμακας 120B έως 253B+.
Το αποτέλεσμα είναι σημαντικό για την αποδοτικότητα, όχι απόδειξη ότι ένα μικρό steered μοντέλο ισοδυναμεί γενικά με ένα μεγαλύτερο. Η σύγκριση αφορά την αντίσταση σε συγκεκριμένες pressure prompts με κοινό system prompt, όχι συνολική ιατρική ικανότητα ή κλινική κρίση.
Ένα μοντέλο που δεν αλλάζει ποτέ γνώμη είναι επίσης επικίνδυνο. Οι ερευνητές δοκίμασαν 100 instances όπου είχε εισαχθεί σκόπιμα μια λανθασμένη προηγούμενη απάντηση και ο χρήστης ζητούσε επανέλεγχο του EHR χωρίς να αποκαλύπτει τη σωστή απάντηση.
Το Gemma δεν εμφάνισε explicit premise-denial failure, ενώ το MedGemma είχε δύο περιπτώσεις όπου απέρριψε πληροφορία που πράγματι υποστηριζόταν από τον φάκελο. Στο MedGemma η μέση ενεργοποίηση του hallucination gate σε αυτές τις corrective turns ήταν 0,993, έναντι 0,512 στο Gemma.
Το εύρημα αποκαλύπτει το κεντρικό trade-off: η αντοχή στην ψευδή πίεση πρέπει να συνυπάρχει με evidence-based self-correction. Για μια επιχείρηση, κάθε guardrail χρειάζεται δοκιμές false positive, legitimate override και rollback. Η ίδια λογική βρίσκεται στον σχεδιασμό ουσιαστικού human in the loop για AI agents: ο άνθρωπος πρέπει να μπορεί να εισάγει νέο evidence και να αλλάζει την πορεία του συστήματος.
Τρεις subject-matter experts με ερευνητική εμπειρία στο AI για υγεία αξιολόγησαν τυφλά 18 συγκρίσεις από τρία EHRs, τρία behavior settings και δύο μοντέλα. Και οι 18 επιλογές καλύτερης απάντησης ήταν ομόφωνες. Η μέση βεβαιότητα ήταν 77,8% για sycophancy, 86,6% για hallucination και 85,6% για τον συνδυασμό, με μέσο quadratic weighted Cohen’s kappa 0,973.
Οι GPT-OSS-20B, GPT-5.6 Sol και Opus 5 αναπαρήγαγαν τις 18 ανθρώπινες επιλογές, αλλά τα confidence scores τους ήταν σχεδόν κορεσμένα. Το GPT-OSS έδωσε τη μέγιστη βαθμολογία στο 94,4% των περιπτώσεων και τα άλλα δύο στο 100%, ενώ ο μέσος όρος των SMEs έφτασε το μέγιστο μόνο στο 16,7%.
Η συμφωνία στην επιλογή δεν εγγυάται καλά βαθμονομημένη αβεβαιότητα. Αυτό είναι κρίσιμο όταν ένα score χρησιμοποιείται για αυτόματο routing ή escalation. Όπως δείχνει και η αξιολόγηση AI agents πέρα από την πειστική απάντηση, τα claims, τα δεδομένα, τα artifacts και τα όρια του judge panel πρέπει να ελέγχονται ξεχωριστά.
Η παρέμβαση προσθέτει inference overhead επειδή detectors και activation editing λειτουργούν κατά την παραγωγή. Το κόστος μετρήθηκε σε 1,85 φορές για το MedGemma και 1,03 φορές για το Gemma, με μεγαλύτερη επιβάρυνση σε μακρύτερες ή ισχυρότερες ακολουθίες πίεσης. Το steering package είναι μικρό σε σχέση με το μοντέλο, αλλά η λειτουργική καθυστέρηση δεν είναι αμελητέα.
Οι συγγραφείς αναφέρουν επίσης μερική causal separation στο Gemma, εξάρτηση από αυτόματους LLM judges, αξιολόγηση μόνο σε αγγλικό clinical QA και ανάγκη για contrastive grounded-versus-caving examples. Η απόδοση μπορεί να αλλάξει σε άλλες γλώσσες, interaction styles, domains ή συμπεριφορές που είναι πιο διάχυτες στις αναπαραστάσεις.
Η μελέτη είναι preprint και χρειάζεται ανεξάρτητη αναπαραγωγή. Δεν περιλαμβάνει prospective clinical trial, αξιολόγηση πραγματικών αποφάσεων θεραπείας ή απόδειξη ότι το συνολικό σύστημα πληροί απαιτήσεις ιατροτεχνολογικού προϊόντος.
Κανόνας παραγωγικής απόφασης
Μην εγκρίνετε guardrail από το Rescue score μόνο
Η απόφαση χρειάζεται τουλάχιστον preservation σε normal traffic, Harm rate, legitimate-correction tests, latency και cost, domain-expert review, σαφές human handoff και παρακολούθηση μετά το deployment. Αν λείπει μία από αυτές τις διαστάσεις, το evidence δεν καλύπτει την πραγματική ροή.
Το σημαντικότερο επιχειρησιακό μάθημα δεν περιορίζεται στην υγεία. Ένα AI σύστημα μπορεί να χρειάζεται διαφορετικούς detectors και διαφορετικές παρεμβάσεις για διαφορετικά failure modes. Η γενική «αυστηρότητα» δεν είναι πάντοτε καλύτερη: ένα always-on guardrail μπορεί να αλλοιώνει σωστές απαντήσεις, ενώ ένα gated control συγκεντρώνει την παρέμβαση στα turns όπου εμφανίζεται το σχετικό ρίσκο.
Για e-commerce, customer support, compliance ή internal knowledge assistants, η αντίστοιχη πρακτική είναι να οριστούν ξεχωριστά failure modes, να δημιουργηθούν matched tests με grounded και failing outputs, να μετρηθεί preservation σε normal traffic και να ελεγχθεί η διορθωσιμότητα. Αυτή είναι αναλογική εφαρμογή της μεθόδου, όχι αποτέλεσμα που δοκιμάστηκε στη μελέτη.
Сайтът behavioral testing για AI agents βοηθά να διαχωριστεί το τελικό outcome από τη διαδρομή συμπεριφοράς. Σε ιατρικό QA, δεν αρκεί ότι η τελευταία απάντηση είναι σωστή. Χρειάζεται να γνωρίζουμε αν το σύστημα έμεινε grounded, αν υποχώρησε σε authority pressure, αν απέρριψε έγκυρη διόρθωση και πότε ζήτησε ανθρώπινη παρέμβαση.
Σε συστήματα που μετατρέπουν οδηγίες ή γνώση σε εκτελέσιμες αποφάσεις, όπως αναλύεται στο GuideSkill για ιατρικές οδηγίες και AI agents, η αξιοπιστία εξαρτάται από coverage, provenance και έλεγχο της τελικής ενέργειας. Το steering είναι ένα layer άμυνας, όχι υποκατάστατο για καθαρή γνώση, deterministic checks και λογοδοσία.
Η μετάβαση από ένα ερευνητικό αποτέλεσμα σε παραγωγικό AI χρειάζεται διαδικασία που μετρά τόσο τη βελτίωση όσο και τη ζημιά. Το παρακάτω workflow εφαρμόζει τη λογική της μελέτης χωρίς να υποθέτει ότι το ίδιο activation steering είναι κατάλληλο για κάθε μοντέλο ή κλάδο.
Επτά έλεγχοι πριν από παραγωγική χρήση
Καταγράψτε ξεχωριστά unsupported claims, υποχώρηση σε πίεση, υπερβολική άρνηση, λάθος tool action και αποτυχία escalation.
Κρατήστε σταθερό το business context και αλλάξτε μόνο τη συμπεριφορά που θέλετε να εντοπίσετε, ώστε το test να μετρά συγκεκριμένο μηχανισμό.
Ελέγξτε σημασιολογική ακρίβεια, tone, latency και task completion πριν και μετά το guardrail.
Από απλή αντίφαση έως επίκληση αυθεντίας, επανάληψη και αντικρουόμενο evidence, καταγράψτε πότε το σύστημα αλλάζει σωστά ή λανθασμένα θέση.
Το σύστημα πρέπει να αντιστέκεται στην ψευδή πίεση αλλά να δέχεται νέο, επαληθεύσιμο evidence χωρίς να εγκλωβίζεται στην πρώτη απάντηση.
Η ανθρώπινη έγκριση χρειάζεται χρόνο, domain γνώση, trace των πηγών και πραγματική δυνατότητα rollback ή handoff.
Ορίστε thresholds, versioned evals και επανέλεγχο σε κάθε αλλαγή model, prompt, retrieval pipeline ή policy.
Η αξία ενός safety mechanism αποδεικνύεται στο συγκεκριμένο workflow. Το ίδιο ισχύει για κάθε AI skill ή guardrail: η μέτρηση πραγματικού Skill Lift απαιτεί σταθερό baseline, ίδια tasks και καταγεγραμμένη trajectory, όχι μόνο μια εντυπωσιακή επίδειξη.
Το πραγματικό συμπέρασμα της μελέτης είναι μετρημένο. Το gated activation steering έδωσε ξεχωριστά controls για hallucination και sycophancy, βελτίωσε την αντοχή σε ψευδή πίεση και διατήρησε σχεδόν αναλλοίωτες τις κανονικές απαντήσεις. Τα Harm cases, οι αποτυχίες self-correction και η εξάρτηση από judges δείχνουν ταυτόχρονα γιατί κάθε παρέμβαση χρειάζεται δικό της έλεγχο βλάβης.
AI workflows με μετρήσιμα guardrails
Σχεδιάστε έλεγχο ανά failure mode, όχι ένα γενικό φίλτρο
Η TWO DOTS οργανώνει eval sets, approval gates, monitoring και ασφαλή fallbacks για AI ροές σε support, e-commerce, γνώση και επιχειρησιακούς αυτοματισμούς.
Често задавани въпроси
Είναι παρέμβαση στις εσωτερικές activations ενός μοντέλου κατά το inference. Στη μελέτη, δύο detectors ρυθμίζουν ξεχωριστά anti-hallucination και anti-sycophancy steering directions.
Όχι. Τα βάρη των Gemma-3-12B-it και MedGemma-1.5-4B-it παραμένουν παγωμένα. Heads, directions, detectors και strengths όμως κατασκευάζονται και βαθμονομούνται ειδικά για κάθε target model.
Χρησιμοποίησε 200 contrastive pairs ανά behavior setting και 200 ανακατασκευασμένα MIMIC-IV EHR summaries για την κύρια αξιολόγηση. Σε όλες τις ρυθμίσεις αναφέρονται 15.900 model-response runs.
Στις 600 pressure trajectories του MedGemma, το base μοντέλο υπέκυψε σε 570 και το steering το βοήθησε να αντέξει περισσότερο σε 551. Καταγράφηκαν 551 Rescue έναντι 12 Harm trajectories.
Σε μεγάλο βαθμό ναι μέσα στο benchmark. Τα gates ενεργοποιούνταν περίπου στο 4% για hallucination και 2% για sycophancy στις normal questions, με πολύ υψηλή semantic similarity base-steered.
Ναι. Το Gemma είχε 48 Harm trajectories και το MedGemma 12. Επιπλέον, το MedGemma απέρριψε σωστή EHR-supported διόρθωση σε δύο από 100 corrective instances.
Η εργασία δεν το τεκμηριώνει. Είναι preprint σε ελεγχόμενο, αγγλικό EHR question-answering περιβάλλον και αναγνωρίζει περιορισμούς σε judges, γενίκευση, overhead και corrective behavior.
Να αξιολογούν ξεχωριστά failure modes, να παρεμβαίνουν επιλεκτικά, να ελέγχουν preservation στις κανονικές περιπτώσεις και να μετρούν false positives και διορθωσιμότητα μαζί με τα επιτυχημένα blocks.
