Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το Intent Horizon δείχνει γιατί τα AI guardrails χρειάζονται πρώιμα latent signals, model-specific calibration και άμυνα σε βάθος.
Το Intent Horizon δείχνει γιατί ένα AI guardrail δεν πρέπει να κοιτά μόνο το prompt ή την τελική απάντηση. Στη συγκεκριμένη μελέτη, η επιβλαβής πρόθεση διακρινόταν καλύτερα στις πρώιμες activations τριών μικρών γλωσσικών μοντέλων και εξασθενούσε καθώς το αθώο narrative framing ενσωματωνόταν βαθύτερα. Το Latent Intent Verification (LIV) είναι ένα πολλά υποσχόμενο πρόσθετο σήμα για white-box συστήματα, όχι υποκατάστατο για περιορισμένα δικαιώματα, ανθρώπινη έγκριση και συνεχή adversarial αξιολόγηση.
Ένα AI σύστημα μπορεί να αναγνωρίσει νωρίς ότι ένα αίτημα κρύβει επιβλαβή πρόθεση και, λίγα layers αργότερα, να το αντιμετωπίσει σαν αθώα δημιουργική άσκηση. Αυτό είναι το κεντρικό εύρημα του Truth Lies Deep: Countering Semantic Camouflage via Latent Intent Verification, μιας εργασίας του Md. Hasib Ur Rahman που έχει γίνει δεκτή στο QPAIN 2026 και είναι διαθέσιμη ως arXiv v1.
Η εργασία δεν αποδεικνύει ότι κάθε σημερινό LLM αποτυγχάνει με τον ίδιο τρόπο. Δείχνει, όμως, σε τρεις οικογένειες Small Language Models ότι ο έλεγχος μόνο στην είσοδο ή στην τελική αναπαράσταση μπορεί να χάσει ένα κρίσιμο σήμα που υπήρχε νωρίτερα μέσα στο δίκτυο. Για οργανισμούς που περνούν AI agents από demo σε παραγωγή, το εύρημα είναι υπενθύμιση ότι η ασφάλεια πρέπει να σχεδιάζεται ως σύστημα και όχι ως ένα μοναδικό φίλτρο.
Τα συνηθισμένα guardrails λειτουργούν στην περίμετρο. Ένας input classifier ελέγχει το prompt πριν φτάσει στο μοντέλο, ενώ ένας output classifier εξετάζει την απάντηση πριν δοθεί στον χρήστη. Η προσέγγιση είναι χρήσιμη όταν το επιβλαβές περιεχόμενο έχει αναγνωρίσιμο λεξιλόγιο. Η εργασία εξετάζει μια δυσκολότερη περίπτωση: το semantic camouflage, δηλαδή την απόκρυψη επιβλαβούς πρόθεσης μέσα σε ένα φαινομενικά θεμιτό πλαίσιο, όπως δημιουργική γραφή, role-play, εκπαιδευτικό σενάριο ή debugging.
Το camouflage αποσυνδέει την πρόθεση από τις προφανείς λέξεις-σήματα. Έτσι, ένα φίλτρο μπορεί να βλέπει «σενάριο ταινίας» ή «άσκηση κώδικα», ενώ το μοντέλο καλείται ουσιαστικά να εκτελέσει κάτι που θα έπρεπε να απορρίψει. Το πρόβλημα συγγενεύει με όσα βλέπουμε στο indirect prompt injection για AI agents: το επιφανειακό πλαίσιο δεν είναι αξιόπιστη απόδειξη της πραγματικής εντολής ή της επιτρεπτής δράσης.
Input guardrail
Ελέγχει το ορατό prompt πριν από το inference. Είναι απαραίτητο, αλλά μπορεί να χάσει πρόθεση που έχει τυλιχτεί σε αθώο narrative framing.
Late-layer έλεγχος
Βλέπει την τελική εσωτερική αναπαράσταση ή το output. Στη μελέτη, το benign context είχε ήδη μειώσει τη γραμμική διαχωρισιμότητα του harmful intent.
Early LIV probe
Παρατηρεί πρώιμες activations πριν από το μετρημένο collapse point. Χρειάζεται white-box πρόσβαση και model-specific calibration.
Καθώς ένα transformer επεξεργάζεται το prompt, η αναπαράστασή του μεταβάλλεται από layer σε layer. Η υπόθεση του paper είναι ότι, στα πρώτα στάδια, το μοντέλο διατηρεί μια καθαρότερη αναπαράσταση της υποκείμενης επιβλαβούς πρόθεσης. Καθώς όμως ενσωματώνει περισσότερο το benign context, αυτό το σήμα εξασθενεί. Το κρίσιμο βάθος όπου η διακριτή αναπαράσταση καταρρέει ονομάζεται Intent Horizon.
Η εργασία τοποθετεί τη μέγιστη ανακτησιμότητα του σήματος συνήθως στο πρώτο 15%–20% του συνολικού βάθους και ορίζει τον early probe στο 15%. Αυτό δεν είναι καθολική ρύθμιση για κάθε μοντέλο. Είναι εμπειρικό εύρημα για τις τρεις δοκιμασμένες αρχιτεκτονικές και, όπως δηλώνει η ίδια η εργασία, το ακριβές σημείο αλλάζει ανάλογα με το μοντέλο, το μέγεθος και τα training data.
Η αξιολόγηση έγινε στα Microsoft Phi-3-mini-4k-instruct 3,8B, Qwen2.5-1.5B-Instruct 1,5B και Google Gemma-2b-it 2B. Και τα τρία φορτώθηκαν με 4-bit NormalFloat quantization ώστε το περιβάλλον να προσεγγίζει deployments με περιορισμένους πόρους. Η επιλογή διαφορετικών οικογενειών εξετάζει αν το φαινόμενο εμφανίζεται πέρα από μία αρχιτεκτονική, χωρίς να αποδεικνύει γενίκευση σε όλα τα LLMs.
Για την εκπαίδευση των linear probes χρησιμοποιήθηκαν 2.000 ισορροπημένα ζεύγη ασφαλών και ρητά επιβλαβών prompts από το PKU-SafeRLHF. Για την αξιολόγηση δημιουργήθηκε ξεχωριστό σύνολο 100 semantically camouflaged prompts χωρίς τα προφανή trigger words του training set. Ο στόχος ήταν να ελεγχθεί αν ο classifier αναγνωρίζει latent harm signature μετά την αλλαγή του επιφανειακού framing, όχι αν απομνημονεύει λέξεις.
Οι ερευνητές εξήγαγαν activations από ένα πρώιμο σημείο στο 15% του βάθους και από το τελευταίο hidden layer. Πάνω σε αυτά εκπαίδευσαν logistic-regression classifiers με C=1,0 και L2 penalty. Το πρώιμο probe αποτελεί το Latent Intent Verification (LIV), ενώ το late probe αντιπροσωπεύει έλεγχο που βασίζεται στην τελική αναπαράσταση.
Τέσσερα επαληθευμένα σημεία του πειράματος
Οι τιμές αφορούν αποκλειστικά τη συγκεκριμένη μελέτη και δεν προβλέπουν απόδοση σε άλλα μοντέλα ή workloads.
Στο held-out adversarial set, τα late-layer probes απέτυχαν να εντοπίσουν την πλειονότητα των camouflaged attacks. Η εργασία αναφέρει detection rate 18% για το Phi-3 και 22% για το Gemma-2b, ενώ τα early LIV probes κινήθηκαν από 58% έως 65% στις τρεις αρχιτεκτονικές. Για το Qwen2.5-1.5B, η μεταφορά του ελέγχου στο layer 4 αναφέρεται ότι έφερε σχετική βελτίωση 50%.
Ο συγγραφέας συνοψίζει το πλεονέκτημα του LIV ως περιθώριο 20%–50% έναντι των late-layer guardrails, ανάλογα με την αρχιτεκτονική. Η σωστή ανάγνωση είναι συγκριτική και περιορισμένη στο πείραμα: το harmful intent δεν έλειπε από την εσωτερική επεξεργασία· είχε γίνει δυσκολότερο να διαχωριστεί γραμμικά από τα ασφαλή queries όταν ο έλεγχος γινόταν αργά.
Δεν πρέπει να μετατρέψουμε αυτά τα detection rates σε γενικό production SLA. Το dataset αξιολόγησης περιέχει 100 custom prompts, τα μοντέλα είναι μικρά και η μέτρηση αφορά έναν συγκεκριμένο classifier πάνω σε συγκεκριμένες activations. Η αξία του αποτελέσματος είναι ότι τεκμηριώνει πού μπορεί να υπάρχει πρόσθετο safety signal και όχι ότι λύνει οριστικά το jailbreak problem.
Ένα layer-by-layer sweep στο Phi-3 έδειξε πιο συγκεκριμένα την πτώση. Στα layers 0–10, τη λεγόμενη Truth Zone της εργασίας, η πιθανότητα αναγνώρισης επιβλαβούς πρόθεσης έμενε πάνω από 60% παρά το benign narrative wrapper. Μεταξύ των layers 10 και 12 εμφανίστηκε το collapse point. Από το layer 12 και μετά, στην Camouflage Zone, η πιθανότητα έπεφτε απότομα και πλησίαζε το μηδέν στην τελική έξοδο.
Αυτό το sweep αφορά το συγκεκριμένο Phi-3 setup. Δείχνει όμως γιατί ένας έλεγχος που βρίσκεται μόνο στο τέλος μπορεί να έχει λιγότερη χρήσιμη πληροφορία από έναν έλεγχο που παρεμβάλλεται νωρίτερα. Περισσότερη επεξεργασία δεν σημαίνει αναγκαστικά περισσότερη ορατότητα ως προς την ασφάλεια, ειδικά όταν η ίδια η contextualization κάνει το harmful request να μοιάζει θεμιτό.
Η παρατήρηση συμπληρώνει το μάθημα από την ασφάλεια LLM μετά το fine-tuning: το safety behavior δεν πρέπει να θεωρείται σταθερή ιδιότητα που επιβιώνει αμετάβλητη σε νέο template, context ή deployment.
Η εργασία προβάλλει σε δύο διαστάσεις hidden states από safe, harmful και camouflaged prompts. Στο τελικό layer, τα camouflaged samples εμφανίζονται μέσα στο cluster των ασφαλών queries, με αποτέλεσμα ο γραμμικός classifier της μελέτης να δυσκολεύεται και να παράγει false negatives. Στο πρώιμο layer 4, τα ίδια samples εμφανίζονται ως outliers κοντά στο harmful cluster.
Αυτή η γεωμετρική απομόνωση εξηγεί γιατί το LIV μπορεί να χρησιμοποιήσει έναν ελαφρύ linear probe αντί για δεύτερο μεγάλο shadow LLM. Χρειάζεται πρόσβαση στο κατάλληλο residual stream και έναν classifier που έχει εκπαιδευτεί και βαθμονομηθεί για το συγκεκριμένο μοντέλο. Η απλότητα του probe, ωστόσο, δεν μηδενίζει το engineering κόστος, δεν αποδεικνύει causal κατανόηση της πρόθεσης και δεν εγγυάται ανθεκτικότητα απέναντι σε adaptive attacks.
Σε ένα chatbot, ένα false negative μπορεί να σημαίνει προβληματικό κείμενο. Σε έναν agent με πρόσβαση σε email, CRM, αρχεία, κώδικα ή συναλλαγές, η ίδια αποτυχία μπορεί να οδηγήσει σε ενέργεια. Γι’ αυτό η ιδέα της white-box safety αποκτά μεγαλύτερη βαρύτητα όσο τα μοντέλα αποκτούν εργαλεία και αυτονομία. Η αξιολόγηση δεν πρέπει να περιορίζεται στο αν ο agent «πέτυχε», αλλά να καλύπτει τη διαδρομή, τα ενδιάμεσα σήματα και τα unsafe steps, όπως δείχνει και το CRATE για mobile AI agents.
Το συμπέρασμα δεν είναι να αντικαταστήσει μια επιχείρηση άμεσα τα moderation APIs. Είναι να σχεδιάσει άμυνα σε βάθος: input checks, περιορισμένα permissions, allowlists εργαλείων, approval gates στις κρίσιμες ενέργειες, output monitoring και, όταν το μοντέλο και η υποδομή το επιτρέπουν, εσωτερική επαλήθευση. Τα δυναμικά δικαιώματα ελάχιστης πρόσβασης μειώνουν τη ζημιά ακόμη κι όταν ένα safety classifier αστοχήσει.
Απόφαση παραγωγής
Το LIV είναι αισθητήρας, όχι μηχανισμός εξουσιοδότησης
Ένα υψηλό early-layer risk score μπορεί να αυστηροποιήσει την πολιτική, να παγώσει tool execution ή να ζητήσει ανθρώπινη έγκριση. Η πραγματική άδεια πρέπει να επιβάλλεται από downstream policy engine με least privilege, complete mediation, καταγραφή και αναστρέψιμες ενέργειες.
Η πιο λογική χρήση είναι ως risk signal μέσα σε policy engine. Αν το early probe δώσει υψηλή πιθανότητα harm, η εφαρμογή μπορεί να μπλοκάρει tool execution, να ζητήσει ανθρώπινη έγκριση, να περιορίσει το διαθέσιμο context ή να δρομολογήσει το αίτημα σε αυστηρότερο έλεγχο. Η απόφαση μπορεί να συνδυάζεται με τον τύπο της ενέργειας, το privilege level του χρήστη, την ευαισθησία των δεδομένων και τη δυνατότητα αντιστροφής.
Το deployment προϋποθέτει white-box πρόσβαση στις intermediate activations. Αυτό περιορίζει την εφαρμογή σε self-hosted ή κατάλληλα instrumented μοντέλα· ένα κλειστό API που επιστρέφει μόνο κείμενο δεν προσφέρει από μόνο του το residual stream που χρειάζεται ο probe. Η ομάδα χρειάζεται επίσης dataset που αντιπροσωπεύει τους πραγματικούς κινδύνους της, metrics για false positives και false negatives και σαφή incident workflow.
Η παρακολούθηση πρέπει να συνδέει το score με την πραγματική συμπεριφορά. Το behavioral testing για AI agents βοηθά να φανεί αν ένας έλεγχος μειώνει επικίνδυνα βήματα χωρίς να μπλοκάρει δυσανάλογα νόμιμες ροές, ενώ η βαθμονόμηση βεβαιότητας AI θυμίζει ότι ένα raw score δεν είναι έτοιμη πιθανότητα χωρίς outcomes από το ίδιο workload.
Πρώτον, η εξαγωγή και αξιολόγηση intermediate activations προσθέτει inference overhead. Το paper χαρακτηρίζει το LIV ελαφρύ σε σύγκριση με ένα πλήρες shadow model, αλλά αναγνωρίζει ότι το κόστος δεν είναι αμελητέο για real-time εφαρμογές. Η τελική απόφαση απαιτεί latency testing στο πραγματικό workload και όχι εκτίμηση από το μέγεθος του logistic classifier.
Δεύτερον, ένας επιτιθέμενος μπορεί θεωρητικά να προσαρμόσει την επίθεση στο συγκεκριμένο layer και να επιχειρήσει να καταστείλει το harm signal νωρίτερα. Το paper προτείνει dynamic probing depth ως μελλοντική κατεύθυνση, όχι ως ήδη αποδεδειγμένη λύση. Τρίτον, η μελέτη καλύπτει τρία SLMs και 100 custom camouflaged prompts. Η γενίκευση σε frontier models, multimodal συστήματα, άλλες γλώσσες και πραγματική παραγωγή χρειάζεται νέα αξιολόγηση.
Μια ομάδα που εξετάζει latent probing μπορεί να ξεκινήσει χωρίς να δεσμευτεί σε παραγωγικό rollout. Η σειρά έχει σημασία: πρώτα αποσαφηνίζει τον κίνδυνο και τα δικαιώματα του agent, μετά μετρά το latent signal και μόνο στο τέλος συνδέει το αποτέλεσμα με πολιτική. Το NIST AI RMF οργανώνει αυτή τη λογική ως συνεχή χαρτογράφηση, μέτρηση και διαχείριση κινδύνου, όχι ως one-off certification.
Πιλοτική αξιολόγηση LIV σε 7 βήματα
Καταγράψτε εργαλεία, δεδομένα, μη αναστρέψιμες ενέργειες και μορφές semantic camouflage που εμφανίζονται στο δικό σας support, e-commerce ή automation workflow.
Εφαρμόστε least privilege, granular tool interfaces και downstream authorization πριν χρησιμοποιήσετε οποιοδήποτε probe ως πρόσθετο risk signal.
Συμπεριλάβετε ασφαλή, ρητά harmful και semantically wrapped prompts στις γλώσσες και τα contexts της παραγωγής, χωρίς διαρροή από τα training examples του probe.
Μην αντιγράψετε το 15%. Μετρήστε πού διαχωρίζεται καλύτερα το harmful intent μετά από quantization, fine-tuning και το τελικό prompt template.
Παρακολουθήστε detection rate, false positives, false negatives και πρόσθετο χρόνο inference ανά κατηγορία ενέργειας και επίπεδο κινδύνου.
Ορίστε πότε γίνεται allow, περιορισμός εργαλείων, αυστηρότερος έλεγχος, human handoff ή block, χωρίς να αφήνετε το μοντέλο να εγκρίνει μόνο του την πρόσβασή του.
Τρέξτε shadow mode, red teaming και περιοδικό recalibration μετά από αλλαγές μοντέλου, δεδομένων ή workflow και κρατήστε audit trail για κάθε override.
Η επένδυση σε νέο safety sensor πρέπει να συγκρίνεται με εναλλακτικούς ελέγχους. Το agentic AI security stack βοηθά να ιεραρχηθεί αν το επόμενο ευρώ πρέπει να πάει σε καλύτερα permissions, isolation, observability, ανθρώπινα gates ή white-box probing. Ένα εντυπωσιακό probe με αδύναμο downstream authorization αφήνει ανοιχτό το σημαντικότερο μονοπάτι ζημιάς.
Το σημαντικότερο μήνυμα του paper είναι αρχιτεκτονικό. Η ασφάλεια δεν πρέπει να αξιολογείται μόνο από το τελικό κείμενο, επειδή η τελική αναπαράσταση μπορεί ήδη να έχει «νομιμοποιήσει» το κακόβουλο αίτημα μέσα στο αθώο πλαίσιο. Η παρατήρηση νωρίτερων states προσφέρει έναν διαφορετικό αισθητήρα, που μπορεί να συμπληρώσει και όχι να ακυρώσει τα περιμετρικά guardrails.
Για τους business owners, το διοικητικό μάθημα είναι εξίσου καθαρό: όσο μεγαλύτερη εξουσία δίνεις σε ένα AI workflow, τόσο λιγότερο πρέπει να βασίζεσαι σε μία μόνο δικλίδα. Το LIV είναι ενδιαφέρουσα κατεύθυνση με μετρήσιμο όφελος στο συγκεκριμένο πείραμα, αλλά η ώριμη εφαρμογή απαιτεί model-specific calibration, περιορισμένα permissions, συνεχή παρακολούθηση και ανθρώπινη ευθύνη για τις κρίσιμες αποφάσεις.
AI αυτοματισμοί με ελεγχόμενη δράση
Σχεδιάστε guardrails γύρω από το πραγματικό ρίσκο του workflow
Η TWO DOTS συνδέει AI automation με granular permissions, observable execution, ανθρώπινα approval gates και μετρήσιμα failure scenarios, ώστε ένα latent risk signal να οδηγεί σε σαφή πολιτική και όχι σε ψευδή αίσθηση ασφάλειας.
Συχνές ερωτήσεις
Είναι η απόκρυψη επιβλαβούς πρόθεσης μέσα σε φαινομενικά αθώο πλαίσιο, όπως δημιουργική γραφή, role-play ή debugging, ώστε ένας επιφανειακός έλεγχος να μην αναγνωρίζει εύκολα τον πραγματικό στόχο.
Είναι το κρίσιμο βάθος όπου, σύμφωνα με την εργασία, η εσωτερική αναπαράσταση του harmful intent χάνει τη διαχωρισιμότητά της καθώς το μοντέλο ενσωματώνει το benign narrative framing.
Το LIV είναι η προτεινόμενη μέθοδος που εφαρμόζει έναν ελαφρύ linear probe σε πρώιμες activations του μοντέλου, πριν από το μετρημένο collapse του harm signal.
Στα Phi-3-mini-4k-instruct 3,8B, Qwen2.5-1.5B-Instruct 1,5B και Gemma-2b-it 2B, όλα φορτωμένα με 4-bit NF4 quantization.
Όχι. Ήταν το σημείο στόχευσης των early probes στη μελέτη. Το ακριβές Intent Horizon μεταβάλλεται ανά μοντέλο, μέγεθος, training data και deployment setup, επομένως απαιτείται νέο layer sweep.
Όχι. Είναι ασφαλέστερο να χρησιμοποιείται ως συμπληρωματικό risk signal μέσα σε defense-in-depth αρχιτεκτονική με least privilege, downstream authorization, output monitoring και ανθρώπινη έγκριση.
Όχι απαραίτητα. Η μέθοδος χρειάζεται πρόσβαση σε intermediate activations. Ένα API που εκθέτει μόνο input και τελικό output δεν παρέχει από μόνο του το residual stream που απαιτεί ο probe.
Να ορίσει threat model, δικαιώματα και κόστος σφάλματος για το συγκεκριμένο AI workflow, να δημιουργήσει ανεξάρτητο evaluation set και να μετρήσει τους υπάρχοντες ελέγχους πριν προσθέσει νέο latent probe.
