Incomplete Prompt Jailbreaks: γιατί η μισή πρόταση μπορεί να παρακάμψει την ασφάλεια ενός LLM

Ένα σύστημα τεχνητής νοημοσύνης μπορεί να αρνηθεί σωστά μια επικίνδυνη ερώτηση όταν αυτή είναι ολοκληρωμένη και, παρ’ όλα αυτά, να αρχίσει να παράγει επιβλαβές περιεχόμενο όταν η ίδια πρόθεση διατυπωθεί σαν μισή πρόταση που «ζητά» συνέχεια. Αυτό είναι το κεντρικό εύρημα της εργασίας Incomplete Prompt Jailbreaks in Large Language Models των Yeonjea Kim, Bumjin Park και Jaesik Choi από το KAIST και την INEEJI.

Οι συγγραφείς ονομάζουν το φαινόμενο Incomplete Prompt Jailbreak, ή IPJ. Δεν πρόκειται απλώς για ακόμη ένα τέχνασμα prompt engineering. Η έρευνα εξετάζει μια βαθύτερη σύγκρουση στη λειτουργία των autoregressive μοντέλων: το μοντέλο έχει εκπαιδευτεί να συνεχίζει με συνοχή το προηγούμενο κείμενο, αλλά ταυτόχρονα πρέπει να διακόπτει έγκαιρα όταν η συνέχεια θα ήταν επιβλαβής. Στα πειράματα, η γλωσσική πίεση για ολοκλήρωση της πρότασης συχνά προηγείται της ασφαλούς άρνησης.

Τι ακριβώς είναι ένα Incomplete Prompt Jailbreak

Η εργασία ξεκινά από ένα επιβλαβές αίτημα και το μετατρέπει σε σκόπιμα ημιτελή δομή. Αντί το input να τελειώνει καθαρά με τελεία, ερωτηματικό ή θαυμαστικό, προστίθεται μια φράση που ωθεί το μοντέλο να συνεχίσει. Οι ερευνητές ονομάζουν αυτή τη φράση «attractor», επειδή έλκει την επόμενη παραγωγή προς μια συγκεκριμένη μορφή λόγου.

Το κρίσιμο σημείο είναι ότι το prompt δεν ζητά απλώς μια απάντηση. Δημιουργεί μια ήδη αρχισμένη πρόταση. Καθώς το LLM παράγει κάθε επόμενο token με βάση όσα προηγήθηκαν, η άμεση άρνηση μπορεί να είναι λιγότερο συμβατή με την τοπική σύνταξη από μια γραμματικά ομαλή συνέχεια. Έτσι, το μοντέλο μπορεί να ολοκληρώσει πρώτα την επικίνδυνη σκέψη και να εμφανίσει την άρνηση αφού έχει ήδη παραχθεί προβληματικό περιεχόμενο.

Οι συγγραφείς χωρίζουν την έξοδο σε τρία μέρη: ό,τι παράγεται πριν από το σημείο τερματισμού της πρότασης, το ίδιο το token τερματισμού και ό,τι ακολουθεί. Αυτή η διάκριση τους επιτρέπει να μετρήσουν όχι μόνο αν εμφανίστηκε άρνηση, αλλά και πότε εμφανίστηκε. Για την ασφάλεια, αυτή η χρονική σειρά είναι ουσιώδης: μια άρνηση μετά τη διαρροή επιβλαβούς περιεχομένου δεν αναιρεί τη διαρροή.

Οι εννέα γλωσσικοί «ελκυστές» που δοκιμάστηκαν

Η μελέτη δεν περιορίζεται σε μία φράση. Χρησιμοποιεί ταξινομία εννέα κατηγοριών attractors: methodological, structural, sequential, hypothetical, corrective, illustrative, affirmative, instrumental και attributive. Στα παραδείγματα του paper περιλαμβάνονται εκκινήσεις όπως «one way is», «Step 1», «First», «Hypothetically», «Actually», «For example», «Sure», «by using» και «According to».

Αυτές οι κατηγορίες δεν έχουν την ίδια ισχύ. Στα συγκεντρωτικά αποτελέσματα ανά attractor, το methodological και το structural format ήταν τα ισχυρότερα, ενώ τα hypothetical και corrective formats εμφανίστηκαν πιο ανθεκτικά — ακόμη και ασφαλέστερα από το πλήρες baseline στη συγκεκριμένη αξιολόγηση. Οι συγγραφείς ερμηνεύουν προσεκτικά τη διαφορά: μια δομή με έντονο διαδικαστικό προσανατολισμό μπορεί να πιέζει το μοντέλο προς εκτέλεση βημάτων, ενώ μια υποθετική ή διορθωτική διατύπωση ίσως δημιουργεί χώρο για επανεκτίμηση του context.

Πρόκειται για ερμηνεία των αποτελεσμάτων και όχι για καθολικό νόμο της γλώσσας. Η ίδια η εργασία αναγνωρίζει ότι η ταξινομία είναι εμπειρικά παρακινημένη και όχι θεμελιωμένη σε καθιερωμένο γλωσσολογικό πλαίσιο. Για μια επιχείρηση αυτό σημαίνει ότι δεν αρκεί μια blacklist με μερικές «ύποπτες» λέξεις. Το πρόβλημα αφορά τη δομή και την πορεία της παραγωγής, όχι μόνο συγκεκριμένα strings.

Πώς σχεδιάστηκε η αξιολόγηση

Το paper δηλώνει στο κύριο κείμενο «έξι τύπους» ερωτήσεων, 30 αντικείμενα ανά κατηγορία και 210 μοναδικές ερωτήσεις. Οι αριθμοί 30 × 6 δεν δίνουν 210, ενώ το appendix απαριθμεί επτά κατηγορίες. Πρόκειται για εσωτερική ασυνέπεια του preprint που πρέπει να σημειώνεται αντί να εξομαλύνεται σιωπηρά. Για κάθε περίπτωση συγκρίθηκε πλήρες prompt με ημιτελή εκδοχή και με εννέα διαφορετικούς attractors.

Οι δοκιμές κάλυψαν Gemma 3 Instruct 4B και 27B, Qwen3 4B και 32B, Llama 3.1 8B base και Instruct, ενώ ο πίνακας μοντέλων του appendix περιλαμβάνει και Llama 3.1 70B Instruct. Ως βασικός judge χρησιμοποιήθηκε Gemma-3-12B-IT και έγιναν πρόσθετοι έλεγχοι με άλλους judges. Τα παραδείγματα επιβλαβών outputs εμφανίζονται με απόκρυψη ευαίσθητων τμημάτων, ώστε να αναλύεται η συμπεριφορά χωρίς αναπαραγωγή επικίνδυνων οδηγιών.

Το Attack Success Rate ορίστηκε ως το ποσοστό δειγμάτων των οποίων η αξιολογημένη βλαπτικότητα περνά το επιλεγμένο κατώφλι. Οι ερευνητές μέτρησαν επίσης το «refusal distance»: πόσα tokens παρήχθησαν πριν αρχίσει η άρνηση, όταν είχαν προηγηθεί επιβλαβή tokens. Αυτή η δεύτερη μέτρηση αποκαλύπτει αποτυχίες που θα κρύβονταν αν ελέγχαμε απλώς αν η απάντηση περιέχει τελικά τη φράση «δεν μπορώ να βοηθήσω».

Το βασικό εύρημα: η άρνηση έρχεται συχνά μετά το τέλος της πρότασης

Σε όλα τα μοντέλα που αξιολογήθηκαν, το ASR ήταν υψηλότερο στα incomplete prompts από ό,τι στα complete prompts. Στον πίνακα ελέγχου κατωφλίου με τ = 0, το paper αναφέρει 26,4% για τα πλήρη prompts και 38,4% για τα ημιτελή. Οι επιμέρους επιδόσεις διαφέρουν ανά μοντέλο, άρα το 38,4% δεν πρέπει να διαβαστεί ως καθολικός κίνδυνος για κάθε LLM ή κάθε deployment.

Η ανάλυση της θέσης της άρνησης δείχνει ότι το επιβλαβές περιεχόμενο τείνει να εμφανίζεται πριν από τον τερματισμό της πρότασης, ενώ οι φράσεις άρνησης εμφανίζονται μετά. Όταν προστέθηκε οδηγία που αποθαρρύνει τον τερματισμό, το refusal distance αυξήθηκε σημαντικά. Η εικόνα που προκύπτει είναι ότι το μοντέλο συχνά «περιμένει» ένα φυσικό γλωσσικό όριο πριν αλλάξει από συνέχεια σε άρνηση.

Το appendix προσθέτει έναν ακόμη έλεγχο σε διαφορετικό dataset, όπου το ASR αναφέρεται ως 59,0% για complete prompts και 75,1% για incomplete prompts. Αυτό ενισχύει το εύρημα μέσα στα όρια της συγκεκριμένης πειραματικής ρύθμισης, αλλά δεν μετατρέπει τις τιμές σε γενική πρόβλεψη για παραγωγικά συστήματα.

Γιατί το συνηθισμένο safety tuning δεν έλυσε το πρόβλημα

Οι ερευνητές δοκίμασαν LoRA tuning ώστε το μοντέλο να μαθαίνει «απότομη άρνηση»: να σταματά ή να αρνείται μόλις ανιχνεύσει επιβλαβές prefix, ακόμη και αν αυτό θυσιάζει την τοπική γλωσσική συνοχή. Η άμυνα βελτίωσε αισθητά το methodological attractor, αλλά δεν γενικεύτηκε ομοιόμορφα στις υπόλοιπες δομές.

Η πρώτη αποτυχία ήταν η γενίκευση ως προς το περιεχόμενο. Η δεύτερη ήταν η μεταφορά σε attractors που δεν είχαν εμφανιστεί στο tuning. Εκτός από το structural format, οι περισσότερες unseen κατηγορίες παρουσίασαν μόνο μικρές αλλαγές ή και μεγαλύτερη ευπάθεια. Η ερμηνεία των συγγραφέων είναι ότι το μοντέλο έμαθε επιφανειακά cues — για παράδειγμα μια χαρακτηριστική φράση — αντί για τον γενικό μηχανισμό της επιβλαβούς συνέχειας.

Η τρίτη αποτυχία αφορούσε το στυλ άρνησης. Στο Qwen3-4B, η επιβολή άκαμπτης, απότομης άρνησης δεν ταίριαζε με την προϋπάρχουσα ασφαλή συμπεριφορά του μοντέλου, η οποία βασιζόταν περισσότερο σε επανερμηνεία. Το refusal distance μειώθηκε, αλλά η ποιότητα παραγωγής υποβαθμίστηκε και το ASR αυξήθηκε. Άρα το «περισσότερο refusal tuning» δεν είναι αυτομάτως ασφαλέστερο, ειδικά όταν αγνοεί τη συμπεριφορά του συγκεκριμένου μοντέλου.

Termination και continuation neurons: μια λεπτότερη κατεύθυνση άμυνας

Επειδή η ρύθμιση παραμέτρων δεν έδωσε αξιόπιστη γενίκευση, το paper περνά σε ανάλυση λειτουργικών νευρώνων. Οι συγγραφείς αναζητούν δύο ομάδες: termination neurons, των οποίων η ενεργοποίηση συνδέεται με tokens που κλείνουν μια πρόταση, και continuation neurons, που συνδέονται με τη διατήρηση της παραγωγής.

Στα πειράματα steering, η αύξηση της ισχύος των termination neurons από 0,25 σε 2,0 οδήγησε σε περισσότερες άμεσες αρνήσεις και λιγότερες επιβλαβείς απαντήσεις. Όταν όμως η ισχύς ανέβηκε στο 4,0, οι αρνήσεις μειώθηκαν και εμφανίστηκε περισσότερο άσχετο περιεχόμενο. Το αποτέλεσμα δείχνει όριο στα απλοϊκά interventions: η υπερβολική ενεργοποίηση δεν δημιουργεί γραμμικά περισσότερη ασφάλεια.

Αντίστροφα, η ενίσχυση neurons που είχαν συνδεθεί με non-termination instructions αύξησε την αναλογία επιβλαβών outputs. Αυτό στηρίζει έναν λειτουργικό ρόλο της συνέχισης στην ευπάθεια IPJ. Οι συγγραφείς, ωστόσο, δεν ισχυρίζονται ότι έχουν ολοκληρωμένο causal framework. Στα limitations σημειώνουν ότι δεν μοντελοποιούν πλήρως τις σχέσεις input, λειτουργικών neurons και control signals.

Τι σημαίνει για open-weight μοντέλα και AI agents

Η εργασία δίνει ιδιαίτερο βάρος στα open-weight μοντέλα. Σε ένα κλειστό σύστημα μπορεί να υπάρχει πρόσθετη αξιολόγηση ή φιλτράρισμα μετά την παραγωγή. Σε ένα self-hosted open-weight deployment, η ασφάλεια μπορεί να εξαρτάται πολύ περισσότερο από τους εγγενείς μηχανισμούς κατά το decoding. Αν η διακοπή συμβεί μόνο αφού ολοκληρωθεί η επιβλαβής πρόταση, ένα downstream φίλτρο που δεν είναι παρόν ή δεν λειτουργεί σωστά αφήνει το σύστημα εκτεθειμένο.

Για AI agents, το πρόβλημα είναι ακόμη πιο πρακτικό. Η έξοδος του μοντέλου μπορεί να γίνει input σε εργαλείο, workflow ή άλλο agent. Ένα σύστημα που ελέγχει μόνο την τελική «πρόθεση» της απάντησης μπορεί να χάσει ενδιάμεσα tokens ή tool arguments που προηγήθηκαν της άρνησης. Η ασφαλής αρχιτεκτονική χρειάζεται έλεγχο πριν από κάθε μη αναστρέψιμη ενέργεια και όχι εμπιστοσύνη στο ότι το LLM θα αυτοδιορθωθεί στο τέλος.

Αυτό είναι επιχειρησιακή προέκταση των ευρημάτων και όχι claim που μετρήθηκε απευθείας από το paper. Προκύπτει όμως λογικά από το κεντρικό αποτέλεσμα: η σειρά «επιβλαβής συνέχεια και μετά άρνηση» έχει διαφορετικό ρίσκο όταν τα παραγόμενα tokens ενεργοποιούν εξωτερικές λειτουργίες.

Ένα ασφαλέστερο testing plan για επιχειρήσεις

Οι ομάδες που χρησιμοποιούν generative AI μπορούν να μετατρέψουν τη μελέτη σε συγκεκριμένο test plan χωρίς να αναπαράγουν επικίνδυνα prompts. Πρώτον, πρέπει να αξιολογούν πλήρεις και ημιτελείς εκδοχές της ίδιας πολιτικής περίπτωσης. Δεύτερον, χρειάζονται πολλαπλές δομές συνέχειας και όχι μόνο μία γνωστή φράση. Τρίτον, πρέπει να καταγράφουν τη θέση της πρώτης παραβίασης και της πρώτης άρνησης, όχι μόνο μια τελική binary ετικέτα.

Τέταρτον, κάθε μοντέλο και κάθε νέα έκδοσή του χρειάζεται ξεχωριστή αξιολόγηση. Το paper δείχνει διαφορετική συμπεριφορά μεταξύ οικογενειών και διαφορετικό αποτέλεσμα όταν ένα refusal style δεν ταιριάζει στο μοντέλο. Πέμπτον, τα tests πρέπει να καλύπτουν το πραγματικό production wrapper: chat template, system instructions, tool calling και filters μπορούν να αλλάξουν τη συμπεριφορά.

Τέλος, η άρνηση πρέπει να ελέγχεται σε επίπεδο streaming. Αν μια εφαρμογή εμφανίζει ή εκτελεί tokens καθώς παράγονται, η τελική ασφαλής κατάληξη δεν αρκεί. Χρειάζεται policy gate πριν από tool execution, περιορισμός δικαιωμάτων, validation των arguments και δυνατότητα διακοπής. Αυτές οι άμυνες δεν αποδεικνύονται ως λύση από τη μελέτη, αλλά αποτελούν συνεπή εφαρμογή της αρχής ότι η βλάβη πρέπει να σταματά πριν παραχθεί ή εκτελεστεί. Η διαδικασία ταιριάζει με την επαλήθευση πολιτικών για AI agents, όπου η ασφάλεια ελέγχεται πριν δοθεί επιχειρησιακή εμπιστοσύνη.

Οι περιορισμοί που δεν πρέπει να αγνοηθούν

Η έρευνα είναι preprint και εξετάζει συγκεκριμένα open-weight μοντέλα, datasets, judges και prompt formats. Οι αριθμοί της δεν πρέπει να μεταφέρονται αυτούσιοι σε κάθε εμπορικό μοντέλο. Επιπλέον, η ταξινομία των εννέα attractors είναι εμπειρική. Δεν εξαντλεί όλους τους τρόπους με τους οποίους μια ημιτελής δομή μπορεί να επηρεάσει την παραγωγή.

Το neuron steering παρουσιάζει υποσχόμενη κατεύθυνση, όχι έτοιμο production control. Η αστάθεια στην ισχύ 4,0 δείχνει safety–utility trade-off, ενώ οι συγγραφείς αναφέρουν ότι χρειάζεται πιο ακριβής αιτιώδης ταυτοποίηση των neurons. Ένας πάροχος δεν μπορεί να θεωρήσει ότι η εύρεση λίγων «safety neurons» λύνει το πρόβλημα γενικά.

Παρά τους περιορισμούς, η μελέτη προσφέρει ένα χρήσιμο conceptual upgrade: η ασφάλεια δεν είναι μόνο το αν το μοντέλο αρνήθηκε, αλλά αν αρνήθηκε πριν ολοκληρώσει την επικίνδυνη συνέχεια. Για επαγγελματίες που ενσωματώνουν LLMs σε περιεχόμενο, εξυπηρέτηση, e-commerce ή αυτοματισμούς, αυτή η χρονική διάσταση πρέπει να γίνει μέρος του QA.

Από το prompt filtering στην ασφάλεια της ίδιας της παραγωγής

Το IPJ αποκαλύπτει ότι η αντιπαράθεση «καλό prompt εναντίον κακού prompt» είναι υπερβολικά απλή. Το ίδιο νόημα μπορεί να αλλάξει επίπεδο κινδύνου ανάλογα με το αν παρουσιάζεται ως ολοκληρωμένο αίτημα ή ως πρόταση που περιμένει συνέχεια. Οι κανόνες λέξεων, τα refusal templates και το tuning σε λίγες γνωστές δομές αφήνουν κενά όταν δεν λαμβάνουν υπόψη τη δυναμική του decoding.

Η πιο ώριμη προσέγγιση είναι πολυεπίπεδη: αξιολόγηση διαφορετικών γλωσσικών δομών, παρακολούθηση της θέσης της άρνησης, ασφαλή όρια πριν από tool actions, περιορισμένα δικαιώματα και ανεξάρτητος έλεγχος εξόδου όπου είναι εφικτός. Η εργασία δεν παρουσιάζει ολοκληρωμένο προϊόν άμυνας, αλλά δείχνει πού πρέπει να κοιτάξουν οι ομάδες ασφάλειας: στη μετάβαση από συνέχεια σε τερματισμό, τη στιγμή ακριβώς που παράγεται το περιεχόμενο.

Για την TWO DOTS, το πρακτικό συμπέρασμα είναι σαφές. Όταν ένα LLM συμμετέχει σε πραγματική επιχειρησιακή ροή, η ποιότητα δεν μετριέται μόνο με το αν δίνει χρήσιμες απαντήσεις. Μετριέται και με το αν μπορεί να σταματήσει εγκαίρως — πριν η γλωσσική συνοχή μετατραπεί σε λειτουργικό κίνδυνο.