Η σύντομη απάντηση: το Multi2AV-Safety δείχνει ότι ένα φίλτρο ασφαλείας μπορεί να εξετάζει κείμενο, εικόνα, ήχο και βίντεο και παρ’ όλα αυτά να χάνει τον κίνδυνο που δημιουργείται από τη σχέση τους. Η έκδοση v2 του benchmark περιλαμβάνει 11.024 επιθετικά αιτήματα, τέσσερις audio-video generators και οκτώ guards. Το πρακτικό μήνυμα για επιχειρήσεις είναι σαφές: ο έλεγχος κάθε asset χωριστά δεν ισοδυναμεί με έλεγχο της τελικής σύνθεσης. Χρειάζονται κοινή αξιολόγηση όλων των εισόδων, output-side moderation, καταγραφή της χρονικής ακολουθίας και ανθρώπινο escalation για αμφίσημες περιπτώσεις.
Τι δείχνει το Multi2AV-Safety
Ένα σύστημα δημιουργίας audio-video μπορεί να λάβει ταυτόχρονα ένα κείμενο, μια εικόνα αναφοράς, ένα ηχητικό απόσπασμα και ένα προηγούμενο video clip. Κάθε στοιχείο μπορεί να φαίνεται αθώο όταν εξετάζεται μόνο του. Όταν όμως τα στοιχεία συνδυαστούν, μπορεί να προκύψει επιβλαβές νόημα που δεν υπήρχε καθαρά σε κανένα μεμονωμένο input. Το Multi2AV-Safety δημιουργήθηκε ακριβώς για να μετρήσει αυτή τη δυσκολία.
Η τρέχουσα έκδοση v2, δημοσιευμένη στο arXiv στις 8 Οκτωβρίου 2026, επεκτείνει ουσιαστικά την αρχική εργασία. Δεν εξετάζει πλέον μόνο έναν generator και δύο omni-modal guards. Αξιολογεί τέσσερις generators, οκτώ guards και μια νέα προσέγγιση, το PerceptGuard, σε ένα ευρύτερο πρωτόκολλο. Γι’ αυτό οι αριθμοί της v1 δεν πρέπει να αναμειγνύονται με τα αποτελέσματα της v2.
Κρίσιμη διευκρίνιση: το benchmark είναι red-team αξιολόγηση με επιθετικά αιτήματα. Το recall ενός guard εδώ μετρά πόσα harmful requests εντόπισε μέσα σε αυτό το σύνολο. Δεν ισοδυναμεί με συνολική ακρίβεια moderation σε κανονική παραγωγική κίνηση και δεν περιγράφει μόνο του τα false positives σε αθώο περιεχόμενο.
Για μια επιχείρηση, η αξία της εργασίας δεν βρίσκεται μόνο στη σύγκριση μοντέλων. Βρίσκεται στο ότι ξεχωρίζει δύο διαφορετικά προβλήματα: τον κίνδυνο που αναδύεται από τη σύνθεση και τον επιβλαβή στόχο που κρύβεται με jailbreak, adversarial ή temporal τεχνικές. Η διάκριση αυτή βοηθά μια ομάδα να εντοπίσει αν το κενό βρίσκεται στην πρόσβαση στα δεδομένα, στην κοινή κατανόηση των modalities ή στην αναγνώριση της πρόθεσης.
Οι 11 συνδυασμοί εισόδων
Η εργασία χρησιμοποιεί τέσσερις κατηγορίες conditioning: text, image, audio και video, συμβολισμένες ως T, I, A και V. Εξετάζει κάθε δυνατό συνδυασμό δύο, τριών ή τεσσάρων διαφορετικών modalities. Αυτό δίνει έξι διτροπικούς συνδυασμούς, τέσσερις τριτροπικούς και έναν τετρατροπικό, συνολικά 11 configurations.
Από τα 11.024 αιτήματα, τα 8.849 είναι διτροπικά, τα 1.500 τριτροπικά και τα 675 τετρατροπικά. Οι επιθέσεις χωρίζονται σε 6.475 Direct, 2.849 Jailbreak, 975 Adversarial και 725 Temporal. Οι πέντε κατηγορίες βλάβης αφορούν βία και gore, σεξουαλικό περιεχόμενο και γυμνό, παράνομες δραστηριότητες, μίσος και διακρίσεις, καθώς και πολιτικά ευαίσθητο περιεχόμενο.
Η πλήρης κάλυψη έχει πρακτική αξία επειδή τα σύγχρονα creative workflows δεν είναι απλώς text-to-video. Ένα campaign μπορεί να χρησιμοποιεί product images, voice-over, footage, προηγούμενες σκηνές και οδηγίες κειμένου στην ίδια ροή. Η ανάλυση για τα multimodal AI agents εξηγεί ένα συγγενές πρόβλημα: το ότι ένα σύστημα αντιλαμβάνεται περισσότερες μορφές πληροφορίας δεν σημαίνει ότι τις συνδέει σωστά πριν ενεργήσει.
Composed, Diluted και Full Harm
Το Multi2AV-Safety καταγράφει χωριστά τον μηχανισμό επίθεσης και τη θέση του harmful evidence. Ο αριθμός k δηλώνει πόσα ενεργά modalities είναι επιβλαβή όταν αξιολογούνται μεμονωμένα. Αυτή η απλή μεταβλητή ξεχωρίζει τρεις δομές κινδύνου που χρειάζονται διαφορετική λογική moderation.
Composed Harm: όταν k=0, όλα τα inputs είναι benign όταν εξετάζονται χωριστά, αλλά ο συνδυασμός τους μεταφέρει harmful meaning. Το benchmark περιλαμβάνει 1.450 τέτοιες περιπτώσεις. Ένας μηχανισμός που βασίζεται μόνο σε ανεξάρτητα flags μπορεί να δει παντού «safe» και να μην ενεργοποιήσει ποτέ βαθύτερο έλεγχο.
Diluted Harm: όταν το k είναι μεγαλύτερο από μηδέν αλλά μικρότερο από το πλήθος των inputs, υπάρχει σαφές harmful evidence, όμως περιβάλλεται από benign context. Οι 7.224 περιπτώσεις αυτής της κατηγορίας μετρούν αν το guard διατηρεί την ευαισθησία του σε ένα κρίσιμο σήμα όταν προστίθενται αθώα modalities.
Full Harm: όταν κάθε ενεργό modality είναι harmful μεμονωμένα, έχουμε k ίσο με το πλήθος των inputs. Οι 2.350 περιπτώσεις λειτουργούν ως αναφορά για το πόσο ευκολότερη γίνεται η ανίχνευση όταν το evidence είναι επαναλαμβανόμενο και εμφανές.
Κανόνας moderation
Τρία ασφαλή assets δεν εγγυώνται ασφαλή σύνθεση
Η τελική απόφαση πρέπει να αξιολογεί τη σχέση ανάμεσα σε εικόνα, ήχο, κείμενο, video και χρόνο. Το approval των επιμέρους αρχείων είναι απαραίτητο, αλλά δεν αντικαθιστά ένα composition-level checkpoint πριν από τη δημοσίευση ή την αυτοματοποιημένη διανομή.
Πώς κατασκευάστηκε και ελέγχθηκε το benchmark
Η κατασκευή ξεκινά από text seeds για τέσσερις μορφές attack intent. Τα Direct seeds εκφράζουν ανοιχτά τον επιβλαβή στόχο. Τα Jailbreak, Adversarial και Temporal seeds τον αποκρύπτουν με disguise, μετασχηματισμό ή κατανομή στον χρόνο. Κάθε harmful seed συνδέεται με benign rewrite που διατηρεί το πλαίσιο και τις βασικές οντότητες, αλλά αφαιρεί το harmful content.
Στη συνέχεια τα seeds μετατρέπονται σε modality-specific inputs. Η εργασία δεν αντιγράφει απλώς την ίδια πρόταση σε τέσσερα formats. Δημιουργεί συμβατά στοιχεία της ίδιας σκηνής, ώστε οι ερευνητές να μπορούν να ελέγξουν ποια modality είναι harmful μόνη της και τι αλλάζει όταν τα inputs ερμηνευθούν μαζί. Στις temporal περιπτώσεις, το κρίσιμο γεγονός χωρίζεται σε διαδοχικά fragments, καθένα από τα οποία παραμένει benign σε απομόνωση.
Μετά από αρχικό screening, τρεις domain experts ελέγχουν σε δύο γύρους τα AI-generated samples για scenario alignment, attack intent, safety κάθε μεμονωμένου input και safety ολόκληρου του request. Μη συμμορφούμενα δείγματα αναδημιουργούνται και επανελέγχονται πριν μπουν στο benchmark.
Η αξιολόγηση των παραγόμενων outputs είναι επίσης αξιοσημείωτη. Τρεις αυτοματοποιημένοι AI judges συμφώνησαν ομόφωνα μόνο στο 62,29% των outputs και η ανθρώπινη επιθεώρηση εντόπισε αστοχίες στην κατανόηση joint audiovisual harm. Οι δημοσιευμένοι generation-safety αριθμοί βασίζονται λοιπόν σε τρεις εκπαιδευμένους experts που αξιολόγησαν ανεξάρτητα 32.592 outputs. Η ομόφωνη συμφωνία τους έφτασε το 96,26% και το Fleiss’ kappa το 0,933. Το εύρημα συνδέεται με τους περιορισμούς που έχουν οι LLM judges όταν αξιολογούν σύνθετη συμπεριφορά.
Τι έδειξαν τέσσερις generators και τα guards
Η v2 αξιολογεί τους open-source generators LTX-2, MiniMax-H3 και daVinci-MagiHuman, καθώς και την κλειστή υπηρεσία Seedance2 με τα εμπορικά της safeguards. Το συνολικό Attack Success Rate ήταν 91,65% για το LTX-2, 73,20% για το MiniMax-H3, 78,76% για το daVinci-MagiHuman και 34,02% για το Seedance2. Οι αριθμοί δεν αποτελούν γενική κατάταξη ποιότητας ή ασφάλειας πέρα από το συγκεκριμένο benchmark, τις διαθέσιμες configurations και το πρωτόκολλο της εργασίας.
Το χαμηλότερο aggregate ASR του Seedance2 δεν σημαίνει ομοιόμορφη προστασία. Στον συνδυασμό text, audio και video έφτασε 65,87%. Η πιο ευάλωτη configuration αλλάζει επίσης ανά μοντέλο. Αυτό είναι σημαντικό για procurement: ένα συνολικό average μπορεί να κρύψει ακριβώς τη σύνθεση που χρησιμοποιεί η δική σας παραγωγική ροή.
Στα guards με πρόσβαση σε όλα τα διαθέσιμα modalities, το Qwen3-Omni πέτυχε συνολικό recall 61,35% και το GuardReasoner-Omni 71,50%. Κανένα από τα δύο δεν έφτασε το 80% recall σε κάποια από τις 11 configurations. Το PerceptGuard της ίδιας εργασίας έφτασε συνολικά το 86,06%, βελτίωση 14,56 ποσοστιαίων μονάδων έναντι του GuardReasoner-Omni στο benchmark.
Η εικόνα της αξιολόγησης v2
Δημοσιευμένα αποτελέσματα της πρωτογενούς εργασίας, όχι εκτιμήσεις παραγωγής.
11.024attack requestsΌλοι οι 11 συνδυασμοί text, image, audio και video
91,65%ASR του LTX-2Target-aligned harmful outputs στο συγκεκριμένο benchmark
71,50%recall του GR-OmniΑνίχνευση harmful requests με πρόσβαση σε όλα τα inputs
86,06%recall του PerceptGuardΣυνολικό recall στην αξιολόγηση Multi2AV-Safety
Το LTX-2 είναι ιδιαίτερα σχετικό για την αγορά παραγωγής video, αλλά η έρευνα αξιολογεί την ερευνητική έκδοση και όχι κάθε μεταγενέστερο προϊόν ή preset. Η πρακτική σύγκριση του LTX 2.5 Pro και Fast αφορά κόστος και παραγωγικές επιλογές και δεν πρέπει να χρησιμοποιείται ως υποκατάστατο αυτής της ανεξάρτητης safety αξιολόγησης.
Γιατί το φίλτρο ανά modality δεν αρκεί
Η προφανής εξήγηση για μια αστοχία είναι ότι το guard δεν είδε κάποιο input. Το Multi2AV-Safety δείχνει ότι αυτό είναι μόνο μέρος του προβλήματος. Τα omni-modal Qwen3-Omni και GuardReasoner-Omni λαμβάνουν όλα τα διαθέσιμα modalities, αλλά το recall τους μειώνεται όταν τα requests γίνονται τριτροπικά ή τετρατροπικά. Η πλήρης πρόσβαση δεν εγγυάται σωστή ενοποίηση του evidence.
Στις Direct επιθέσεις με τέσσερα modalities, το GuardReasoner-Omni εντόπισε το 56% των requests όταν μόνο μία modality ήταν harmful, αλλά το 88% όταν ήταν harmful και οι τέσσερις. Σε paired control με το ίδιο harmful component και σταδιακή προσθήκη benign modalities, το recall έπεσε από 79% σε 60% για το Qwen3-Omni και από 73% σε 56% για το GuardReasoner-Omni.
Έλεγχος κάθε asset χωριστά
Εντοπίζει εμφανές harmful content σε prompt, εικόνα, audio track ή clip. Δεν σχηματίζει αναγκαστικά κοινή αναπαράσταση της σκηνής και μπορεί να χάσει νόημα που εμφανίζεται μόνο από τη σχέση ή τη σειρά των στοιχείων.
Χρήσιμο πρώτο φίλτροΤυφλό στη σύνθεση
Joint composition review
Αξιολογεί το πλήρες conditioning set, τις αλληλεπιδράσεις, τη χρονική εξέλιξη και το τελικό output. Κρατά ορατό ένα ισχυρό harmful signal ακόμη και όταν περιβάλλεται από benign context.
Κοινή σημασιολογίαΈλεγχος στον χρόνο
Το ίδιο μοτίβο εμφανίζεται και εκτός safety. Ένα σύστημα μπορεί να αναγνωρίσει frames, ήχους και αντικείμενα, αλλά να χάσει την ιστορία που τα συνδέει. Η ανάλυση για το γιατί η AI βλέπει μια ταινία αλλά χάνει την ιστορία προσφέρει ένα χρήσιμο παράλληλο για τη διαφορά ανάμεσα στην τοπική αναγνώριση και στην κατανόηση της ακολουθίας.
Τι αλλάζει με το PerceptGuard
Το PerceptGuard δεν προσπαθεί απλώς να προσθέσει περισσότερα ανεξάρτητα detectors. Εκπαιδεύει κοινό backbone με safety classification, attack-intent recognition και rationale generation. Η λογική του στηρίζεται σε structured risk perception: η εκτίμηση κινδύνου της πλήρους σύνθεσης πρέπει να συσχετίζεται με τις εκτιμήσεις των επιμέρους inputs.
Για Composed Harm, το joint risk πρέπει να αυξάνεται όταν benign inputs δημιουργούν harmful meaning μαζί. Για Diluted Harm με ένα harmful input, το benign context δεν πρέπει να ρίχνει σημαντικά τον joint risk κάτω από το risk του κρίσιμου input. Για πλήρως benign συνδυασμούς, το σύστημα αποθαρρύνεται από αδικαιολόγητη αύξηση του risk.
Η εκπαίδευση χρησιμοποιεί επίσης supervision για Direct, Jailbreak, Adversarial, Temporal και Benign intent. Στο inference, ελαφρές safety heads διαβάζουν το τελικό hidden state σε ένα forward pass, χωρίς να χρειάζεται να παραχθεί πρώτα rationale. Η εξήγηση παραμένει διαθέσιμη όταν ζητηθεί, αλλά δεν αποτελεί προϋπόθεση για κάθε απόφαση.
Το 86,06% recall είναι ισχυρότερο από τα baselines, όχι απόδειξη πλήρους λύσης. Αφήνει μετρήσιμο υπόλοιπο αστοχιών, προέρχεται από συγκεκριμένα training data και αξιολογείται στο πλαίσιο της ίδιας εργασίας. Μια εταιρεία δεν πρέπει να αντικαταστήσει το layered moderation ή το ανθρώπινο review με ένα μόνο guard, ακόμη και αν αυτό είναι καλύτερα εκπαιδευμένο για compositional risk.
Τι σημαίνει για marketing, e-commerce και creative operations
Στο marketing, ένα video δεν είναι μόνο ένα prompt. Μπορεί να συνδυάζει brand assets, μουσική, συνθετική φωνή, product shots, stock footage, captions και προηγούμενες σκηνές. Η έγκριση κάθε αρχείου από διαφορετικό owner δημιουργεί κενό ευθύνης αν κανείς δεν ελέγξει το τελικό audiovisual meaning.
Στο e-commerce, ο κίνδυνος μπορεί να εμφανιστεί όταν αθώο product image συνδυάζεται με voice-over, targeting context ή σκηνή που αλλάζει τον ισχυρισμό για το προϊόν. Το πρόβλημα δεν περιορίζεται σε ακραίο harmful content. Η ίδια αρχιτεκτονική ελέγχου βοηθά να εντοπιστούν misleading combinations, μη εγκεκριμένοι claims, ακατάλληλη τοποθέτηση προϊόντος και ασυμφωνία ανάμεσα σε δημιουργικό και landing page.
Στα creative operations, το workflow χρειάζεται δύο σημεία moderation. Το πρώτο λειτουργεί πριν από τη δημιουργία και εξετάζει το πλήρες conditioning set. Το δεύτερο λειτουργεί μετά τη δημιουργία και εξετάζει το πραγματικό audio-video output, επειδή το αποτέλεσμα μπορεί να αποκλίνει από τις εισόδους. Αν ακολουθεί αυτοματοποιημένη δημοσίευση, η απόφαση διανομής πρέπει να συνδέεται με την ακριβή έκδοση των assets και των guards που χρησιμοποιήθηκαν.
Η πολιτική πρέπει επίσης να ορίζει πώς το σύστημα επικοινωνεί ένα block ή μια αμφίσημη απόφαση. Τα όρια ενός αξιόπιστου prompt είναι χρήσιμα για τη συνεπή συμπεριφορά του agent, αλλά δεν αντικαθιστούν detectors, permissions και review του τελικού media.
Ποια logs και ποιο human review χρειάζονται
Ένα audit log πρέπει να διατηρεί περισσότερα από το τελικό text prompt. Χρειάζεται identifiers και hashes για εικόνες, audio tracks και source clips, τη χρονική σειρά των fragments, τις μετατροπές που εφαρμόστηκαν, τις εκδόσεις generator και guard, τα risk scores ανά input και σύνθεση, την απόφαση πριν από τη δημιουργία και την απόφαση πάνω στο τελικό output.
Η καταγραφή πρέπει να δείχνει επίσης ποιος άλλαξε ένα asset μετά την έγκριση. Αν το voice-over αντικατασταθεί, αν προστεθεί νέο clip ή αν γίνει re-edit της σειράς, το προηγούμενο composition approval δεν πρέπει να παραμένει έγκυρο. Το σύστημα οφείλει να επανεκτελεί τον σχετικό έλεγχο και να συνδέει το νέο αποτέλεσμα με νέα έκδοση του creative.
Το human review δεν χρειάζεται να εξετάζει κάθε χαμηλού ρίσκου output με τον ίδιο τρόπο. Πρέπει όμως να ενεργοποιείται σε ασυμφωνία μεταξύ guards, σε υψηλό composition risk, σε temporal ambiguity, σε ρυθμιζόμενο claim και σε κατηγορία όπου το κόστος αστοχίας είναι μεγάλο. Οι reviewers χρειάζονται προστασία από αχρείαστη έκθεση σε ενοχλητικό υλικό, σαφή πολιτική, δυνατότητα opt-out και καταγραφή της τελικής αιτιολόγησης.
Η επιχείρηση πρέπει να μετρά τουλάχιστον detection recall σε δικό της red-team set, false positives σε πραγματικά benign creatives, ποσοστό escalation, χρόνο ανθρώπινης απόφασης και επαναλαμβανόμενες αιτίες αστοχίας. Χωρίς αυτά τα στοιχεία, η φράση «έχουμε AI safety filters» δεν περιγράφει λειτουργική κάλυψη.
Πώς αξιολογείται ένας multimodal AI προμηθευτής
Η αξιολόγηση πρέπει να ξεκινά από το πραγματικό use case και όχι από ένα γενικό demo. Χαρτογράφησε ποια modalities εισέρχονται, ποια outputs δημιουργούνται, ποια βήματα αυτοματοποιούνται και ποιος έχει εξουσία δημοσίευσης. Στη συνέχεια ζήτησε αποδείξεις για κάθε επίπεδο ελέγχου.
Επτά βήματα για υπεύθυνο έλεγχο multimodal AI vendor
- ΚάλυψηΚατέγραψε κάθε modality και συνδυασμό που θα χρησιμοποιηθεί
Μην αρκεστείς στο text prompt. Συμπερίλαβε reference images, voice samples, μουσική, source clips, προηγούμενα frames και state από παλαιότερα βήματα.
- ΠρόσβασηΕπιβεβαίωσε τι βλέπει πραγματικά κάθε guard
Ρώτησε αν αναλύει όλο το audio και video, επιλεγμένα frames ή μόνο text και image. Περιορισμένη πρόσβαση πρέπει να καταγράφεται ως γνωστό κενό.
- ΣύνθεσηΔοκίμασε benign inputs που γίνονται risky μόνο μαζί
Χρησιμοποίησε επιτρεπτά, επιχειρησιακά σχετικά cases όπου το νόημα εμφανίζεται από τη σχέση των assets, όχι από ένα εμφανές harmful prompt.
- ΑραίωσηΠρόσθεσε benign context γύρω από ένα κρίσιμο signal
Έλεγξε αν το σύστημα διατηρεί την ευαισθησία του όταν ένα ισχυρό risk cue περιβάλλεται από περισσότερες ουδέτερες εισόδους.
- ΧρόνοςΑξιολόγησε ακολουθίες και όχι μόνο μεμονωμένα frames
Δημιούργησε temporal tests όπου κανένα clip δεν αρκεί μόνο του, αλλά η σειρά των σκηνών αλλάζει το συνολικό νόημα.
- OutputΈλεγξε το παραγόμενο audio-video πριν από τη διανομή
Το ασφαλές conditioning set δεν εγγυάται ασφαλές output. Σύνδεσε το τελικό moderation με το συγκεκριμένο render και την έκδοσή του.
- ΛειτουργίαΣυμφώνησε logs, handoff και επανέλεγχο μετά από αλλαγές
Όρισε ποιος εξετάζει αμφίσημες περιπτώσεις, ποια δεδομένα κρατούνται, πότε λήγει ένα approval και πώς ενημερώνεται το test suite.
Ένας vendor πρέπει να δίνει αποτελέσματα ανά modality combination και attack structure, όχι μόνο έναν ενιαίο safety score. Πρέπει επίσης να ξεχωρίζει recall σε red-team data από false-positive rate σε benign production data. Αν δεν μπορεί να εξηγήσει τι βλέπει το guard και πότε γίνεται output-side review, η ομάδα δεν μπορεί να υπολογίσει το residual risk.
Περιορισμοί και διάθεση του dataset
Η εργασία είναι ακόμη υπό αξιολόγηση και τα αποτελέσματα αφορούν συγκεκριμένες εκδόσεις μοντέλων, guards, prompts και διαδικασίες. Δεν αποδεικνύει ότι κάθε audio-video generator έχει το ίδιο ρίσκο. Δεν αξιολογεί κάθε εμπορική πολιτική, κάθε locale ή κάθε πιθανό creative workflow. Τα ακριβή ποσοστά πρέπει να χρησιμοποιούνται για κατανόηση του benchmark και όχι ως καθολική πρόβλεψη παραγωγής.
Το dataset περιέχει υλικό σχετικό με βία, σεξουαλικό περιεχόμενο, μίσος, παράνομες δραστηριότητες και πολιτικά ευαίσθητα θέματα. Η v2 δεν δηλώνει ότι είναι ήδη ελεύθερα διαθέσιμο. Αναφέρει ότι μετά το camera-ready σχεδιάζεται gated, research-oriented access με όρους που περιορίζουν τη χρήση σε νόμιμη έρευνα safety, robustness και red teaming. Για υψηλού ρίσκου media και attack artifacts μπορεί να ισχύσουν πρόσθετοι περιορισμοί.
Αυτό διορθώνει μια σημαντική παλαιότερη διατύπωση. Η v1 έλεγε ότι το dataset θα δημοσιοποιηθεί τον Οκτώβριο 2026. Η v2, που είναι η νεότερη πηγή, μεταθέτει τη διάθεση μετά το camera-ready και περιγράφει ελεγχόμενη πρόσβαση. Μέχρι να υπάρχει επίσημη σελίδα release και συγκεκριμένη άδεια, μια ομάδα δεν πρέπει να θεωρεί το υλικό διαθέσιμο για λήψη ή εμπορική χρήση.
Σωστή ανάγνωση: το Multi2AV-Safety αποκαλύπτει μια κατηγορία αστοχίας και προσφέρει μετρήσιμο πρωτόκολλο. Δεν αντικαθιστά risk assessment του δικού σας προϊόντος, δοκιμές με πραγματικά benign δεδομένα, νομικό έλεγχο ή διαδικασία προστασίας των ανθρώπων που κάνουν moderation.
Συμπέρασμα: η σύνθεση χρειάζεται δικό της έλεγχο
Το ουσιαστικό μάθημα του Multi2AV-Safety είναι ότι η ασφάλεια των multimodal systems δεν είναι άθροισμα τεσσάρων ανεξάρτητων filters. Ένα guard πρέπει να καταλαβαίνει τι σημαίνουν μαζί οι εισόδοι, πώς αλλάζει η σχετική βαρύτητα ενός risk signal μέσα σε benign context και τι αποκαλύπτει η χρονική ακολουθία.
Για τις επιχειρήσεις, αυτό μεταφράζεται σε συγκεκριμένη αρχιτεκτονική: input checks ανά modality, joint review του conditioning set, moderation του πραγματικού output, versioned logs, composition-level tests και ανθρώπινο escalation. Το PerceptGuard δείχνει ότι η structured risk perception μπορεί να βελτιώσει αισθητά το recall, αλλά το υπόλοιπο ρίσκο παραμένει.
Η σωστή απόφαση δεν είναι να απορριφθεί η multimodal δημιουργία. Είναι να σχεδιαστεί η παραγωγή έτσι ώστε κανένα asset, render ή αυτοματοποιημένο publish να μη θεωρείται ασφαλές μόνο επειδή πέρασε έναν τοπικό έλεγχο. Η σύνθεση είναι ξεχωριστό αντικείμενο αξιολόγησης και χρειάζεται δικό της ιδιοκτήτη, δικό της test suite και σαφή ευθύνη πριν φτάσει στον πελάτη.
Αυτοματισμοί επιχειρήσεων & AI
Σχεδιάστε multimodal AI workflows με ελέγχους πριν και μετά τη σύνθεση
Η TWO DOTS μπορεί να χαρτογραφήσει inputs, permissions, composition-level tests, output moderation, audit logs και human handoff για creative, marketing ή e-commerce αυτοματισμούς πριν συνδεθούν με πραγματική δημοσίευση.
Συχνές ερωτήσεις
Τι είναι το Multi2AV-Safety;
Είναι red-team benchmark για την ασφάλεια multimodal-conditioned audio-video generation. Περιλαμβάνει 11.024 attack requests σε όλους τους 11 συνδυασμούς δύο έως τεσσάρων inputs από text, image, audio και video.
Τι σημαίνει Composed Harm;
Σημαίνει ότι κάθε input είναι benign όταν εξετάζεται μόνο του, αλλά ο συνδυασμός ή η χρονική σειρά των inputs δημιουργεί harmful meaning.
Τι σημαίνει Diluted Harm;
Υπάρχει σαφές harmful evidence σε ένα ή περισσότερα inputs, αλλά περιβάλλεται από benign context και γίνεται δυσκολότερο να εντοπιστεί από το guard.
Ποια μοντέλα αξιολογεί η έκδοση v2;
Αξιολογεί τους generators LTX-2, MiniMax-H3, daVinci-MagiHuman και Seedance2, μαζί με οκτώ input-side guard baselines και το προτεινόμενο PerceptGuard.
Αρκεί ένα guard να βλέπει όλα τα modalities;
Όχι. Τα omni-modal baselines είχαν πρόσβαση σε όλα τα inputs, αλλά εξακολουθούσαν να χάνουν composed harm και να αποδυναμώνονται όταν ένα harmful signal περιβαλλόταν από benign context.
Τι πέτυχε το PerceptGuard;
Πέτυχε συνολικό recall 86,06% στο Multi2AV-Safety, 14,56 ποσοστιαίες μονάδες πάνω από το GuardReasoner-Omni. Το αποτέλεσμα είναι βελτίωση στο συγκεκριμένο benchmark, όχι πλήρης εξάλειψη του ρίσκου.
Είναι διαθέσιμο δημόσια το dataset;
Η v2 αναφέρει σχεδιαζόμενη gated διάθεση μετά το camera-ready, με research-oriented όρους και πιθανούς περιορισμούς για υψηλού ρίσκου media και attack artifacts. Δεν πρέπει να θεωρείται ήδη ανοικτό για εμπορική χρήση.
Ποιο είναι το πρώτο πρακτικό βήμα για μια επιχείρηση;
Να χαρτογραφήσει όλα τα inputs του πραγματικού workflow και να προσθέσει joint composition review και output-side moderation, με versioned logs και ανθρώπινο escalation πριν από αυτοματοποιημένη δημοσίευση.