AffectOmni: όταν το AI δεν αρκεί να μαντέψει σωστά το συναίσθημα

Το AffectOmni δείχνει γιατί μια σωστή πρόβλεψη συναισθήματος δεν αρκεί για αξιόπιστο business AI: το μοντέλο πρέπει να συνδέει το συμπέρασμα με συγκεκριμένο πρόσωπο, παρατηρήσιμη συμπεριφορά και χρονική εξέλιξη. Η οπτική επαλήθευση που ακολουθεί είναι χρήσιμο σήμα ελέγχου, όχι απόδειξη ότι το σύστημα «κατάλαβε» πραγματικά τον άνθρωπο.

Μπορεί ένα AI να επιλέξει τη σωστή απάντηση για το συναίσθημα ή την πρόθεση ενός ανθρώπου και παρ’ όλα αυτά να έχει παρατηρήσει το λάθος στοιχείο; Αυτό είναι το κεντρικό πρόβλημα που εξετάζει το AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes. Ένα multimodal μοντέλο μπορεί να εκμεταλλευτεί το σκηνικό, τη γενική ατμόσφαιρα ή μια στατιστική συσχέτιση και να αγνοήσει το πρόσωπο, τη στάση του σώματος, τη χειρονομία ή τη σειρά των γεγονότων.

Η εργασία των Yibo Wang και συνεργατών προτείνει ένα πλαίσιο reinforcement learning με δύο ειδικές ανταμοιβές, People-Focus και Temporal-Order, καθώς και συγκριτική βαθμολόγηση των υποψήφιων απαντήσεων. Μετά την παραγωγή της απάντησης, ένα Thinking Summarizer συμπιέζει τη συλλογιστική σε ένα Minimal Evidence Package και το SAM3 επιχειρεί να εντοπίσει τα αναφερόμενα οπτικά στοιχεία σε επίπεδο pixels.

Για ομάδες marketing, customer experience, social listening και AI governance, το χρήσιμο μήνυμα δεν είναι ότι το AI «διαβάζει» πλέον αξιόπιστα τα συναισθήματα. Είναι ότι ένα συμπέρασμα για ανθρώπινη συμπεριφορά χρειάζεται ξεχωριστό evidence layer, με σαφή όρια, αποτυχίες που γίνονται ορατές και ανθρώπινο έλεγχο πριν επηρεαστεί πελάτης, εργαζόμενος ή επιχειρησιακή απόφαση.

Η σωστή απάντηση μπορεί να προκύψει για λάθος λόγο

Τα multimodal large language models έχουν βελτιωθεί στην κατανόηση εικόνας, ήχου και βίντεο. Η αξιολόγηση, όμως, συχνά περιορίζεται στο τελικό label ή στη σωστή επιλογή πολλαπλής επιλογής. Αν η απάντηση είναι σωστή, το benchmark μπορεί να μη δείξει ότι το μοντέλο βασίστηκε σε shortcut: ένα φόντο, ένα αντικείμενο ή μια εύκολη συσχέτιση που δεν αποτελεί την πραγματική ανθρώπινη ένδειξη.

Στις κοινωνικές σκηνές, οι κρίσιμες πληροφορίες είναι λεπτές και χρονικές. Περιλαμβάνουν μικροεκφράσεις, βλέμμα, συνοφρύωμα, δάκρυα, αλλαγή στάσης, χειρονομίες και αλληλεπιδράσεις ανάμεσα σε ανθρώπους. Η μετάβαση από έκπληξη σε ανακούφιση δεν αποτυπώνεται σε ένα τυχαίο καρέ. Απαιτεί να διαβαστεί η ακολουθία «πριν, κατά τη διάρκεια, μετά».

Αυτό έχει άμεση επιχειρησιακή σημασία. Ένα σύστημα που αναλύει συνεντεύξεις χρηστών, video reviews ή κλήσεις υποστήριξης μπορεί να εμφανίζει ικανοποιητικά συνολικά ποσοστά και ταυτόχρονα να είναι εύθραυστο όταν αλλάζει το περιβάλλον, ο φωτισμός, η γλώσσα του σώματος ή η πολιτισμική συνθήκη. Όπως και στα μοντέλα AI που αποκαλύπτουν προτιμήσεις μέσα από τις επιλογές τους, η τελική έξοδος δεν αρκεί για να εξηγήσει τον μηχανισμό που την παρήγαγε.

People-Focus και Temporal-Order: τι αλλάζουν

Η βάση του AffectOmni είναι το Qwen2.5-Omni-7B-Thinker. Η εκπαίδευση ακολουθεί cold-start supervised fine-tuning και δύο στάδια Group Relative Policy Optimization, γνωστό ως GRPO. Η μελέτη αναφέρει corpus 24.000 video-audio samples, τέσσερις υποψήφιες απαντήσεις ανά instance, learning rate 1×10⁻⁶, μέγιστο μήκος 2.048 tokens και τέσσερις A100 80GB.

Το People-Focus reward αξιολογεί αν η συλλογιστική αναφέρεται σε ανθρώπινες ενδείξεις: έκφραση προσώπου, στάση, κίνηση, χειρονομία και διαπροσωπική αλληλεπίδραση. Δεν ανταμείβει απλώς την εμφάνιση λέξεων σχετικών με το συναίσθημα. Στόχος είναι η απάντηση να αγκυρώνεται σε στοιχεία που θα μπορούσε να εξετάσει ένας reviewer.

Το Temporal-Order reward ελέγχει αν η περιγραφή σέβεται τη σειρά των γεγονότων και τη συναισθηματική τροχιά. Σε ένα βίντεο όπου η ένταση μετατρέπεται σε ανακούφιση, η σειρά είναι μέρος της απόδειξης. Αν αντιστραφεί, η ίδια λίστα παρατηρήσεων μπορεί να οδηγήσει σε διαφορετική ερμηνεία.

Οι δύο ανταμοιβές εφαρμόζονται στα τμήματα context και reasoning, όχι στην τελική απάντηση. Έτσι το training signal στοχεύει τον τρόπο οργάνωσης των ενδείξεων και αποφεύγει να διαρρεύσει ως έτοιμο pattern στο answer. Το design παραμένει εξειδικευμένο: σε άλλο domain θα χρειάζονταν διαφορετικά evidence criteria, ακόμη κι αν ο γενικός σκελετός έμενε ίδιος.

Γιατί η συγκριτική βαθμολόγηση δίνει καθαρότερο σήμα

Το AffectOmni δεν βαθμολογεί κάθε υποψήφια απάντηση απομονωμένα. Ο LLM judge συγκρίνει τις απαντήσεις μέσα στην ίδια ομάδα και τις κατατάσσει σχετικά. Η επιλογή απαντά σε ένα γνωστό πρόβλημα του LLM-as-a-judge: πολλές απαντήσεις συγκεντρώνονται στις υψηλές βαθμολογίες και οι διαφορές που χρειάζεται το reinforcement learning συμπιέζονται.

Στην ανάλυση της εργασίας, ο συνολικός coefficient of variation αυξήθηκε από 0,153 με ανεξάρτητη βαθμολόγηση σε 0,325 με συγκριτική. Ο within-group coefficient ανέβηκε από 0,049 σε 0,138. Στην κοινή κλίμακα 1–10, πάνω από 73% των ανεξάρτητων scores βρισκόταν στο εύρος 9–10, ενώ η συγκριτική μέθοδος διατήρησε περισσότερη διασπορά.

Το downstream αποτέλεσμα στο IntentBench αυξήθηκε από 69,78 σε 71,89. Η συσχέτιση δεν σημαίνει ότι η μέθοδος είναι καθολικά ανώτερη για κάθε judge ή dataset. Δείχνει όμως ότι, σε αυτό το setup, η σχετική σύγκριση παρήγαγε πιο διακριτό reward signal από την απομονωμένη απόλυτη κρίση.

Από το reasoning στο Minimal Evidence Package

Οι αλυσίδες συλλογισμού του μοντέλου έχουν περίπου 800–1.400 χαρακτήρες. Μπορεί να περιέχουν χρήσιμες λεπτομέρειες, αλλά είναι χαμηλής πυκνότητας και δύσκολες για εκτέλεση από άλλο σύστημα. Το Thinking Summarizer τις μετατρέπει σε δομημένο Minimal Evidence Package με key points, primary objects, emotional indicators και οδηγία για το SAM3.

Ο summarizer εκπαιδεύεται σε δύο στάδια: ένα μεγαλύτερο API model παράγει στόχους υψηλής ποιότητας και ένα μικρότερο base model προσαρμόζεται με LoRA. Έπειτα, η οδηγία διασπάται σε οντότητες και το SAM3 δημιουργεί pixel-level masks στα καρέ. Αν η συλλογιστική αναφέρει «ο άνδρας με το καρό πουκάμισο και ουδέτερη έκφραση», το audit επιχειρεί να εντοπίσει το συγκεκριμένο πρόσωπο.

Η κρίσιμη λεπτομέρεια είναι ότι η επαλήθευση γίνεται μετά την απάντηση και έξω από το training loop. Δεν προσθέτει reward και δεν αλλάζει το αποτέλεσμα. Είναι interface για έλεγχο της σχέσης ανάμεσα στη λεκτική αναφορά και σε εντοπίσιμη περιοχή του βίντεο. Η λογική θυμίζει τα ασφαλή AI automation workflows με ανθρώπινο έλεγχο: ένα ξεχωριστό βήμα επιθεώρησης πρέπει να μπορεί να εκθέσει την ασυνέπεια, όχι να την κρύβει πίσω από την τελική έξοδο.

Τι έδειξαν τα τρία βασικά benchmarks

Στο IntentBench, το AffectOmni έφτασε μέση ακρίβεια 71,89 έναντι 69,23 του HumanOmniV2. Η κατηγορία Emotion αυξήθηκε από 80,78 σε 85,44, διαφορά 4,66 ποσοστιαίων μονάδων. Το When ανέβηκε από 57,14 σε 71,43, διαφορά 14,29 μονάδων. Η Deception μειώθηκε από 66,50 σε 62,50, αλλά το bootstrap confidence interval περιλάμβανε το μηδέν, οπότε οι συγγραφείς δεν ερμηνεύουν τη μείωση ως στατιστικά αξιόπιστη.

Η εργασία χρησιμοποίησε one-sided paired bootstrap με 10.000 resamples στο πλήρες IntentBench των 2.689 ερωτήσεων. Η άνοδος στο Emotion ήταν στατιστικά σημαντική, με p=0,008 και 95% confidence interval από +1,2 έως +8,3 μονάδες. Στο How, η άνοδος 3,64 μονάδων είχε p=0,002 και διάστημα +1,3 έως +5,9.

Στο Daily-Omni, ο μέσος όρος ανέβηκε από 58,47 σε 61,90 σε σχέση με το HumanOmniV2. Το Context βελτιώθηκε κατά 4,15 μονάδες, το Reason κατά 4,01 και οι εργασίες διάρκειας 60 δευτερολέπτων κατά 5,46. Το Infer ήταν ελαφρώς χαμηλότερο, ένδειξη ότι η γενική inference ικανότητα δεν ενισχύθηκε ομοιόμορφα.

Στο WorldSense, το AffectOmni έφτασε 48,80 έναντι 47,70 του HumanOmniV2 και 48,00 του Gemini 1.5 Pro. Παρέμεινε χαμηλότερα σε Film, Tech και Performance, όπου η εξωτερική γνώση και τα cross-domain semantics έχουν μεγαλύτερο βάρος. Το αποτέλεσμα υποστηρίζει στοχευμένη βελτίωση στην οργάνωση ανθρώπινων και χρονικών ενδείξεων, όχι γενική υπεροχή σε κάθε μορφή video reasoning.

Η μεταφορά στο γενικό video QA δεν ήταν ομοιόμορφη

Για να ελεγχθεί αν η εξειδίκευση σε affective reasoning προκαλεί catastrophic forgetting, το AffectOmni αξιολογήθηκε στο NExT-QA χωρίς ειδικό fine-tuning για το συγκεκριμένο domain. Πέτυχε συνολική ακρίβεια 80,52% έναντι 79,78% του HumanOmniV2. Παρέμεινε όμως χαμηλότερα από άλλα μοντέλα παρόμοιας κλίμακας, όπως το LLaVA-Video με 83,20%.

Η ανάλυση ανά τύπο ερώτησης είναι πιο χρήσιμη από τον συνολικό μέσο. Το AffectOmni ήταν καλύτερο στο Temporal, 79,44% έναντι 76,50%, και στο Descriptive, 86,48% έναντι 83,77%. Στο Causal ήταν χαμηλότερο, 79,28% έναντι 80,50%. Το pattern ταιριάζει με τον σχεδιασμό των rewards: ενισχύεται η αγκύρωση σε οντότητες και χρόνο, όχι αναγκαστικά η γενική αιτιώδης κατανόηση.

Για μια επιχείρηση, αυτό είναι βασικό μάθημα αξιολόγησης. Κάθε reward design δημιουργεί inductive bias. Η βελτίωση σε εκείνο που μετριέται δεν πρέπει να μεταφράζεται σε αόριστη δήλωση ότι το σύστημα έγινε «πιο έξυπνο». Όπως συμβαίνει και με τα πολυβηματικά AI συστήματα που χρειάζονται ξεχωριστούς ελέγχους, κάθε κρίσιμη ικανότητα πρέπει να έχει δικό της test set και δικό της failure path.

Τι μετρά πραγματικά το audit interface

Οι συγγραφείς εξέτασαν 100 τυχαία reasoning outputs από το IntentBench. Το 84% περιείχε οπτικά τεκμήρια, το 72% χρονικά και το 89% συμπεριφορικά, ενώ το 93% περιείχε τουλάχιστον δύο από τους τρεις τύπους. Η μέτρηση έγινε με Qwen-Max judge, strict binary criterion, ελάχιστο supporting span και schema-constrained parsing. Παρουσιάζεται ως διάγνωση feasibility, όχι ως τελική μετρική ποιότητας.

Στο ίδιο δείγμα, το 98% ανέφερε πρόσωπο, το 91% οπτικό χαρακτηριστικό και το 94% εντοπίσιμη ενέργεια. Το Basic Grounding ικανοποιήθηκε στο 98% και το High-Quality Grounding στο 86%. Μόνο 39% περιείχε χαρακτηριστικά εμφάνισης, όπως χρώμα ή ρούχα. Αυτή η έλλειψη μπορεί να δυσκολεύει την ταυτοποίηση σε πολυπρόσωπες ή μερικώς κρυμμένες σκηνές.

Στο εξωτερικό audit, οι annotators έβλεπαν μόνο την ερώτηση και το segmentation του SAM3, όχι τη λεκτική συλλογιστική ή το ground-truth label. Όταν το segmentation κρίθηκε σχετικό με τον στόχο, η conditional accuracy ήταν 83,3%. Όταν κρίθηκε άσχετο, έπεφτε στο 35,3%. Η συνολική συμφωνία ήταν 77% και ο συντελεστής Phi 0,48, δηλαδή μέτρια θετική συσχέτιση.

Η διαφορά είναι χρήσιμο warning signal: όταν το οπτικό τεκμήριο αποσυνδέεται από την ερώτηση, αυξάνεται ο κίνδυνος λανθασμένης απάντησης. Δεν αποδεικνύει, όμως, ότι το segmentation είναι η εσωτερική αιτία της πρόβλεψης. Το interface είναι καλύτερο ως μηχανισμός triage και falsification παρά ως πιστοποιητικό ορθότητας.

False negatives, σαρκασμός και όρια ερμηνείας

Από τις 67 σωστές απαντήσεις του audit, οι 12 είχαν άσχετο segmentation. Πρόκειται για false-negative rate 17,9%. Μια τέτοια αστοχία μπορεί να προκύψει από bias του summarizer, αποτυχία grounding από το SAM3 ή θόρυβο στην ανθρώπινη κρίση. Επειδή ο verifier είναι ανεξάρτητος από την εκπαίδευση, το λάθος δεν αλλάζει την απάντηση, αλλά περιορίζει την κάλυψη του ελέγχου.

Η μελέτη αναγνωρίζει επίσης ότι ο χρονικός εντοπισμός παραμένει αδρός και η διάδοση σφάλματος στο verification module δεν έχει ποσοτικοποιηθεί. Η σαρκαστική ή παραπλανητική συμπεριφορά είναι ιδιαίτερα δύσκολη, επειδή απαιτεί κατανόηση της απόστασης ανάμεσα στην επιφανειακή έκφραση και στην υποκείμενη πρόθεση.

Υπάρχει και βαθύτερο όριο. Ένα βλέμμα, μια στάση ή μια έκφραση δεν έχει παντού το ίδιο νόημα. Το πολιτισμικό πλαίσιο, η νευροδιαφορετικότητα, η αναπηρία, η ποιότητα λήψης και η σχέση των συμμετεχόντων μπορούν να αλλάξουν την ερμηνεία. Ένα system card που αναφέρει μόνο benchmark accuracy δεν αρκεί. Χρειάζονται subgroup tests, out-of-distribution σενάρια και καταγραφή των περιπτώσεων όπου το σύστημα οφείλει να απέχει.

Η λογική συμφωνεί με το NIST AI Risk Management Framework: validity, reliability, transparency, explainability, privacy και fairness πρέπει να εξετάζονται ως αλληλένδετοι κίνδυνοι. Στις εφαρμογές που αποδίδουν συναισθηματικές καταστάσεις ή προθέσεις σε ανθρώπους, η ανθρώπινη εποπτεία δεν είναι διακοσμητικό βήμα αλλά μέρος του σχεδιασμού.

Τι σημαίνει για marketing, CX και video analytics

Στο customer research, ένα evidence package θα μπορούσε να υποδεικνύει σε ποιο segment μιας συνέντευξης εμφανίστηκε η παρατήρηση, ποιο πρόσωπο αφορά και ποια συμπεριφορά τη στήριξε. Ο researcher θα χρησιμοποιεί το output για προτεραιοποίηση της επιθεώρησης, όχι ως τελική διάγνωση συναισθήματος.

Στο creative testing, το σύστημα μπορεί να οργανώνει clips όπου αλλάζει η προσοχή, η στάση ή η αλληλεπίδραση, ώστε μια ομάδα να εξετάζει γρηγορότερα τα σημεία ενδιαφέροντος. Η αξιολόγηση δεν πρέπει να μετατρέπεται σε απλοϊκό score «θετικού» ή «αρνητικού» θεατή. Το ίδιο ισχύει για social listening με βίντεο: η ορατή ένδειξη είναι στοιχείο για review, όχι ασφαλής ταυτότητα εσωτερικής κατάστασης.

Στο customer support, πιθανό use case είναι η προτεραιοποίηση recordings για quality assurance όταν συμπίπτουν λεκτικές, οπτικές και χρονικές ενδείξεις. Για αποφάσεις που επηρεάζουν εξυπηρέτηση, επιστροφές, πρόσβαση ή αξιολόγηση εργαζομένων χρειάζονται αυστηρότερα approvals, retention rules και audit logs. Η σύνδεση automation και AI με πρακτικά business workflows έχει αξία μόνο όταν οι κανόνες, οι εξαιρέσεις και το fallback είναι γνωστά πριν από την ενεργοποίηση.

Το πιο μεταφέρσιμο μοτίβο του AffectOmni είναι αρχιτεκτονικό: ορίζουμε evidence criteria για το domain, παράγουμε δομημένη έξοδο, τη μετατρέπουμε σε εκτελέσιμη οδηγία και χρησιμοποιούμε ανεξάρτητο verifier. Αν ο verifier αποτύχει, το workflow πρέπει να το εκθέτει ως αβεβαιότητα και να στέλνει την περίπτωση σε άνθρωπο. Δεν πρέπει να συμπληρώνει το κενό με πειστική γλώσσα.

Ένα ασφαλέστερο πλάνο πριν από παραγωγική χρήση

Πριν από ένα production pilot, η ομάδα πρέπει να ορίσει ακριβώς ποια απόφαση υποστηρίζει το σύστημα και ποια απαγορεύεται να αυτοματοποιήσει. Άλλο η εύρεση clips για research review και άλλο η κρίση για την πρόθεση ή την αξιοπιστία ενός προσώπου. Το πρώτο μπορεί να είναι αναστρέψιμο εργαλείο παραγωγικότητας· το δεύτερο μπορεί να έχει υψηλό ανθρώπινο αντίκτυπο.

Η αξιολόγηση χρειάζεται τέσσερις ξεχωριστούς άξονες: answer accuracy, evidence relevance, localization quality και ανθρώπινη συμφωνία. Επιπλέον, πρέπει να μετρώνται false positives και false negatives του verifier, απόδοση σε σύνθετες σκηνές, διαφορετικά πολιτισμικά περιβάλλοντα και sensitivity σε αλλαγές κάμερας, φωτισμού και ήχου.

Η πιο ώριμη ανάγνωση της μελέτης είναι ότι η αξιοπιστία δεν προκύπτει από μία εντυπωσιακή μάσκα ούτε από έναν υψηλό μέσο όρο. Προκύπτει από τη δυνατότητα να αποσυνδέσουμε την απάντηση από το τεκμήριο, να μετρήσουμε και τα δύο, να εντοπίσουμε πότε διαφωνούν και να σταματήσουμε τη ροή όταν η αβεβαιότητα είναι ουσιαστική.

Το AffectOmni παραμένει ερευνητικό πλαίσιο και τα αποτελέσματά του χρειάζονται ανεξάρτητη αναπαραγωγή πέρα από τα αναφερόμενα benchmarks. Προσφέρει όμως ένα χρήσιμο design pattern για επιχειρησιακό AI: από το πειστικό output περνάμε σε evidence που μπορεί να ελεγχθεί, να αποτύχει ορατά και να αμφισβητηθεί από άνθρωπο.