Ερμηνεύσιμη multimodal AI: όταν τα decision trees εξηγούν τι βλέπει, ακούει και διαβάζει το μοντέλο

Ένα multimodal σύστημα μπορεί να διαβάζει το transcript μιας συνομιλίας, να αναλύει ακουστικά χαρακτηριστικά και να επεξεργάζεται οπτικά σήματα. Η δυσκολία δεν τελειώνει στη σύντηξη αυτών των πηγών. Όταν το αποτέλεσμα επηρεάζει πελάτη, εργαζόμενο, μαθητή ή ασθενή, η ομάδα πρέπει να γνωρίζει ποια ένδειξη χρησιμοποιήθηκε, αν η ένδειξη είναι κατάλληλη για τον σκοπό και αν η εξήγηση αντανακλά πράγματι τον μηχανισμό της απόφασης.

Η εργασία Interpretable Multimodal Classification with Linear Discriminant Tree Ensembles του Mojtaba Moattari προτείνει ένα interpretable-by-design πλαίσιο με context encoding, feature encoding, oblique δέντρα και positive-class-focused importance. Η βασική ιδέα είναι ενδιαφέρουσα για ομάδες που εξετάζουν AI governance μέσα στην αρχιτεκτονική: η ερμηνεία πρέπει να σχεδιάζεται μαζί με το μοντέλο, όχι να προστίθεται πρόχειρα μετά την παραγωγή.

Τι είναι η ερμηνεύσιμη multimodal AI

Multimodal AI είναι ένα σύστημα που συνδυάζει δύο ή περισσότερα είδη δεδομένων, όπως κείμενο, ήχο, εικόνα και video. Ερμηνεύσιμη multimodal AI είναι η προσπάθεια να αποδοθούν οι προβλέψεις σε κατανοητά χαρακτηριστικά ή concepts μέσα και ανάμεσα στις modalities. Στο συγκεκριμένο paper, τα concepts μπορεί να είναι λεκτικές ομάδες, ακουστικά χαρακτηριστικά και facial action units που συσχετίζονται με τη θετική ή την αρνητική κλάση.

Η ερμηνευσιμότητα δεν είναι μία ενιαία ιδιότητα. Ένας data scientist χρειάζεται πληροφορία για features, variance και failure modes. Ένας domain expert χρειάζεται concepts που αναγνωρίζει στο πεδίο του. Ένας επηρεαζόμενος άνθρωπος χρειάζεται σαφή και ουσιαστική αιτιολόγηση. Το NIST ξεχωρίζει την παροχή λόγων, τη νοηματική χρησιμότητα, την πιστότητα της εξήγησης και τη λειτουργία μόνο μέσα στα όρια για τα οποία σχεδιάστηκε το σύστημα.

Αυτός ο διαχωρισμός προστατεύει από ένα συχνό λάθος: να ονομάζεται «explainable» κάθε heatmap ή ranking μεταβλητών. Όπως συμβαίνει και με τα model cards χωρίς λειτουργικές εγγυήσεις, η ύπαρξη τεκμηρίωσης είναι απαραίτητη αλλά δεν αποδεικνύει ότι το μοντέλο συμπεριφέρεται σωστά στην πραγματική ροή.

Πώς λειτουργεί ένα Linear Discriminant Tree

Ένα κλασικό decision tree χωρίζει συνήθως τα δεδομένα με έναν κανόνα πάνω σε ένα χαρακτηριστικό κάθε φορά. Το Linear Discriminant Tree χρησιμοποιεί Linear Discriminant Analysis μέσα στον κόμβο, ώστε το όριο να μπορεί να είναι λοξό και να συνδυάζει περισσότερα χαρακτηριστικά. Η LDA προβολή αξιοποιεί τις κλάσεις για να αναζητήσει κατεύθυνση που διαχωρίζει καλύτερα τα παραδείγματα και μειώνει την ακαθαρσία του κόμβου.

Το paper επεκτείνει αυτή τη λογική σε τρεις ονομαστικές παραλλαγές: Linear Discriminant Tree, Linear Discriminant Forest και Linear Discriminant AdaBoost. Το LDT είναι ένα δέντρο, το LDF συγκεντρώνει πολλά LDA-node δέντρα με λογική forest και το LDAB ενσωματώνει τα δέντρα σε boosting. Το πλαίσιο εξετάζει επίσης PCA, FastICA και Histogram-Based Discriminant Dependency Analysis ως εναλλακτικούς projectors.

Η λοξή προβολή αυξάνει την εκφραστικότητα σε σχέση με ένα απλό axis-aligned split. Δεν κάνει, όμως, κάθε απόφαση αυτονόητη. Ένας κόμβος μπορεί να συνδυάζει πολλά χαρακτηριστικά και η τελική πρόβλεψη ενός ensemble προκύπτει από πολλούς κόμβους ή δέντρα. Η ομάδα χρειάζεται εργαλεία που συνδέουν το projection με concepts που αναγνωρίζονται από άνθρωπο.

Πώς οι modalities γίνονται κοινά concepts

Πριν φτάσουν στα δέντρα, οι είσοδοι μετατρέπονται σε tokens και features. Για το κείμενο, η μελέτη συγκρίνει sentence representations, bag-of-words και bag-of-n-grams. Για τον ήχο χρησιμοποιεί μεταξύ άλλων COVAREP features, ενώ για video αναφέρεται σε FACET-derived facial action units και κλασικούς visual descriptors. Στο custom μαθηματικό dataset χρησιμοποιούνται OCR και επεξεργασία εικόνας.

Το context integration γίνεται με K-means, eigenvalue-based binary hierarchical clustering ή multi-sense clustering. Στόχος είναι συγγενικά tokens να σχηματίζουν concepts πριν από την ταξινόμηση. Η hierarchical παραλλαγή κωδικοποιεί την πορεία στο δέντρο των clusters, ενώ η multi-sense προσέγγιση επιτρέπει σε μια λέξη να αποκτά διαφορετική σημασία ανάλογα με το πλαίσιο.

Η τεχνική αξία βρίσκεται στην προσπάθεια να περάσουμε από χιλιάδες ωμές μεταβλητές σε συσχετίσεις που μπορεί να ελέγξει ένας domain expert. Η πρακτική παγίδα είναι ότι το concept layer δεν είναι ουδέτερο. Clustering, preprocessing, feature extractor και αριθμός clusters επηρεάζουν τι θα θεωρηθεί «ίδιο concept» και συνεπώς τι θα εμφανιστεί ως σημαντικό.

Γιατί αλλάζει η feature importance

Σε ένα ανισόρροπο binary πρόβλημα, η αρνητική κλάση μπορεί να είναι πολύ μεγαλύτερη από τη θετική. Η συνηθισμένη feature importance μπορεί τότε να αναδεικνύει splits που απορρίπτουν αποτελεσματικά πολλές αρνητικές περιπτώσεις, χωρίς να εξηγεί καλά ποια στοιχεία χαρακτηρίζουν το σπάνιο θετικό συμβάν που ενδιαφέρει την επιχείρηση.

Η modified feature importance του paper επανασταθμίζει τη συνεισφορά ενός κόμβου με βάση το πώς κατανέμονται οι θετικές περιπτώσεις στους κλάδους του. Η εργασία συνοδεύει αυτή τη λογική με το F1-mod, το οποίο, όταν η αρνητική κλάση είναι τουλάχιστον τέσσερις φορές μεγαλύτερη, μειώνει την ποινή των false positives σε σχέση με το standard F1. Το standard F1 εξακολουθεί να αναφέρεται, ώστε η νέα μέτρηση να έχει σημείο σύγκρισης.

Αυτό δεν σημαίνει ότι τα false positives είναι γενικά λιγότερο σημαντικά. Η επιλογή metric πρέπει να ακολουθεί το use case. Σε fraud detection, triage, quality control ή lead prioritisation, διαφορετικά λάθη έχουν διαφορετικό κόστος. Ένα metric σχεδιασμένο για indicator detection δεν πρέπει να μεταφέρεται μηχανικά σε κάθε ταξινόμηση.

Τι μέτρησαν τα τρία datasets

Η αξιολόγηση καλύπτει το IEMOCAP για emotion recognition, το CMU-MOSI για multimodal sentiment και ένα custom Multimodal Mathematics dataset 20.000 δειγμάτων. Οι δύο πρώτες συλλογές συνδυάζουν κείμενο, ήχο και οπτικά χαρακτηριστικά ανά utterance. Το τρίτο dataset συνδυάζει κείμενο, γεωμετρικά σχήματα και εικόνες ερωτήσεων ή επιλογών.

Τα βασικά αποτελέσματα είναι μέσοι όροι δέκα ανεξάρτητων runs. Η μελέτη χρησιμοποιεί paired t-test με διόρθωση Holm έναντι του Interpretable Multimodal Routing και σημειώνει ποια αποτελέσματα έχουν p-value κάτω από 0,05. Οι εγγραφές χωρίς τη σχετική ένδειξη είχαν υψηλή διακύμανση, επομένως δεν τεκμηριώνουν στατιστικά ασφαλή υπεροχή έναντι του IMR.

Στο CMU-MOSI, η XGBoost παραλλαγή του πλαισίου αναφέρει F1-mod 71,3%, έναντι 65,5% του IMR, διαφορά 5,8 ποσοστιαίων μονάδων. Τα LDAB, LDT και LDF παρουσιάζουν υψηλές τυπικές αποκλίσεις σε επιμέρους μετρήσεις. Στο Multimodal Mathematics, το LDF φτάνει 84,2% στη ρύθμιση LS2. Στο IEMOCAP, το paper αναφέρει LDF F1-mod 67,8% για την happy κλάση έναντι 50,0% του IMR.

Η σύνοψη των συγγραφέων αναφέρει βελτίωση F1-mod 4,3% έναντι του Multimodal Transformer και accuracy 3,0% έναντι του IMR. Αυτά είναι αποτελέσματα συγκεκριμένων datasets, label settings και pipelines. Δεν αποδεικνύουν ότι κάθε tree ensemble θα ξεπεράσει έναν Transformer σε νέο domain. Η σωστή ανάγνωση είναι ότι μια interpretable-by-design λύση μπορεί να είναι ανταγωνιστική όταν η αναπαράσταση και το evaluation έχουν σχεδιαστεί για το πρόβλημα.

Τι σημαίνει η συμφωνία με ανθρώπους

Η modified feature importance εμφανίζει υψηλότερη συμφωνία από τη default μέτρηση στα δύο σχετικά benchmarks: 62,2% έναντι 43,2% στο IEMOCAP και 46,7% έναντι 32,1% στο CMU-MOSI. Το εύρημα δείχνει ότι η positive-class weighting ανέδειξε concepts πιο κοντά στις ετικέτες των annotators στη συγκεκριμένη διαδικασία αξιολόγησης.

Η βελτίωση δεν ισοδυναμεί με τέλεια ή καθολικά πιστή εξήγηση. Η καλύτερη τιμή αφήνει σημαντικό ποσοστό διαφωνίας, ενώ η συμφωνία εξαρτάται από το λεξιλόγιο, το clustering, τις κατηγορίες «happy» και «sad» και τη σύνθεση των annotators. Μια ανθρώπινη πλειοψηφία μπορεί επίσης να αναπαράγει ασάφειες ή bias του dataset.

Για production χρήση, η εξήγηση χρειάζεται δύο διαφορετικά tests. Το πρώτο είναι fidelity: αν αλλάξει ή αφαιρεθεί το concept, μεταβάλλεται η απόφαση όπως προβλέπει το importance; Το δεύτερο είναι usefulness: μπορεί ο reviewer να εντοπίσει λάθος, proxy feature ή ανεπιθύμητη συσχέτιση; Η ίδια αρχή εμφανίζεται στα behavioral tests για AI συστήματα, όπου η επιτυχημένη έξοδος δεν αρκεί χωρίς έλεγχο της συμπεριφοράς.

Οι περιορισμοί του preprint

Η μελέτη είναι preprint ενός ανεξάρτητου ερευνητή και όχι δημοσιευμένο αποτέλεσμα με καταγεγραμμένη peer review στην έκδοση που εξετάζουμε. Το ίδιο το paper δηλώνει τρεις βασικούς περιορισμούς: μεγαλύτερο training cost επειδή προσαρμόζεται LDA σε κάθε κόμβο, περιορισμένη δημογραφική και γλωσσική ποικιλία στα IEMOCAP και CMU-MOSI, και formulation της modified importance για binary targets.

Οι affect συλλογές αφορούν αγγλόφωνους πληθυσμούς της Βόρειας Αμερικής. Δεν προκύπτει ότι οι ίδιες συσχετίσεις φωνής, λέξεων ή έκφρασης μεταφέρονται σε ελληνικά δεδομένα, άλλες κουλτούρες, διαφορετικές ηλικίες ή φυσικά περιβάλλοντα εξυπηρέτησης. Η προσαρμογή απαιτεί νέο dataset, τοπικούς annotators και αξιολόγηση ανά υποομάδα.

Το custom Multimodal Mathematics dataset είναι χρήσιμο ως ελεγχόμενη δοκιμή, αλλά δεν υποκαθιστά production validation. Επιπλέον, τα ablations δείχνουν μεγάλη εξάρτηση από context integration, feature encoder και n-grams. Η διαφάνεια των επιμέρους βημάτων είναι πλεονέκτημα για audit, αλλά κάθε βήμα προσθέτει επιλογές που μπορούν να αλλάξουν την τελική ερμηνεία.

Πού έχει επιχειρηματική αξία και πού όχι

Η προσέγγιση έχει αξία όταν μια ομάδα χρειάζεται να συνδυάσει ετερογενή δεδομένα και να εξετάζει συστηματικά ποια concepts συνδέονται με ένα binary outcome. Παραδείγματα είναι η διερεύνηση quality signals σε customer support με AI agents, η ταξινόμηση εσωτερικών media assets ή η ανάλυση controlled research data. Σε κάθε περίπτωση, το paper προσφέρει κατεύθυνση για pilot και όχι έτοιμη production συνταγή.

Σε customer experience, η ανάλυση transcript, φωνής και εικόνας αγγίζει προσωπικά και ενδεχομένως βιομετρικά δεδομένα. Η τεχνική explainability δεν δημιουργεί νομική βάση ούτε αναιρεί τις αρχές σκοπού, ελαχιστοποίησης και αναλογικότητας. Για αυτό μια ροή πρέπει να ξεκινά από use-case assessment, privacy review και σαφή ανθρώπινη εποπτεία, όπως και στο CRM compliance για δεδομένα πελατών.

Το ευρωπαϊκό πλαίσιο απαιτεί ιδιαίτερη προσοχή. Η Ευρωπαϊκή Επιτροπή καταγράφει την αναγνώριση συναισθήματος σε χώρους εργασίας και εκπαιδευτικά ιδρύματα στις απαγορευμένες πρακτικές του AI Act. Άλλες χρήσεις emotion recognition ή βιομετρικής κατηγοριοποίησης μπορεί να υπάγονται σε αυστηρές υποχρεώσεις και ειδικές εξαιρέσεις. Καμία ομάδα δεν πρέπει να περάσει από research benchmark σε συλλογή πραγματικών προσώπων ή φωνών χωρίς ειδική νομική και δεοντολογική αξιολόγηση.

Για marketing, η ασφαλέστερη χρήση είναι συχνά η υποστήριξη αναλυτή σε συγκεντρωτικά ή μη ευαίσθητα δεδομένα, όχι η αυτόματη απόδοση «συναισθήματος» σε κάθε πελάτη. Οι ομάδες μπορούν να αξιοποιήσουν την ίδια μεθοδολογία για content QA, campaign assets και support taxonomy, διατηρώντας τον άνθρωπο στην τελική απόφαση. Αυτό ταιριάζει με τα AI workflows που ενισχύουν τον marketer χωρίς να καταργούν την κρίση του.

Πώς αξιολογείται πριν από το production

Το πρώτο βήμα είναι να οριστεί η απόφαση και η θετική κλάση. «Αρνητικό συναίσθημα» είναι υπερβολικά ασαφές αν η επιχειρησιακή ενέργεια είναι επιστροφή χρημάτων, escalation ή quality review. Η ομάδα πρέπει να γράψει τι ακριβώς προβλέπεται, σε ποιο χρονικό σημείο και ποιο λάθος έχει μεγαλύτερο κόστος.

Το δεύτερο βήμα είναι κοινό evaluation για interpretable και ισχυρό production baseline. Χρησιμοποιούνται τα ίδια splits, πολλαπλά runs και metrics ανά κλάση. Accuracy, standard F1, recall, calibration, variance και error slices εξετάζονται μαζί. Η μέση επίδοση δεν πρέπει να κρύβει αποτυχίες σε γλώσσα, θόρυβο, συσκευή ή πληθυσμιακή ομάδα.

Το τρίτο βήμα είναι η αξιολόγηση της ίδιας της εξήγησης. Οι reviewers ελέγχουν αν τα top concepts είναι κατανοητά, αν συνδέονται αιτιολογημένα με τον σκοπό, αν παραμένουν σταθερά σε εύλογες παραλλαγές και αν επιτρέπουν την ανακάλυψη λάθους. Για κλινικές ή ψυχικής υγείας χρήσεις χρειάζονται ακόμη αυστηρότερα όρια, όπως περιγράφεται στα όρια της AI στην ψυχική υγεία και στην ανάγκη για κλινικά κατανοητές προβλέψεις.

Η τεκμηρίωση πρέπει να συνδέει dataset version, preprocessing, hyperparameters, model build, explanation method και τελική απόφαση. Το public repository των συγγραφέων με κώδικα, preprocessed features και trained models διευκολύνει την αναπαραγωγή, αλλά η επιχείρηση χρειάζεται δικό της versioned corpus. Ένα RAIL πριν από το production βοηθά να μετατραπεί η τεχνική επίδοση σε ελεγχόμενη απόφαση.

Η explainability δεν είναι απόδειξη ορθότητας

Το ουσιαστικό μάθημα της μελέτης δεν είναι ότι τα decision trees «κέρδισαν» τους Transformers. Είναι ότι η αρχιτεκτονική, το feature representation και το evaluation μπορούν να σχεδιαστούν ώστε η εξήγηση να αποτελεί μετρήσιμο μέρος της λύσης. Σε ορισμένα benchmarks, αυτή η επιλογή διατήρησε ανταγωνιστική επίδοση και αύξησε τη συμφωνία των importance concepts με ανθρώπινες σημάνσεις.

Για μια επιχείρηση, η explainability έχει αξία όταν οδηγεί σε καλύτερο έλεγχο: αποκαλύπτει proxy features, εντοπίζει dataset drift, βοηθά τον reviewer και τεκμηριώνει γιατί ένα σύστημα σταμάτησε ή κλιμακώθηκε. Αν η εξήγηση απλώς κάνει την απόφαση να ακούγεται πειστική, αυξάνει την αυτοπεποίθηση χωρίς να αυξάνει την αξιοπιστία.

Η σωστή ερώτηση είναι επομένως: «Μπορούμε να αποδείξουμε ότι το μοντέλο λειτουργεί μέσα στα επιτρεπτά όρια του δικού μας use case και ότι η εξήγηση βοηθά να εντοπίσουμε λάθη;». Αυτή η μετάβαση από το research demo σε μετρήσιμο, αναστρέψιμο και ανθρώπινα εποπτευόμενο workflow είναι η βάση για ασφαλείς Business Automation & AI.