Explainable AI υπό έλεγχο: γιατί το υψηλό AUC δεν εγγυάται αξιόπιστες εξηγήσεις

Ο έλεγχος Explainable AI μετρά robustness και fidelity, ώστε υψηλό AUC, SHAP ή LIME να μη θεωρούνται από μόνα τους απόδειξη αξιόπιστης εξήγησης.

Μπορεί ένα μοντέλο τεχνητής νοημοσύνης να προβλέπει σχεδόν τέλεια και ταυτόχρονα να εξηγεί τις προβλέψεις του με τρόπο ασταθή ή ουσιαστικά άχρηστο; Η απάντηση μιας νέας μελέτης είναι ξεκάθαρη: ναι. Σε σύνολο δεδομένων επισιτιστικής ασφάλειας από τη Μαδαγασκάρη, μοντέλα με AUC πάνω από 0,99 παρήγαγαν εξηγήσεις που άλλαζαν με μικρές διαταραχές ή έχαναν την ικανότητα να ξεχωρίζουν ποια χαρακτηριστικά επηρέαζαν πραγματικά την πρόβλεψη.

Το εύρημα αφορά πολύ περισσότερα από ένα ακαδημαϊκό πείραμα. Επιχειρήσεις που χρησιμοποιούν AI για πιστωτικό κίνδυνο, πρόβλεψη ζήτησης, προσωποποίηση, ανίχνευση απάτης ή ιεράρχηση leads συχνά παρουσιάζουν ένα γράφημα SHAP ή μια λίστα «σημαντικών παραγόντων» ως απόδειξη διαφάνειας. Η ύπαρξη εξήγησης, όμως, δεν ισοδυναμεί με αξιόπιστη εξήγηση. Η ίδια η εξήγηση χρειάζεται audit.

Η καλή πρόβλεψη δεν εγγυάται αξιόπιστη εξήγηση

Οι SHAP και LIME είναι από τις πιο γνωστές τεχνικές post-hoc Explainable AI. Δεν αλλάζουν το μοντέλο ούτε αποκαλύπτουν αναγκαστικά τον εσωτερικό μηχανισμό του. Παρατηρούν τη συμπεριφορά του και αποδίδουν βάρη στα input features, ώστε ένας άνθρωπος να δει ποιοι παράγοντες φαίνεται να συνέβαλαν σε μια συγκεκριμένη πρόβλεψη.

Αυτό είναι χρήσιμο μόνο αν δύο προϋποθέσεις παραμένουν αληθινές. Πρώτον, μια μικρή και επιχειρησιακά αδιάφορη μεταβολή στο input δεν πρέπει να ανατρέπει την εξήγηση. Δεύτερον, τα χαρακτηριστικά που χαρακτηρίζονται σημαντικά πρέπει όντως να επηρεάζουν το output του μοντέλου. Οι ερευνητές ονομάζουν τις δύο διαστάσεις robustness και fidelity αντίστοιχα.

Η διάκριση είναι κρίσιμη. Ένα μοντέλο μπορεί να έχει υψηλή ακρίβεια σε test set, αλλά η εξήγησή του να είναι ευαίσθητη στον θόρυβο. Μπορεί επίσης να δίνει μια εντυπωσιακή κατάταξη χαρακτηριστικών, ενώ η αφαίρεση των υποτιθέμενα σημαντικών μεταβλητών να μην αλλάζει την πρόβλεψη με τρόπο που επιβεβαιώνει αυτή την κατάταξη. Το performance metric αξιολογεί την πρόβλεψη· δεν πιστοποιεί την ποιότητα της ερμηνείας.

Αυτός είναι και ο λόγος που ένα Explainable AI framework για χρονοσειρές πρέπει να ελέγχει τη σταθερότητα της εξήγησης και όχι μόνο να παράγει ένα ακόμη visualization. Η μορφή της εξήγησης μπορεί να φαίνεται πειστική ακόμη και όταν το υποκείμενο σήμα δεν είναι σταθερό.

Η αρχιτεκτονική του Explainable AI audit

Το framework των Rosa Elysabeth Ralinirina και συνεργατών αντιμετωπίζει κάθε συνδυασμό μοντέλου και explainer σαν ξεχωριστό αντικείμενο ελέγχου. Για κάθε test instance υπολογίζει ανεξάρτητα έναν δείκτη robustness και έναν δείκτη fidelity. Στη συνέχεια τους συνδυάζει σε ένα Trust Score, με βάρη που αθροίζουν σε ένα.

Η προεπιλογή της μελέτης δίνει ίσο βάρος στις δύο διαστάσεις: 0,5 στο robustness και 0,5 στο fidelity. Αυτό δεν παρουσιάζεται ως καθολικά σωστή επιλογή. Αν μια εξήγηση προορίζεται για σταθερή επικοινωνία προς μη τεχνικούς χρήστες, η σταθερότητα μπορεί να έχει μεγαλύτερη βαρύτητα. Σε κανονιστικό ή ελεγκτικό περιβάλλον, η πιστότητα προς τη συμπεριφορά του μοντέλου μπορεί να είναι σημαντικότερη.

Η αξία της προσέγγισης δεν είναι ότι εφευρίσκει από την αρχή τις επιμέρους μετρικές. Η Jensen–Shannon divergence και το feature ablation είναι γνωστές τεχνικές. Η συμβολή είναι ότι μπαίνουν σε μία κοινή, επαναλήψιμη διαδικασία, πάνω στα ίδια δεδομένα και στο ίδιο μοντέλο, ώστε να επιτρέπουν συγκρίσεις ανάμεσα σε model–explainer pairs.

Έτσι γίνεται πιο καθαρή και η λογοδοσία. Αν δύο ομάδες χρησιμοποιούν διαφορετικούς explainers για το ίδιο μοντέλο, μπορούν να συγκρίνουν όχι μόνο την εμφάνιση των γραφημάτων αλλά και μετρήσιμες ιδιότητες. Όταν αλλάζει η έκδοση του μοντέλου, το audit μπορεί να δείξει αν η βελτίωση στην πρόβλεψη συνοδεύτηκε από υποβάθμιση της ποιότητας των εξηγήσεων. Το Trust Score λειτουργεί ως συνοπτικό σήμα, ενώ οι δύο συνιστώσες και οι καμπύλες παραμένουν απαραίτητες για διάγνωση.

Robustness: αντέχει η εξήγηση σε μικρή μεταβολή;

Για τον έλεγχο robustness, η μεθοδολογία προσθέτει μικρό Gaussian θόρυβο στο input και συγκρίνει το αρχικό διάνυσμα feature importance με εκείνο που προκύπτει μετά τη διαταραχή. Τα importance vectors κανονικοποιούνται και η απόστασή τους υπολογίζεται με Jensen–Shannon divergence. Η διαδικασία επαναλαμβάνεται και ο τελικός δείκτης πλησιάζει το 1 όταν οι εξηγήσεις παραμένουν σταθερές.

Η δοκιμή δεν λέει ότι κάθε πραγματικό business input ακολουθεί Gaussian κατανομή. Ελέγχει μια συγκεκριμένη μορφή τοπικής σταθερότητας. Η ίδια η μελέτη αναγνωρίζει ότι ένα ρεαλιστικό σενάριο ξηρασίας δεν ισοδυναμεί με τυχαίο θόρυβο στη βροχόπτωση. Σε production audit, οι perturbations πρέπει να προσαρμόζονται στους περιορισμούς του domain και στις έγκυρες σχέσεις μεταξύ μεταβλητών.

Προέκυψε και ένα αποκαλυπτικό αριθμητικό πρόβλημα. Σε ορισμένες περιπτώσεις ένα υπερβολικά βέβαιο XGBoost έκανε το TreeSHAP να επιστρέφει μηδενικά importance vectors, με αποτέλεσμα η divergence να μην ορίζεται. Οι συγγραφείς πρόσθεσαν epsilon 10⁻¹⁰ πριν από την κανονικοποίηση. Η τεχνική διόρθωση αποτρέπει τη διαίρεση με το μηδέν, αλλά δεν εξαφανίζει το ουσιαστικό εύρημα: ο explainer μπορεί να μην προσφέρει πληροφορία.

Για αυτό χρειάζονται perturbations που παραμένουν πάνω ή κοντά στην πραγματική κατανομή. Η ίδια αρχή εμφανίζεται και στο geographic domain shift: μια συμπεριφορά που φαίνεται σταθερή σε μία αγορά δεν μεταφέρεται αυτομάτως σε άλλη, αν αλλάζουν οι σχέσεις μεταξύ των δεδομένων.

Fidelity: επηρεάζουν την πρόβλεψη τα σημαντικά features;

Ο έλεγχος fidelity χρησιμοποιεί feature ablation. Για κάθε εξήγηση επιλέγει τα top-k χαρακτηριστικά, τα αντικαθιστά με τις μέσες τιμές τους και μετρά πόσο μεταβάλλεται η πρόβλεψη. Η μελέτη δοκίμασε αφαίρεση 3, 5, 10, 41 και 82 χαρακτηριστικών από σύνολο 83. Έτσι δεν εξετάζεται μόνο ένα σημείο, αλλά η μορφή ολόκληρης της καμπύλης.

Μια χρήσιμη κατάταξη importance αναμένεται να δίνει διαφοροποιημένη απόκριση: όταν αφαιρούνται τα κορυφαία χαρακτηριστικά, το μοντέλο θα πρέπει να αντιδρά διαφορετικά από ό,τι όταν αφαιρούνται σχεδόν όλα. Στο αρχικό XGBoost, όμως, η fidelity για SHAP έμεινε περίπου στο 0,620 από τα 3 έως τα 82 features. Για LIME κινήθηκε επίσης περίπου στο ίδιο επίπεδο. Η επίπεδη καμπύλη σημαίνει ότι η μετρική δεν μπορούσε να διακρίνει καλή από κακή κατάταξη.

Αυτό δεν αποδεικνύει ότι κάθε XGBoost ή κάθε SHAP είναι αναξιόπιστο. Περιγράφει τη συμπεριφορά του συγκεκριμένου μοντέλου στο συγκεκριμένο μικρό dataset. Δείχνει όμως ένα γενικό failure mode που αξίζει να αναζητείται: η υπερβολική βεβαιότητα του predictor μπορεί να συμπιέσει τη μεταβολή του output και να κάνει τον έλεγχο fidelity μη διακριτικό.

Το πείραμα στη Μαδαγασκάρη

Το case study βασίστηκε σε δεδομένα από 23 περιφέρειες της Μαδαγασκάρης για τα έτη 2010–2023. Μετά το preprocessing, το dataset είχε 253 εγγραφές, 83 features και τέσσερις κλάσεις χρόνιας δυσθρεψίας. Τα features κάλυπταν κλίμα, γεωργία, κοινωνικοοικονομικές συνθήκες, διατροφή και δημογραφία.

Η κατανομή των κλάσεων ήταν έντονα ανισόρροπη: μόνο 3 εγγραφές στην κατηγορία Acceptable, 85 στην Precarious, 114 στην Alarming και 51 στην Critical. Το train/test split ήταν 82/18, δηλαδή 208 training και 45 test instances. Εξαιτίας της σπάνιας κλάσης, η προγραμματισμένη stratified 5-fold cross-validation έδωσε μόνο 3 έγκυρα folds που περιείχαν όλες τις κλάσεις.

Δοκιμάστηκαν Random Forest, XGBoost και neural network, μαζί με regularized εκδοχές τους. Οι εξηγήσεις προήλθαν από SHAP και LIME. Το audit εκτελέστηκε σε 30 τυχαία test instances, με 10 perturbations ανά instance και θόρυβο sigma 0,1. Πρόκειται για χρήσιμη απόδειξη μεθοδολογίας, όχι για καθολική πιστοποίηση των εργαλείων.

Τι έδειξαν AUC, SHAP, LIME και Trust Score

Τα τρία αρχικά μοντέλα πέτυχαν test AUC πάνω από 0,99: 0,999 για Random Forest, 0,992 για XGBoost και 0,999 για neural network. Τα cross-validation αποτελέσματα στα τρία έγκυρα folds παρέμειναν επίσης υψηλά. Ωστόσο, η εξηγησιμότητα δεν ακολούθησε αυτόματα την ίδια εικόνα.

Στα tree-based μοντέλα, το SHAP ήταν πιο robust από το LIME. Για Random Forest οι τιμές ήταν 0,902 έναντι 0,700, ενώ για XGBoost 0,978 έναντι 0,658. Στο neural network η σχέση αντιστράφηκε ελαφρά: 0,694 για SHAP και 0,738 για LIME. Οι συγγραφείς αποδίδουν ως πιθανή εξήγηση τη δειγματοληπτική μεταβλητότητα του KernelSHAP, αλλά τη διατυπώνουν ως ερμηνεία και όχι ως ανεξάρτητα αποδεδειγμένη αιτία.

Το ισχυρότερο συνολικό Trust Score ήταν 0,871 για regularized Random Forest με SHAP. Το χαμηλότερο ήταν 0,640 για το αρχικό XGBoost με LIME. Η regularization βελτίωσε το Trust Score και στους έξι συγκρινόμενους συνδυασμούς. Παρ’ όλα αυτά, ένας ενιαίος αριθμός κρύβει μέρος της πληροφορίας: το score πρέπει να διαβάζεται μαζί με robustness, fidelity curves, uncertainty intervals και failure logs.

Η εργασία αναφέρει 95% bootstrap intervals από 10 επαναλήψεις για τα Trust Scores. Αυτή η αβεβαιότητα έχει σημασία, ιδίως όταν η διαφορά μεταξύ δύο επιλογών είναι μικρή. Η απόφαση δεν πρέπει να βασίζεται στο δεύτερο ή τρίτο δεκαδικό χωρίς έλεγχο της πρακτικής επίδρασης στο δικό μας use case.

Η regularization βοήθησε, αλλά όχι σαν μαγικό φίλτρο

Η μελέτη συνέκρινε τις αρχικές εκδόσεις με πιο περιορισμένα μοντέλα: μικρότερο βάθος και περισσότερα trees για το Random Forest, μικρότερο βάθος και learning rate με lambda 2 για XGBoost, καθώς και dropout 0,3, weight decay 10⁻⁴ και early stopping για το neural network.

Στο regularized Random Forest και στο regularized XGBoost, η AUC δεν υποχώρησε ουσιαστικά: 0,994 και 0,997 αντίστοιχα. Στο neural network έπεσε από 0,999 σε 0,888, ένα τίμημα που οι συγγραφείς συνδέουν με την επιθετική regularization πάνω σε μόλις 208 training examples. Ταυτόχρονα, το regularized neural network έδωσε πολύ πιο διακριτική καμπύλη LIME fidelity, από 0,977 στα 3 αφαιρεμένα features έως 0,802 στα 82.

Για μια ομάδα ML το μάθημα δεν είναι «βάλε περισσότερη regularization». Είναι να αξιολογεί μαζί predictive performance, calibration ή overconfidence και ποιότητα εξηγήσεων. Ένα trade-off μπορεί να είναι αποδεκτό ή όχι ανάλογα με το use case. Σε ευαίσθητες αποφάσεις, μια μικρότερη επίδοση μπορεί να αξίζει αν η συμπεριφορά γίνεται πιο ελέγξιμη· αλλού, η πτώση μπορεί να είναι υπερβολική.

Η επιλογή θυμίζει τα τέσσερα ερωτήματα πριν από την παραγωγή ενός AI μοντέλου: τι ακριβώς μετρήθηκε, για ποιον χρήστη, με ποιο κόστος λάθους και ποια διαδικασία αναλαμβάνει όταν η ένδειξη δεν είναι αρκετή.

Τι σημαίνει για e-commerce, marketing και support

Στο e-commerce, ένα μοντέλο μπορεί να αποφασίζει ποιον πελάτη θα στοχεύσει μια καμπάνια, ποια παραγγελία φαίνεται ύποπτη ή ποιο προϊόν θα εμφανιστεί πρώτο. Ένα dashboard μπορεί να αναφέρει ότι η «τιμή», η «συχνότητα αγοράς» ή η «πηγή traffic» ήταν καθοριστικοί παράγοντες. Χωρίς robustness test, δεν γνωρίζουμε αν μια μικρή μεταβολή στα δεδομένα αλλάζει ριζικά αυτή την ιστορία.

Χωρίς fidelity test, δεν γνωρίζουμε αν η κατάταξη των factors αντανακλά τη συμπεριφορά του μοντέλου. Αν η marketing ομάδα αλλάξει budget επειδή ένας explainer χαρακτήρισε ένα κανάλι «σημαντικό», χρειάζεται απόδειξη ότι η αφαίρεση ή μεταβολή αυτού του feature έχει συνεπή σχέση με το output. Διαφορετικά, η εξήγηση μπορεί να δημιουργήσει ψευδή αυτοπεποίθηση. Η διάκριση από την αιτιότητα παραμένει επίσης ουσιώδης, όπως δείχνει η Causal AI στις επιχειρηματικές αποφάσεις.

Η πρακτική εφαρμογή πρέπει να είναι domain-specific. Στα δεδομένα πελατών, έγκυρες perturbations ίσως πρέπει να διατηρούν λογικές σχέσεις μεταξύ ηλικίας λογαριασμού, αριθμού παραγγελιών και συνολικής αξίας. Η τυχαία ανεξάρτητη μεταβολή τους θα μπορούσε να παράγει μη ρεαλιστικούς πελάτες. Αντίστοιχα, η αντικατάσταση με μέσες τιμές στο ablation μπορεί να δημιουργεί σημεία εκτός της πραγματικής κατανομής.

Το ίδιο ισχύει για customer service και fraud detection. Μια εξήγηση που αλλάζει έντονα από μια αμελητέα διαφορά στη διατύπωση ή σε ένα πεδίο συναλλαγής μπορεί να δυσκολέψει τον ανθρώπινο reviewer και να παράγει ασυνεπείς ενέργειες. Το audit δεν υποκαθιστά τον υπεύθυνο διαδικασίας, αλλά του προσφέρει ένδειξη για το πότε η εξήγηση είναι αρκετά σταθερή ώστε να χρησιμοποιηθεί και πότε χρειάζεται δεύτερος έλεγχος.

Επτά βήματα για σοβαρό Explainable AI audit

Πρώτο βήμα είναι να οριστεί ποιος καταναλώνει την εξήγηση και για ποια απόφαση. Άλλη απαίτηση έχει ένα εσωτερικό debugging εργαλείο και άλλη μια αιτιολόγηση που βλέπει πελάτης ή ελεγκτής. Αυτό καθορίζει τα αποδεκτά όρια, το κόστος αποτυχίας και τη βαρύτητα robustness και fidelity.

Το report πρέπει να αποθηκεύει επίπεδα ablation, τύπο και μέγεθος perturbation, αριθμό επαναλήψεων, sampling seed, εκδόσεις βιβλιοθηκών, confidence intervals και γνωστές αστοχίες. Έτσι αποκτά νόημα το audit trail για αποφάσεις AI: η εξήγηση συνδέεται με αναπαραγώγιμο τεχνικό συμβάν και όχι με ένα αποκομμένο screenshot.

Περιορισμοί και παγίδες ερμηνείας

Οι συγγραφείς καταγράφουν επτά σημαντικούς περιορισμούς. Το dataset είναι μικρό και έχει μόλις τρία παραδείγματα στη μία κλάση. Το ablation έχει υπολογιστικό κόστος που αυξάνει με features και instances. Οι Gaussian perturbations δεν μοντελοποιούν πάντα ρεαλιστικές αλλαγές. Τα βάρη του Trust Score απαιτούν κρίση από το domain.

Επιπλέον, το framework καλύπτει feature attribution και δεν εφαρμόζεται αυτούσιο σε counterfactual ή rule-based explanations. Η υπερπροσαρμογή μπορεί να αφαιρέσει διακριτική ισχύ από τη fidelity, άρα χρειάζονται προηγουμένως regularization ή calibration. Τέλος, η υψηλή διαχωρισιμότητα των κατηγοριών στη συγκεκριμένη βάση σημαίνει ότι οι αριθμητικές επιδόσεις δεν πρέπει να μεταφερθούν μηχανικά σε άλλα domains.

Υπάρχει και μια ευρύτερη προειδοποίηση για τα feature importance tests: η αφαίρεση ή permutation ενός χαρακτηριστικού μπορεί να οδηγήσει το μοντέλο σε περιοχές του feature space που δεν υπήρχαν στην εκπαίδευση. Συνεπώς, ακόμη και ένα ποσοτικοποιημένο audit δεν πρέπει να παρουσιάζεται ως απόλυτη απόδειξη αιτιότητας.

Τα NIST principles διαχωρίζουν την ύπαρξη εξήγησης από το αν αυτή είναι ουσιαστική για τον συγκεκριμένο χρήστη, αν αντανακλά σωστά τη διαδικασία του συστήματος και αν το σύστημα γνωρίζει τα όριά του. Αυτό σημαίνει ότι robustness και fidelity είναι κρίσιμοι έλεγχοι, αλλά δεν καλύπτουν μόνοι τους usability, fairness, privacy, governance ή την ανθρώπινη κατανόηση. Τα μοτίβα διεπαφής για διαφάνεια AI παραμένουν ξεχωριστό μέρος του σχεδιασμού.

Από το explainability dashboard στη διακυβέρνηση AI

Η πιο χρήσιμη αλλαγή νοοτροπίας είναι να αντιμετωπίζουμε την εξήγηση ως output που χρειάζεται quality assurance. Δεν αρκεί να εγκαταστήσουμε ένα library, να δημιουργήσουμε ένα SHAP plot και να θεωρήσουμε ότι το σύστημα έγινε διαφανές. Η σταθερότητα, η πιστότητα, τα numerical edge cases και οι συνθήκες αποτυχίας πρέπει να ελέγχονται και να καταγράφονται.

Για τις επιχειρήσεις αυτό σημαίνει versioned audit reports, σύνδεση κάθε report με συγκεκριμένο model build, dataset και explainer configuration, καθώς και σαφή thresholds για escalation. Όταν οι εξηγήσεις ενημερώνουν ανθρώπινες αποφάσεις, ο reviewer πρέπει να γνωρίζει πότε το score είναι χαμηλό, πότε μια καμπύλη είναι επίπεδη και πότε το metric δεν έχει επαρκή διακριτική ισχύ.

Χρειάζεται επίσης διάκριση ανάμεσα σε monitoring και certification. Το monitoring ανιχνεύει μεταβολές με τον χρόνο και ειδοποιεί όταν οι δείκτες ξεφεύγουν. Η πιστοποίηση απαιτεί επιπλέον κριτήρια, ανεξάρτητη αξιολόγηση και κανόνες αποδοχής που δεν ορίζει η συγκεκριμένη εργασία. Ο τίτλος της μελέτης περιγράφει πορεία προς trust certification, αλλά τα αποτελέσματα υποστηρίζουν κυρίως μια μεθοδολογική βάση audit, όχι ένα καθολικό πρότυπο πιστοποίησης.

Το ώριμο αποτέλεσμα δεν είναι «έχουμε explainability». Είναι ότι η ομάδα έχει αποδείξεις για το πότε η εξήγηση αντέχει, πότε αποτυγχάνει και ποιος αναλαμβάνει μετά. Αυτό είναι το σημείο όπου η ερμηνεία παύει να είναι διακοσμητικό dashboard και γίνεται μέρος της διακυβέρνησης AI.