FrED: πώς τα knowledge graphs φωτίζουν τα δεδομένα πίσω από ένα AI

Γιατί το Training Data Attribution παραμένει δύσκολο

Το Training Data Attribution, ή TDA, επιχειρεί να εκτιμήσει πόσο επηρέασε κάθε δείγμα εκπαίδευσης ένα συγκεκριμένο αποτέλεσμα. Η ιδανική δοκιμή θα ήταν αντιπαραθετική: αφαιρούμε ένα δείγμα, επανεκπαιδεύουμε το μοντέλο και παρατηρούμε πόσο αλλάζει η έξοδος. Στα σύγχρονα foundation models αυτό είναι συνήθως υπολογιστικά απαγορευτικό. Για κάθε υποψήφιο δείγμα θα χρειαζόταν νέα εκπαίδευση ή τουλάχιστον πολύ ακριβή πρόσβαση στη συμπεριφορά των gradients.

Οι παραμετρικές μέθοδοι, όπως οι influence-function και gradient-based προσεγγίσεις που χρησιμοποιούνται ως baselines στην εργασία, μπορούν να αξιοποιήσουν εσωτερικές πληροφορίες του μοντέλου. Αυτό όμως δεν είναι διαθέσιμο όταν το μοντέλο παρέχεται μόνο ως υπηρεσία ή όταν ο οργανισμός δεν έχει πρόσβαση στα βάρη του. Οι απλούστερες black-box μέθοδοι αποφεύγουν αυτό το εμπόδιο συγκρίνοντας pixels ή embeddings. Έχουν όμως άλλο πρόβλημα: η υψηλή ομοιότητα δεν ισοδυναμεί αυτόματα με ουσιαστική επιρροή.

Δύο πίνακες μπορεί να μοιράζονται χρώματα και σύνθεση αλλά να ανήκουν σε διαφορετικές ιστορικές περιόδους, κινήματα ή καλλιτεχνικές γενεαλογίες. Αντίστοιχα, δύο καιρικές καταστάσεις μπορεί να είναι αριθμητικά κοντινές αλλά να αφορούν γεωγραφικά και οικολογικά διαφορετικές περιοχές. Η μέθοδος FrED σχεδιάστηκε ακριβώς για να προσθέσει αυτό το δομημένο πλαίσιο χωρίς να ανοίξει το μοντέλο.

Η βασική ιδέα του FrED: δύο χώροι, ένας ιεραρχικός συνδυασμός

Το FrED αντιμετωπίζει την επιρροή ως πιθανοτική εκτίμηση. Για κάθε πιθανό δείγμα υπολογίζει πρώτα ένα latent score, δηλαδή μια συνεχή ένδειξη ομοιότητας ανάμεσα στο αποτέλεσμα και στο δείγμα. Παράλληλα, κατατάσσει τα ίδια δεδομένα στον domain χώρο, χρησιμοποιώντας τις σχέσεις ενός knowledge graph. Στον καλλιτεχνικό τομέα οι σχέσεις μπορεί να συνδέουν έναν πίνακα με δημιουργό, τεχνοτροπία, είδος, υλικό, κίνημα, τόπο ή άλλους καλλιτέχνες. Στον περιβαλλοντικό τομέα συνδέουν ιστορικές πλημμύρες με περιοχή, είδος καταστροφής, χαρακτηριστικά εδάφους και βιοποικιλότητα.

Το κρίσιμο σημείο είναι ότι οι δύο χώροι δεν συνδυάζονται με έναν απλό μέσο όρο. Η εργασία αναφέρει ότι τα γραμμικά μείγματα, όπως μια στάθμιση 50/50 ή 70/30, μπορούν να εισάγουν κατηγορικό θόρυβο και να αποδυναμώσουν το οπτικό σήμα. Το FrED εφαρμόζει asymmetric contextual boosting: κρατά το latent score ως βασικό μηχανισμό και χρησιμοποιεί την κατάταξη του knowledge graph ως ενισχυτικό στοιχείο επανακατάταξης.

Με απλά λόγια, το knowledge graph δεν διατάζει το σύστημα να αγνοήσει αυτό που βλέπει. Λειτουργεί ως δομημένη απόδειξη που ενισχύει υποψηφίους οι οποίοι είναι ήδη εύλογοι στον latent χώρο και ταυτόχρονα ταιριάζουν ιστορικά ή τοπολογικά. Αυτή η ιεραρχία είναι ουσιώδης, επειδή προστατεύει το σύστημα από δύο αντίθετα σφάλματα: την επιφανειακή ομοιότητα χωρίς πλαίσιο και το άκαμπτο πλαίσιο χωρίς οπτική ή αριθμητική συνάφεια.

Από το Bayesian proxy στο contextual boost

Οι συγγραφείς ξεκινούν από μια Bayesian διατύπωση της επιρροής. Η πραγματική αντιπαραθετική επίδραση παραμένει μη προσβάσιμη, οπότε η μέθοδος χρησιμοποιεί ένα proxy που συνδυάζει την πιθανότητα του αποτελέσματος δεδομένου ενός δείγματος με μια prior ένδειξη για το δείγμα. Στην υλοποίηση, το latent similarity παίζει τον ρόλο της συνεχούς πιθανότητας και η domain κατάταξη προσθέτει το prior της δομημένης γνώσης.

Το τελικό score πολλαπλασιάζει το latent score με έναν παράγοντα ενίσχυσης που μειώνεται όσο χειροτερεύει η θέση του υποψηφίου στο domain ranking. Έτσι, ένα δείγμα που βρίσκεται ψηλά και στους δύο χώρους ανταμείβεται περισσότερο, ενώ ένα γενικό ή άσχετο δείγμα δεν κυριαρχεί μόνο επειδή μοιράζεται επιφανειακά χαρακτηριστικά. Η εργασία χρησιμοποιεί επίσης μη γραμμική όξυνση του latent score, υψώνοντάς το σε δύναμη, επειδή η επιρροή αναμένεται να συγκεντρώνεται σε μικρό υποσύνολο και όχι να κατανέμεται ομοιόμορφα.

Αυτό δεν μετατρέπει το αποτέλεσμα σε αποδεικτικό αιτιότητας. Πρόκειται για κατάταξη υποθέσεων επιρροής, όχι για βεβαιότητα ότι ένα συγκεκριμένο δείγμα προκάλεσε την έξοδο. Η διάκριση είναι κρίσιμη για κάθε επιχειρηματική εφαρμογή: ένα υψηλό score μπορεί να κατευθύνει έναν έλεγχο, δεν πρέπει όμως να παρουσιάζεται αυτομάτως ως νομική ή επιστημονική απόδειξη προέλευσης.

Το καλλιτεχνικό πείραμα: ArtBench, Stable Diffusion και LoRA

Για την κύρια αξιολόγηση, οι συγγραφείς χρησιμοποιούν τα ArtBench-2 και ArtBench-5. Κατασκευάζουν ένα καλλιτεχνικό knowledge graph που ξεπερνά τις απλές ετικέτες του dataset και ενσωματώνει σχέσεις μεταξύ έργων, δημιουργών, styles, genres, movements, τοποθεσιών, εκπαιδευτικών διαδρομών και επιρροών. Σύμφωνα με τους πίνακες του παραρτήματος, το graph περιλαμβάνει 47.224 σχέσεις έργων προς καλλιτέχνες και άλλες εξίσου μεγάλες ομάδες σχέσεων προς styles, genres και movements, καθώς και περισσότερες από 122.000 συνδέσεις έργων με tags.

Για τον latent χώρο εξετάζονται διαφορετικοί visual encoders. Στο ablation study, το ViT-g-14 εμφανίζει την ισχυρότερη predictive faithfulness μεταξύ των δοκιμασμένων encoders. Οι συγγραφείς αποδίδουν το αποτέλεσμα στη μεγάλης κλίμακας και ποικιλίας προεκπαίδευσή του, που βοηθά στη διάκριση λεπτών στιλιστικών διαφορών. Για τη generative διαδικασία ακολουθούν το setup του D-TRAK: προεκπαιδευμένο Stable Diffusion σε ανάλυση 256×256 και fine-tuning με LoRA στα cross-attention layers του U-Net.

Το LoRA rank ορίζεται σε 128, με περίπου 25,5 εκατομμύρια εκπαιδεύσιμες παραμέτρους. Τα prompts ακολουθούν την τυποποιημένη μορφή «a {class} painting». Αυτή η λεπτομέρεια έχει σημασία στην ερμηνεία των αποτελεσμάτων, επειδή το benchmark είναι ελεγχόμενο και class-conditional. Δεν πρέπει να θεωρήσουμε ότι η ίδια επίδοση μεταφέρεται χωρίς νέα αξιολόγηση σε κάθε εμπορικό μοντέλο εικόνας, σε ελεύθερα prompts ή σε datasets άλλης δομής.

Πώς αξιολογήθηκε η πιστότητα της απόδοσης

Η κύρια μετρική είναι το Linear Datamodeling Score, γνωστό ως LDS. Η λογική του είναι αντιπαραθετική: εξετάζει αν οι προβλέψεις μιας attribution μεθόδου ακολουθούν τις πραγματικές αλλαγές της εξόδου όταν το μοντέλο εκπαιδεύεται σε διαφορετικά υποσύνολα δεδομένων. Η συσχέτιση υπολογίζεται με Spearman rank correlation, ώστε να μετράται κατά πόσο η προβλεπόμενη σειρά επιρροής συμφωνεί με την παρατηρούμενη συμπεριφορά.

Το πρωτόκολλο είναι βαρύ. Η εργασία αναφέρει 64 τυχαία υποσύνολα που περιέχουν το 50% του training set, τρία ανεξάρτητα μοντέλα με διαφορετικά random seeds για κάθε υποσύνολο, 1.000 χρονικά βήματα για την εκτίμηση του diffusion loss και τρία Gaussian noise vectors ανά βήμα. Τα διαστήματα αβεβαιότητας υπολογίζονται με bootstrap 64 resamples και αναφέρονται ως 95% confidence intervals.

Αυτή η διαδικασία εξηγεί ταυτόχρονα γιατί το LDS είναι ισχυρό benchmark και γιατί αποτελεί πρακτικό περιορισμό. Χρειάζεται μεγάλο υπολογιστικό κόστος για να επαληθεύσει μια μέθοδο που στη χρήση της θέλει να είναι ελαφρύτερη. Οι ίδιοι οι συγγραφείς αναγνωρίζουν την ανάγκη για αποδοτικότερα domain-specific benchmarks ή για στρατηγικές fusion που στοχεύουν συγκεκριμένα τμήματα της κατάταξης.

Τι έδειξαν οι αριθμοί στο ArtBench

Στον πίνακα LDS, το FrED ξεπερνά καθαρά τις απλές black-box βάσεις pixel και CLIP similarity. Στο ArtBench-2 αναφέρει 29,1% στο validation και 21,3% στο generation. Στο ArtBench-5 αναφέρει 28,9% και 18,4% αντίστοιχα. Για σύγκριση, το CLIP cosine baseline φτάνει 8,9% και 8,8% στο ArtBench-2, ενώ στο ArtBench-5 αναφέρει 6,57% και 6,63%.

Η εικόνα απέναντι στις parametric μεθόδους είναι πιο σύνθετη. Το FrED πλησιάζει ή ξεπερνά αρκετούς gradient-based estimators σε ορισμένες ρυθμίσεις, αλλά οι ισχυρότερες μέθοδοι D-TRAK και DAS παραμένουν υψηλότερα σε αρκετές στήλες. Για παράδειγμα, το DAS αναφέρει 37,96% και 40,77% στις δύο ArtBench-2 validation ρυθμίσεις του πίνακα. Επομένως το σωστό συμπέρασμα δεν είναι ότι το FrED «νικά όλες τις μεθόδους», αλλά ότι κλείνει σημαντικό μέρος του χάσματος χωρίς εσωτερική πρόσβαση στο μοντέλο.

Το ablation study ενισχύει την κεντρική σχεδιαστική επιλογή. Το προτεινόμενο asymmetric rank boost φτάνει 29,10%, 21,30%, 28,90% και 18,40% στις τέσσερις βασικές στήλες. Τα γραμμικά υβρίδια 50/50 και 70/30 μένουν χαμηλότερα. Η διαφορά υποστηρίζει την άποψη ότι η domain γνώση λειτουργεί καλύτερα ως context για επανακατάταξη παρά ως ισότιμο αριθμητικό σήμα που αναμειγνύεται μηχανικά με την οπτική ομοιότητα.

Η μελέτη περίπτωσης για πλημμύρες

Το δεύτερο πεδίο δοκιμής είναι η πρόγνωση πλημμυρών. Εδώ οι συγγραφείς είναι προσεκτικοί: δεν ισχυρίζονται ότι έχουν επαληθεύσει training-data influence για ένα παγκόσμιο weather foundation model. Παρουσιάζουν μια μελέτη εφικτότητας για domain-grounded retrieval ιστορικών αναλόγων. Αυτή η διατύπωση πρέπει να διατηρηθεί, επειδή η ανάκτηση παρόμοιων ιστορικών γεγονότων δεν ισοδυναμεί με απόδειξη ότι τα γεγονότα επηρέασαν την εκπαίδευση του μοντέλου.

Η περιβαλλοντική βάση ξεκινά από 1.372 γεγονότα πλημμύρας με ημερομηνίες, γεωγραφικές συντεταγμένες και στοιχεία επιπτώσεων. Για τη δοκιμή χρησιμοποιούνται 237 γεγονότα από το 2018 έως το 2022 και ο στόχος είναι η 24ωρη πρόγνωση στην κορύφωση του γεγονότος. Οι προβλέψεις προέρχονται από το Pangu-Weather μέσω του WeatherBench 2. Αντί για ολόκληρο τον πλανήτη, εξάγονται περιφερειακά patches γύρω από τις συντεταγμένες κάθε συμβάντος.

Οι μεταβλητές περιορίζονται σε παράγοντες που σχετίζονται με ακραία βροχόπτωση και επιφανειακές πλημμύρες: θερμοκρασία δύο μέτρων, μέση πίεση στο επίπεδο της θάλασσας και, στα επίπεδα 1000, 850, 500 και 250 hPa, θερμοκρασία, ειδική υγρασία, γεωδυναμικό ύψος και συνιστώσες ανέμου U/V. Ένας 3D ResNet denoising autoencoder, εκπαιδευμένος για 100 epochs, παράγει embeddings 512 διαστάσεων. Το knowledge graph εμπλουτίζει τις περιοχές με γεωγραφικές, περιβαλλοντικές και βιολογικές σχέσεις, μεταξύ άλλων παρατηρήσεις iNaturalist εντός ακτίνας 10 χιλιομέτρων.

Η γεωγραφική ακρίβεια βελτιώθηκε, αλλά το όριο είναι σαφές

Η αξιολόγηση μετρά Geographic Precision: το ποσοστό των top-K ιστορικών αναλόγων που ανήκουν στην ίδια χώρα με τον στόχο. Στο top-10, το latent baseline καταγράφει 50,9%, ενώ το FrED 65,7%. Στο top-20 οι τιμές είναι 35,6% και 47,8%. Στο top-50 είναι 15,2% και 22,5%, και στο top-100 6,8% και 12,0%. Η πτώση όσο μεγαλώνει το K αποδίδεται στο περιορισμένο περιφερειακό ιστορικό, αλλά το FrED παραμένει μπροστά σε όλες τις αναφερόμενες βαθμίδες.

Το αποτέλεσμα δείχνει ότι το domain context μπορεί να επαναφέρει γεωγραφική συνοχή σε αφηρημένα atmospheric embeddings. Δεν αποδεικνύει, όμως, causal attribution. Ούτε αποδεικνύει ότι η ίδια μέθοδος θα βελτιώσει αυτομάτως την ακρίβεια μιας πρόγνωσης. Βελτιώνει την ανάκτηση ιστορικών περιπτώσεων που είναι πιο συνεπείς με την περιοχή. Αυτό μπορεί να βοηθήσει έναν ειδικό να εξετάσει αναλογίες, όχι να αντικαταστήσει τη μετεωρολογική κρίση.

Τι σημαίνει για επιχειρήσεις, marketers και ομάδες AI

Για μια επιχείρηση που χρησιμοποιεί generative AI, η πρακτική αξία αυτής της προσέγγισης βρίσκεται στον έλεγχο και στην ιχνηλασιμότητα. Ένα σύστημα με latent retrieval μπορεί να εντοπίζει παρόμοια assets. Η προσθήκη ενός knowledge graph μπορεί να διαχωρίζει ποια assets είναι απλώς οπτικά κοντινά και ποια συνδέονται με το ίδιο brand, campaign, δημιουργό, προϊόν, κατηγορία ή χρονική περίοδο. Η ίδια απαίτηση για συγκεκριμένο scope, logs και ανθρώπινο έλεγχο είναι κεντρική και στους Business Automation & AI. Αυτή είναι επιχειρηματική ερμηνεία της αρχιτεκτονικής, όχι αποτέλεσμα που μετρήθηκε από τη συγκεκριμένη εργασία σε marketing dataset.

Σε ένα e-commerce περιβάλλον, η ίδια αρχή θα μπορούσε να χρησιμοποιηθεί ερευνητικά για να επανακατατάσσει αναφορές που συνδέονται με το ίδιο taxonomy προϊόντων, προμηθευτή ή σειρά περιεχομένου. Σε ένα content operation, θα μπορούσε να βοηθά στον εντοπισμό πηγών και προηγούμενων assets που είναι θεματικά και οργανωτικά συναφή. Για να γίνει αυτό αξιόπιστα, ο οργανισμός χρειάζεται δικό του, επιμελημένο graph και αξιολόγηση πάνω στα πραγματικά του δεδομένα. Η εργασία δεν παρέχει έτοιμο εμπορικό εργαλείο ούτε benchmark για αυτά τα σενάρια.

Η πιο χρήσιμη διοικητική ιδέα είναι ότι η ερμηνευσιμότητα δεν χρειάζεται να στηρίζεται μόνο στο ίδιο το μοντέλο. Μπορεί να δημιουργηθεί ένα εξωτερικό audit layer που συνδυάζει outputs, embeddings και επιχειρηματική γνώση. Αυτό είναι ιδιαίτερα σχετικό όταν μια ομάδα χρησιμοποιεί τρίτο API και δεν μπορεί να δει weights ή gradients. Όπως δείχνει και η ανάλυση για την ασφάλεια αυτόνομων AI agents, τα όρια χρειάζεται να επιβάλλονται από διαδικασίες, δικαιώματα και επαληθεύσιμα ίχνη. Παρόλα αυτά, ένα τέτοιο layer πρέπει να επικοινωνεί βαθμούς βεβαιότητας και να διαχωρίζει την ένδειξη επιρροής από την απόδειξη.

Το κόστος της δομημένης γνώσης

Το knowledge graph δεν εμφανίζεται από μόνο του. Στο καλλιτεχνικό πείραμα χρειάστηκε αυτοματοποιημένη συλλογή και διαδοχικός εμπλουτισμός στοιχείων, οντολογικό σχήμα και μοντελοποίηση σε Neo4j. Στο περιβαλλοντικό πείραμα χρειάστηκε σύνδεση πολλών πηγών, γεωγραφική αγκύρωση και ειδικές αποφάσεις για το ποια χαρακτηριστικά έχουν φυσική σημασία. Αυτό δημιουργεί το «expert bottleneck» που αναφέρουν οι συγγραφείς.

Για μια εταιρεία, το bottleneck μεταφράζεται σε ownership. Κάποιος πρέπει να ορίσει τις οντότητες, τις σχέσεις, τους κανόνες ενημέρωσης και τα κριτήρια ποιότητας. Αν το graph είναι παλιό, ελλιπές ή μεροληπτικό, η επανακατάταξη θα κληρονομήσει αυτά τα προβλήματα. Οι συγγραφείς σημειώνουν επίσης ότι τα knowledge graphs είναι στατικά snapshots και προτείνουν μελλοντικά real-time updates.

Άρα η τεχνολογία δεν καταργεί την ανάγκη για domain experts. Τη μεταφέρει από την εσωτερική ερμηνεία του μοντέλου στη διαχείριση ενός εξωτερικού στρώματος γνώσης. Για οργανισμούς με καλά taxonomies, catalogs και documented relationships αυτό μπορεί να είναι πλεονέκτημα. Για οργανισμούς με ασύνδετα ή χαμηλής ποιότητας δεδομένα αποτελεί προαπαιτούμενο έργο data governance.

Περιορισμοί που δεν πρέπει να χαθούν στο εντυπωσιακό αποτέλεσμα

Πρώτον, η ισχυρότερη αξιολόγηση αφορά ένα συγκεκριμένο καλλιτεχνικό setup. Η γενίκευση σε μεγάλα εμπορικά image models, γλωσσικά μοντέλα ή διαφορετικές μορφές δεδομένων χρειάζεται νέα πειράματα. Δεύτερον, η περιβαλλοντική εφαρμογή αξιολογεί αναλογίες και γεωγραφική συνέπεια, όχι επαληθευμένη training-data influence. Τρίτον, η ποιότητα εξαρτάται από την πληρότητα του knowledge graph και από τις επιλογές των experts που το κατασκευάζουν.

Τέταρτον, η αξιολόγηση με LDS είναι υπολογιστικά απαιτητική. Πέμπτον, όταν το πραγματικό training set είναι κλειστό, η εργασία προτείνει αντιπροσωπευτικά KG samples ή προσεγγίσεις των κατανομών, αλλά αυτό προσθέτει αβεβαιότητα. Ένα proxy dataset μπορεί να προσφέρει χρήσιμες ενδείξεις, δεν γίνεται όμως αυτομάτως το πραγματικό ιστορικό εκπαίδευσης.

Τέλος, η ίδια η λέξη «influence» χρειάζεται πειθαρχία. Σε black-box περιβάλλον, το FrED παράγει ερμηνεύσιμες και domain-consistent υποθέσεις επιρροής. Η εργασία προσφέρει ισχυρά benchmark στοιχεία ότι αυτές οι υποθέσεις είναι καλύτερες από απλές similarity baselines στο ArtBench. Δεν προσφέρει έναν καθολικό μηχανισμό απόδειξης για κάθε μοντέλο ή κάθε νομική διαφορά περί πνευματικών δικαιωμάτων.

Ένα ρεαλιστικό πλαίσιο υιοθέτησης

Μια ομάδα μπορεί να δοκιμάσει την ιδέα μόνο αν ξεκινήσει από στενό πεδίο, γνωστές σωστές σχέσεις και απόφαση που θα επηρεάζεται με σαφή τρόπο από το attribution score.

Η αξιολόγηση πρέπει να περιλαμβάνει όχι μόνο accuracy αλλά και failure analysis: πότε το graph διορθώνει ένα λάθος του embedding, πότε ενισχύει μια λανθασμένη συσχέτιση και πώς επηρεάζουν τα ελλιπή δεδομένα την κατάταξη. Αν η χρήση αφορά compliance, χρειάζεται επιπλέον human review και σαφής καταγραφή ότι τα scores είναι ενδείξεις. Αν αφορά αναζήτηση περιεχομένου ή knowledge discovery, το κατώφλι μπορεί να είναι διαφορετικό, επειδή το σύστημα υποστηρίζει έναν άνθρωπο αντί να εκδίδει τελική απόφαση.

Το FrED δεν λύνει οριστικά το πρόβλημα της προέλευσης των δεδομένων στην AI. Δείχνει όμως μια σημαντική κατεύθυνση: όταν δεν μπορούμε να κοιτάξουμε μέσα στο μοντέλο, μπορούμε να βελτιώσουμε όσα συμπεραίνουμε γύρω από αυτό, αρκεί να συνδυάσουμε μαθηματική ομοιότητα, δομημένη γνώση και αυστηρή γλώσσα για τα όρια της απόδειξης.