Geographic domain shift: γιατί ένα AI μοντέλο δεν ταξιδεύει το ίδιο καλά σε κάθε αγορά

Ένα μοντέλο ταξιδεύει μόνο όσο μοιάζουν τα δεδομένα

Ένα μοντέλο τεχνητής νοημοσύνης μπορεί να φαίνεται ισχυρό σε ένα benchmark και να αποδίδει πολύ διαφορετικά μόλις μεταφερθεί σε άλλη γεωγραφική περιοχή. Το πρόβλημα δεν βρίσκεται πάντα στην αρχιτεκτονική. Μπορεί να βρίσκεται στον τρόπο με τον οποίο κατανέμονται τα δημογραφικά χαρακτηριστικά, τα σημεία ενδιαφέροντος και οι χωρικές σχέσεις από τόπο σε τόπο.

Στην παραγωγή συνθετικών δεδομένων κινητικότητας, ένα μοντέλο εκπαιδεύεται σε γνωστές ροές προέλευσης–προορισμού και χρησιμοποιεί βοηθητικά δεδομένα για να εκτιμήσει μετακινήσεις σε περιοχές όπου οι παρατηρήσεις είναι περιορισμένες ή μη διαθέσιμες. Τέτοια inputs μπορεί να περιλαμβάνουν δημογραφικά χαρακτηριστικά, χρήσεις γης, αποστάσεις και σημεία ενδιαφέροντος. Η ανάγκη είναι πρακτική: τα δεδομένα τοποθεσίας έχουν υψηλό κόστος, άνιση κάλυψη και σοβαρές απαιτήσεις ιδιωτικότητας.

Η συνήθης αξιολόγηση ρωτά ποιο μοντέλο πετυχαίνει το καλύτερο μέσο αποτέλεσμα σε νέες περιοχές. Η συγκεκριμένη μελέτη μετακινεί την ερώτηση: πόσο διαφορετική είναι κάθε περιοχή-στόχος από την περιοχή εκπαίδευσης και πώς αυτή η διαφορά επηρεάζει το αποτέλεσμα; Χωρίς αυτή τη διάκριση, μια σύγκριση μπορεί να αποδώσει στην αρχιτεκτονική διαφορές που προέρχονται από την επιλογή source και target domains.

Το ίδιο πρόβλημα εμφανίζεται έξω από το GeoAI. Ένα μοντέλο πρόβλεψης ζήτησης, ταξινόμησης tickets ή επιλογής προϊόντων μπορεί να αλλάξει συμπεριφορά όταν μετακινηθεί σε νέα χώρα, γλώσσα, κανάλι ή πελατειακό segment. Η επιλογή του κατάλληλου AI μοντέλου για μια επιχείρηση δεν τελειώνει στο model name· χρειάζεται επαναπιστοποίηση πάνω στο πραγματικό target domain.

Το benchmark: 2.265 κομητείες και 133 χαρακτηριστικά

Η ανάλυση χρησιμοποιεί το ανοικτό CommutingODGen, ένα benchmark με ενδοκομητειακές ροές commuting σε επίπεδο census tract για το 2018. Η αξιολόγηση της νέας εργασίας καλύπτει 2.265 κομητείες στις 48 ηπειρωτικές πολιτείες των ΗΠΑ, αφού εξαιρέθηκαν η Αλάσκα, η Χαβάη και η Washington, D.C. Οι ροές περιορίζονται στις μετακινήσεις μέσα σε κάθε κομητεία.

Κάθε census tract περιγράφεται με 97 δημογραφικά χαρακτηριστικά και 36 κατηγορίες points of interest, δηλαδή 133 διαστάσεις εισόδου. Οι μεταβλητές αποτυπώνουν κοινωνικοοικονομικά στοιχεία και πλευρές του δομημένου περιβάλλοντος, ενώ οι OD ροές δείχνουν πόσοι εργαζόμενοι μετακινούνται από έναν τόπο κατοικίας προς έναν τόπο εργασίας.

Η ευρεία κάλυψη επιτρέπει συστηματικές συγκρίσεις, αλλά δεν καταργεί τα όρια. Το benchmark αφορά μία χώρα, commuting flows του 2018, συγκεκριμένη χωρική κλίμακα και ενδοκομητειακές αλληλεπιδράσεις. Δεν περιγράφει κάθε είδος ανθρώπινης κινητικότητας και δεν αποδεικνύει ότι οι ίδιες αριθμητικές σχέσεις ισχύουν σε άλλες χώρες ή επιχειρηματικά datasets.

MI shift και Moran shift μετρούν διαφορετικές μετατοπίσεις

The mutual-information shift μετρά πόση πληροφορία δίνουν τα χαρακτηριστικά για το αν μια παρατήρηση προέρχεται από το source ή το target domain. Αν οι τιμές των inputs επιτρέπουν εύκολη διάκριση των δύο περιοχών, το MI shift είναι υψηλότερο. Αυτό υποδεικνύει μεγαλύτερη μετατόπιση στις κατανομές και δυσκολότερο περιβάλλον μεταφοράς.

Η λογική συνδέεται με το covariate shift στο machine learning. Δεν χρειάζεται να είναι γνωστές οι πραγματικές ροές της νέας περιοχής για να υπολογιστεί η διαφορά των χαρακτηριστικών. Η μέτρηση είναι model-agnostic και μπορεί να χρησιμοποιηθεί πριν από την εκπαίδευση ή πριν από την επιλογή source dataset.

The Moran shift απαντά σε διαφορετικό ερώτημα. Δύο περιοχές μπορούν να έχουν παρόμοιες συνολικές κατανομές και παρ’ όλα αυτά να οργανώνουν τα ίδια χαρακτηριστικά διαφορετικά στον χώρο. Ο δείκτης συγκρίνει την πολυμεταβλητή χωρική αυτοσυσχέτιση του target με εκείνη του source. Θετική τιμή σημαίνει ότι τα χαρακτηριστικά είναι συνολικά περισσότερο συγκεντρωμένα στον στόχο· αρνητική τιμή ότι είναι περισσότερο διασκορπισμένα.

Το πρόσημο δεν λέει αν οι πραγματικές θέσεις των clusters είναι ίδιες. Moran shift ίσο με μηδέν δηλώνει μόνο ίδια συνολική ισχύ χωρικής αυτοσυσχέτισης, όχι ταυτόσημο pattern. Γι’ αυτό η μέτρηση συμπληρώνει το MI shift και δεν το αντικαθιστά.

Πώς σχεδιάστηκε η leave-one-state-out αξιολόγηση

Το κύριο μοντέλο είναι το DeepGravity. Συνδυάζει γεωγραφικά χαρακτηριστικά, αποστάσεις και γνωστή συνολική εκροή για να παράγει ροές προέλευσης–προορισμού. Η αρχιτεκτονική του αποτελείται από feed-forward neural network με 15 hidden blocks και βασίζεται στη λογική του gravity model για την ανθρώπινη κινητικότητα.

Οι ερευνητές εφάρμοσαν leave-one-state-out σχεδιασμό. Κάθε φορά μία πολιτεία λειτουργούσε ως source domain: το 70% των κομητειών της χρησιμοποιούνταν για training και το 30% για validation. Οι κομητείες όλων των υπόλοιπων πολιτειών λειτουργούσαν ως targets. Έτσι εκπαιδεύτηκαν 48 ξεχωριστά μοντέλα και κάθε target county αξιολογήθηκε επανειλημμένα απέναντι σε διαφορετικά source states.

Για να ελεγχθεί αν τα ευρήματα εξαρτώνται από μία μόνο αρχιτεκτονική, αξιολογήθηκαν επίσης Random Forest, boosting regression tree και το graph-neural μοντέλο GMEL. Η ποιότητα μετρήθηκε με δύο metric families. Το CPC αποτυπώνει την επικάλυψη και τη συνολική δομή των πραγματικών και παραγόμενων ροών. Το RMSE δίνει μεγαλύτερο βάρος στο αριθμητικό σφάλμα και είναι πιο ευαίσθητο σε ακραίες αποκλίσεις.

Οι δύο μετρήσεις δεν είναι ανταγωνιστικές. Ένα μοντέλο μπορεί να τοποθετεί σωστά το γενικό pattern των προορισμών και ταυτόχρονα να κάνει μεγάλα αριθμητικά λάθη σε ορισμένες ροές. Η αξιολόγηση χρειάζεται και τις δύο όψεις, όπως ένα AI analytics workflow χρειάζεται έλεγχο out-of-distribution δεδομένων και αβεβαιότητας, όχι μόνο ένα συνολικό score.

Η μέση επίδοση δεν δίνει μόνιμο νικητή

Στον συνολικό πίνακα της εργασίας, το DeepGravity είχε το υψηλότερο μέσο CPC, 0,603, και το χαμηλότερο μέσο RMSE, 82,533. Ακολούθησαν Random Forest με CPC 0,558 και RMSE 90,061, GBRT με 0,525 και 93,515 και GMEL με 0,464 και 146,94. Οι μεγάλες τυπικές αποκλίσεις του RMSE σε όλα τα μοντέλα δείχνουν ότι υπήρχαν ακραίες περιπτώσεις αριθμητικού σφάλματος.

Αυτό δεν σημαίνει ότι το DeepGravity είναι οικουμενικά «καλύτερο». Σημαίνει ότι είχε την καλύτερη μέση επίδοση στο συγκεκριμένο experimental setup. Η μέση τιμή κρύβει ποια source state χρησιμοποιήθηκε, πόσο δύσκολο ήταν κάθε target και ποια πτυχή της απόδοσης μετρήθηκε.

Η εργασία αναφέρει ότι το μέσο CPC των DeepGravity μοντέλων ανά source state κινήθηκε περίπου από 0,58 έως 0,65, μια διαφορά γύρω στο 0,07. Οι συγγραφείς σημειώνουν ότι ορισμένες προηγούμενες συγκρίσεις μοντέλων αναφέρουν μικρότερες διαφορές μεταξύ baselines. Άρα η επιλογή training geography μπορεί να έχει επίδραση συγκρίσιμη ή μεγαλύτερη από την apparent βελτίωση μιας αρχιτεκτονικής.

Η μεταφερσιμότητα είναι ετερογενής και ασύμμετρη

Το ίδιο DeepGravity είχε CPC πάνω από 0,70 κυρίως σε μεσοδυτικές περιοχές, ενώ σε ορισμένες ανατολικές και παράκτιες περιοχές οι μέσες τιμές κινούνταν περίπου από 0,33 έως 0,48. Παράλληλα, CPC και RMSE δεν σχημάτιζαν τον ίδιο γεωγραφικό χάρτη, επειδή μετρούν διαφορετικές πλευρές: δομική ομοιότητα και απόλυτο μέγεθος λάθους.

Η αξιολόγηση των ζευγών πολιτειών έδειξε ότι επιτυχής μεταφορά από ένα source σε ένα target δεν εγγυάται αντίστοιχη επιτυχία στην αντίστροφη κατεύθυνση. Η CPC ασυμμετρία έφτανε έως 0,20. Μοντέλα εκπαιδευμένα σε Arizona, California, Colorado, Connecticut, Delaware, Florida, New Jersey και Nevada εμφάνιζαν γενικά χαμηλότερο CPC όταν μεταφέρονταν σε άλλες πολιτείες.

Στο RMSE, μοντέλα με source το Idaho, τη South Dakota και το Wyoming έτειναν να υποεκτιμούν απόλυτες ροές αλλού, ενώ το New Jersey έτεινε να τις υπερεκτιμά. Πρόκειται για αποτελέσματα του συγκεκριμένου benchmark, όχι για γενικές κρίσεις σχετικά με αυτές τις περιοχές. Το ασφαλές συμπέρασμα είναι ότι το «πού εκπαιδεύτηκε» ένα μοντέλο αποτελεί αναπόσπαστο μέρος της αξιολόγησής του.

Στα source-target ζεύγη, το MI shift βρισκόταν γενικά μεταξύ 0 και 0,14, με την πλειονότητα από 0 έως 0,06. Το Moran shift κυμαινόταν περίπου από -0,75 έως 0,60, κυρίως μεταξύ -0,40 και 0,20. Ακόμη και όταν το MI shift ήταν σχεδόν μηδενικό, το Moran shift μπορούσε να διαφέρει σημαντικά. Η κατανομή χαρακτηριστικών και η χωρική δομή είναι συμπληρωματικές, όχι εναλλάξιμες, όψεις του domain shift.

Τα mixed-effects regressions έδειξαν συνεπή πρόσημα και στα τέσσερα μοντέλα. Υψηλότερο MI shift συνδεόταν με χαμηλότερο CPC και υψηλότερο RMSE, δηλαδή χειρότερη μεταφορά. Θετικότερο Moran shift συνδεόταν με υψηλότερο CPC και χαμηλότερο RMSE. Οι συσχετίσεις ήταν στατιστικά σημαντικές με p<0,001, αλλά παραμένουν συσχετίσεις μέσα στον συγκεκριμένο πειραματικό σχεδιασμό και όχι απόδειξη καθολικής αιτιότητας.

Γιατί τα περισσότερα δεδομένα δεν αρκούν

Οι πολιτείες διέφεραν ως προς το πλήθος census tracts, άρα το μέγεθος του training dataset θα μπορούσε να λειτουργεί ως συγχυτικός παράγοντας. Σε πρόσθετη OLS ανάλυση, το λογαριθμισμένο πλήθος records δεν είχε στατιστικά σημαντική συσχέτιση ούτε με το μέσο CPC ούτε με το μέσο RMSE. Η p-value ήταν 0,171 για το CPC και 0,496 για το RMSE.

Αντίθετα, το μέσο MI shift παρέμεινε σημαντικά αρνητικά συνδεδεμένο με το CPC και το μέσο Moran shift σημαντικά αρνητικά συνδεδεμένο με το RMSE, με p-value 0,018 και στις δύο περιπτώσεις. Το εύρημα δεν λέει ότι «τα περισσότερα δεδομένα δεν βοηθούν» γενικά. Λέει ότι, σε αυτή την αξιολόγηση, ο όγκος δεν ήταν ο ισχυρότερος οδηγός όταν εξετάστηκαν μαζί οι δείκτες shift.

Για data teams, η πρακτική ερμηνεία είναι ότι η αντιπροσωπευτικότητα, η ποικιλομορφία και η δομική συμβατότητα πρέπει να μετρώνται μαζί με το πλήθος records. Ένα πολύ μεγάλο source dataset μπορεί να είναι κακός δάσκαλος για ένα μικρό αλλά διαφορετικό target. Το ίδιο ισχύει όταν ένα e-commerce εκπαιδεύει πρόβλεψη ζήτησης σε ώριμη αγορά και την εφαρμόζει σε χώρα με διαφορετική εποχικότητα, κανάλια, διαθεσιμότητα και συμπεριφορά επιστροφών.

Τι σημαίνει το geographic domain shift για νέες αγορές

Η άμεση εφαρμογή της μελέτης αφορά επιλογή γεωγραφικών datasets, παραγωγή συνθετικών mobility flows και ανάπτυξη GeoAI. Η επιχειρηματική αναλογία είναι χρήσιμη όταν ένα μοντέλο μεταφέρεται από μία αγορά, γλώσσα, κατηγορία προϊόντων, συσκευή ή πελατειακή ομάδα σε άλλη. Πριν συγκριθούν architectures, η ομάδα πρέπει να καταγράψει πόσο άλλαξε το input domain και ποιες σχέσεις δεν αποτυπώνονται σε έναν μέσο δείκτη.

Για e-commerce ή marketing analytics, αυτό δεν σημαίνει ότι MI και Moran εφαρμόζονται αυτούσια χωρίς χωρικά δεδομένα. Σημαίνει ότι η αξιολόγηση χρειάζεται δική της μέτρηση της απόστασης ανάμεσα στα domains. Μπορεί να περιλαμβάνει μεταβολές σε product mix, order values, acquisition channels, payment methods, delivery times, seasonality, language, return reasons και consent coverage.

An market model που προτείνει τιμές ή κατανομή αποθέματος χρειάζεται αυστηρότερο gate από ένα read-only dashboard, επειδή το prediction περνά άμεσα σε εμπορική ενέργεια. Παρομοίως, ένα world model πρέπει να δηλώνει ποιο περιβάλλον και ποιο κανάλι μοντελοποιεί πριν χρησιμοποιηθεί για planning σε διαφορετικές συνθήκες.

Η κατεύθυνση έχει επιχειρηματική σημασία. Ένα μοντέλο που μεταφέρεται από ώριμη προς νέα αγορά μπορεί να μην επιστρέφει το ίδιο καλά προς την αντίστροφη κατεύθυνση. Η νέα αγορά ίσως έχει μικρότερο κατάλογο, χαμηλότερο volume ή λιγότερες εξαιρέσεις, ενώ η ώριμη αγορά περιλαμβάνει πιο σύνθετες καμπάνιες και fulfillment patterns. Γι’ αυτό η bidirectional δοκιμή πρέπει να είναι ρητή και όχι υπόθεση συμμετρίας.

Ένα pilot επτά βημάτων για data και AI teams

Η ασφαλής εφαρμογή ξεκινά από μία απόφαση με μετρήσιμο κόστος λάθους. Μπορεί να είναι πρόβλεψη stock-out, προτεραιοποίηση support tickets, lead scoring ή recommendation ranking σε μία νέα αγορά. Το pilot πρέπει να διαχωρίζει model quality, data shift και operational failure, ώστε η ομάδα να ξέρει τι χρειάζεται διόρθωση.

Η διαδικασία δεν απαιτεί να δημιουργηθεί αμέσως βαριά MLOps υποδομή. Απαιτεί όμως reproducible dataset snapshots, ξεκάθαρα metric definitions και σύνδεση της πρόβλεψης με πραγματικό outcome. Οι αυτοματισμοί επιχειρήσεων και AI χρειάζονται αυτά τα guardrails πριν αποκτήσουν δικαίωμα να γράφουν σε CRM, ERP, e-shop ή ad platform.

Τα όρια και η σωστή ερώτηση πριν από το rollout

Η έρευνα βασίζεται σε ένα dataset, μία χώρα, commuting flows του 2018 και συγκεκριμένη χωρική κλίμακα. Ο Moran shift υπολογίστηκε σε επίπεδο κομητείας επειδή το benchmark δεν παρείχε τις ακατέργαστες γεωγραφικές πληροφορίες των census tracts. Ο παγκόσμιος Moran’s I αποτυπώνει τη συνολική ισχύ χωρικής αυτοσυσχέτισης, όχι λεπτομέρειες όπως πολυκεντρικά έναντι μονοκεντρικών patterns.

Οι συγγραφείς ζητούν επικύρωση σε άλλες χώρες, κλίμακες, τύπους κινητικότητας, datasets και αλγορίθμους. Προτείνουν επίσης πρόσθετους δείκτες για πιο σύνθετες χωρικές μεταβολές. Το αποτέλεσμα είναι μεθοδολογικό θεμέλιο και όχι έτοιμος καθολικός κανόνας επιλογής δεδομένων.

Η πιο χρήσιμη μετατόπιση είναι εννοιολογική. Πριν ρωτήσει μια ομάδα αν ένα μοντέλο είναι «καλύτερο», πρέπει να ρωτήσει από πού έμαθε, πού θα εφαρμοστεί, πόσο διαφορετικά είναι αυτά τα δύο περιβάλλοντα και ποιο metric εκφράζει το πραγματικό κόστος λάθους. Αν αυτή η απόσταση μείνει αόρατη, το benchmark μπορεί να ανταμείψει ένα ευκολότερο target και να τιμωρήσει ένα δυσκολότερο χωρίς να αποκαλύπτει την πηγή της διαφοράς.

Για οργανισμούς που επεκτείνουν AI συστήματα σε νέες αγορές, το συμπέρασμα είναι συγκεκριμένο: τεκμηριώστε το domain shift, αξιολογήστε ανά segment και κατεύθυνση, χρησιμοποιήστε πολλαπλά metrics και επιλέξτε training data με βάση τη συνάφεια, όχι μόνο τον όγκο. Η γεωγραφία της μελέτης είναι ειδική· η πειθαρχία της αξιολόγησης είναι πολύ ευρύτερη.