VisAdj: όταν η AI μετατρέπει μια εικόνα σε πραγματικό γράφο

Τι είναι το VisAdj και ποιο πρόβλημα λύνει

Το VisAdj είναι ερευνητικό framework των Jiahao Xie και Guangmo Tong για την ανάκτηση ενός μη κατευθυνόμενου, μη σταθμισμένου γράφου από μια raster node-link εικόνα. Η είσοδος μπορεί να είναι μια απεικόνιση δρόμων, αγγείων ή γενικού γράφου. Η έξοδος δεν είναι άλλο ένα image mask, αλλά το σύνολο των κόμβων και ο δυαδικός πίνακας γειτνίασης που δηλώνει ποιες δυάδες συνδέονται.

Αυτό αλλάζει τη χρησιμότητα της εικόνας. Ένα bitmap προορίζεται κυρίως για οπτική ανάγνωση, ενώ ένας γράφος μπορεί να δεχθεί queries, να τροφοδοτήσει αλγορίθμους διαδρομών ή να γίνει είσοδος σε graph-learning μοντέλο. Η εργασία έγινε δεκτή στο CIKM 2026 και συνοδεύεται από δημόσιο repository με κώδικα, δομή δεδομένων και ρυθμίσεις εκπαίδευσης.

Το πρόβλημα ανήκει στο computer vision, αλλά η επιτυχία του δεν κρίνεται μόνο από το αν εντοπίστηκαν αντικείμενα. Όπως και στη μεταφορά οπτικής γνώσης από εικόνα σε γεωγραφικό context, η αναπαράσταση πρέπει να κρατήσει το σήμα που χρειάζεται το downstream task. Εδώ αυτό το σήμα είναι η συνδεσιμότητα.

Γιατί τα pixels δεν αρκούν για να περιγράψουν μια σχέση

Μια αχνή γραμμή μπορεί να είναι πραγματική σύνδεση. Δύο κοντινές γραμμές μπορεί να μη συναντώνται. Μια οπτική διασταύρωση μπορεί να μοιάζει με κόμβο ενώ στην πραγματικότητα είναι γέφυρα, επικάλυψη ή απλό crossing. Γι’ αυτό η γεωμετρική εγγύτητα αποτελεί ένδειξη, όχι απόδειξη σχέσης.

Πολλά pipelines μπορούν να εντοπίσουν σωστά τα σημεία αλλά να ενώσουν λάθος ζεύγη. Η μελέτη δείχνει ότι οι διαφορές μεταξύ μεθόδων είναι μικρότερες στο Node-F1 και πολύ μεγαλύτερες στο Edge-F1. Στο synthetic dataset, για παράδειγμα, το VisAdj πέτυχε Node-F1 99,23%, όμως το καθοριστικό κέρδος εμφανίστηκε στο Edge-F1: 95,09% έναντι 59,14% του ισχυρότερου baseline σε αυτή τη στήλη.

Αυτό είναι και το βασικό λάθος μιας pixel-first αξιολόγησης: ένα καλό heatmap ή mask μπορεί να κρύβει λάθος τοπολογία. Αν μια ψεύτικη ακμή δημιουργήσει shortcut ή αν μια χαμένη ακμή κόψει τη μόνη διαδρομή, η δομή αποτυγχάνει παρότι η εικόνα φαίνεται πειστική.

Το όριο του σταθερού KNN

Μια συνηθισμένη λύση δημιουργεί υποψήφιες ακμές συνδέοντας κάθε κόμβο με τους K πλησιέστερους γείτονές του. Το KNN είναι γρήγορο, αλλά το ίδιο K δεν ταιριάζει σε κάθε εικόνα. Μια μικρή γειτονιά χάνει πραγματικές μακρινές συνδέσεις, ενώ μια μεγάλη γεμίζει τον classifier με απίθανα ζεύγη και αυξάνει τον θόρυβο.

Η αδυναμία γίνεται εντονότερη όταν η πυκνότητα και η μορφή αλλάζουν. Τα καθαρά οδικά δίκτυα είναι συχνά τοπικά και σχεδόν επίπεδα, ενώ γενικοί γράφοι μπορεί να έχουν crossings, μακριές ακμές ή διαφορετικούς βαθμούς κόμβων. Πρόκειται για μια ειδική μορφή domain shift: μια ευρετική που λειτουργεί σε ένα οπτικό περιβάλλον δεν ταξιδεύει αυτόματα σε άλλο.

Από την εικόνα στους κόμβους με δύο ροές πληροφορίας

Η αρχιτεκτονική ξεκινά από προεκπαιδευμένο vision foundation encoder, με παραδείγματα τα SAM, SAM2 και SAM3. Οι αναπαραστάσεις προβάλλονται σε δύο συμπληρωματικές ροές. Η local ροή κρατά υψηλότερη χωρική ανάλυση για ακριβή εντοπισμό κόμβων. Η global ροή έχει μεγαλύτερο receptive field και συγκεντρώνει πληροφορία για τη συνολική διάταξη.

Ο node detector παράγει πυκνό χάρτη πιθανότητας ανά pixel, επιλέγει τοπικά maxima πάνω από threshold, χρησιμοποιεί non-maximum suppression ώστε κοντινές ανιχνεύσεις να μην καταμετρώνται διπλά και εφαρμόζει soft-argmax για υπο-pixel διόρθωση. Από την local feature map δειγματοληπτεί descriptor για κάθε κόμβο. Η επόμενη φάση γνωρίζει έτσι και τη θέση και το οπτικό περιβάλλον κάθε υποψήφιου κόμβου.

Στη global ροή προστίθενται learnable topology tokens. Μέσω self-attention συγκεντρώνουν μοτίβα από όλη την εικόνα και επιστρέφουν το συνολικό context στα spatial tokens. Μετά την ανταλλαγή πληροφορίας τα topology tokens απορρίπτονται, αφήνοντας μια global map εμπλουτισμένη με δομικές ενδείξεις.

Ο ASNS κρατά λίγες αλλά χρήσιμες υποψήφιες ακμές

Ο Attention-Sparse Neighbor Sampler, ή ASNS, βαθμολογεί τη συμβατότητα ζευγών κόμβων συνδυάζοντας το local descriptor του ενός με global context δειγματοληπτημένο στη θέση του άλλου. Στη συνέχεια χρησιμοποιεί entmax, ώστε η κατανομή προσοχής να γίνει αραιή, και κρατά τους κορυφαίους K υποψηφίους ανά κόμβο.

Ο στόχος σε αυτό το στάδιο δεν είναι να αποφασιστεί τελεσίδικα αν υπάρχει ακμή. Είναι να δημιουργηθεί μικρότερο σύνολο υποψηφίων με υψηλή κάλυψη των αληθινών συνδέσεων. Αν μια πραγματική ακμή κοπεί εδώ, κανένας μεταγενέστερος classifier δεν μπορεί να την ανακτήσει. Αν μείνουν πάρα πολλές ψεύτικες ακμές, το structured reasoning γίνεται δυσκολότερο.

Η ανάλυση ευαισθησίας επιβεβαιώνει το trade-off. Οι συγγραφείς χρησιμοποίησαν K=8 στο Toulouse και K=12 στα άλλα datasets, επειδή οι κόμβοι του Toulouse είχαν λιγότερους γείτονες. Για το entmax, η τιμή 1,5 έδωσε γενικά την καλύτερη Graph Isomorphism Rate, χωρίς το μοντέλο να είναι υπερβολικά ευαίσθητο σε μικρές αλλαγές γύρω από αυτή την επιλογή.

Οι ακμές γίνονται tokens και συλλογίζονται από κοινού

Για κάθε υποψήφιο ζεύγος, το VisAdj συνδυάζει οπτικά, χωρικά, node-level και topology-aware χαρακτηριστικά. Η οπτική πληροφορία δειγματοληπτείται κατά μήκος μαθημένης καμπύλης Bézier, ώστε η αναπαράσταση να μπορεί να ακολουθήσει μια καμπύλη σύνδεση αντί να περιορίζεται στην ευθεία μεταξύ δύο σημείων.

Έπειτα ο LineGT χειρίζεται κάθε υποψήφια ακμή ως token. Το attention mask επιτρέπει αλληλεπίδραση όταν δύο ακμές μοιράζονται endpoint. Έτσι το μοντέλο μπορεί να μάθει ότι μια μεμονωμένη σύνδεση φαίνεται τοπικά πιθανή αλλά είναι ασύμβατη με τον βαθμό ενός κόμβου ή με τη γειτονική δομή.

Η διαδικασία παραμένει αραιή. Εφόσον ο ASNS κρατά έως K γείτονες για κάθε κόμβο, η πολυπλοκότητα του LineGT αυξάνεται γραμμικά με το πλήθος των κόμβων και τετραγωνικά με το K. Δεν γίνεται dense σύγκριση κάθε πιθανής ακμής με όλες τις υπόλοιπες.

Εκπαίδευση χωρίς να κρυφτεί το train-test gap

Στην αρχή της εκπαίδευσης, τα σφάλματα του node detector θα μπορούσαν να μολύνουν το edge supervision. Το VisAdj χρησιμοποιεί teacher forcing: τροφοδοτεί το edge module με ground-truth κόμβους στους οποίους προστίθεται Gaussian noise. Έτσι η εκμάθηση των ακμών δεν καταρρέει πριν σταθεροποιηθεί ο εντοπισμός κόμβων.

Αν όμως η εκπαίδευση χρησιμοποιούσε πάντα τέλειους κόμβους, θα δημιουργούσε τεχνητό πλεονέκτημα σε σχέση με το inference. Γι’ αυτό η πιθανότητα χρήσης ground-truth κόμβων μειώνεται γραμμικά μέχρι το μηδέν. Οι προβλεπόμενοι κόμβοι αντιστοιχίζονται με τους πραγματικούς βάσει χωρικής εγγύτητας μέσω Hungarian algorithm.

Η μελέτη επέλεξε decay length 30 epochs: μικρότερη τιμή εξέθετε το edge reasoning πολύ νωρίς σε ασταθείς προβλέψεις, ενώ η αύξηση από 30 σε 40 έδινε οριακό κέρδος. Η αρχή είναι γενική για production ML: η εκπαίδευση πρέπει να πλησιάζει σταδιακά τις πραγματικές συνθήκες λειτουργίας, όχι να κρύβει την αβεβαιότητα του upstream module.

Τέσσερα datasets και τρία επίπεδα αξιολόγησης

Η αξιολόγηση περιλαμβάνει synthetic γράφους, το οδικό Toulouse, το US-Cities και το OCTA500. Το synthetic σύνολο περιέχει planar και non-planar, tree και non-tree γράφους με crossings και μακρινές συνδέσεις. Το Toulouse είναι καθαρό, αραιό και κυρίως τοπικό οδικό benchmark. Το US-Cities προέρχεται από δορυφορικές εικόνες 20 αμερικανικών πόλεων και προσθέτει clutter, occlusions και σύνθετους κόμβους. Το OCTA500 χρησιμοποιεί patches από 500 OCTA scans με λεπτά, χαμηλού contrast αγγειακά δίκτυα.

Οι μετρικές εξετάζουν διαφορετικό βάθος. Η Graph Isomorphism Rate, ή GIR, μετρά το ποσοστό των περιπτώσεων όπου ολόκληρος ο προβλεπόμενος γράφος είναι ακριβώς ισόμορφος με τον πραγματικό. Η Graph Edit Distance μετρά πόσες αλλαγές κόμβων και ακμών χρειάζονται. Το TOPO συγκρίνει τοπικές γειτονιές δύο hops, ενώ Node-F1 και Edge-F1 απομονώνουν τον εντοπισμό κόμβων και τη δυαδική συνδεσιμότητα.

Η πολυεπίπεδη μέτρηση αποφεύγει ένα παραπλανητικό leaderboard. Ένα σύστημα μπορεί να έχει υψηλό Edge-F1 αλλά να αποτυγχάνει σε λίγες κρίσιμες ακμές που αλλάζουν ολόκληρη τη διαδρομή. Η ίδια λογική εξηγεί γιατί το evaluation harness μπορεί να αλλάξει τον νικητή ενός AI benchmark: η μετρική πρέπει να αντανακλά τη χρήση, όχι μόνο ό,τι είναι εύκολο να μετρηθεί.

Τι δείχνουν οι αριθμοί — και τι δεν αποδεικνύουν

Το VisAdj πέτυχε την καλύτερη επίδοση σε όλα τα datasets και σε όλες τις αναφερόμενες μετρικές. Στο synthetic dataset η GIR ανέβηκε από 53,79% του Any2Graph σε 73,02%. Στο Toulouse έφτασε 94,38% έναντι 93,45% του Any2Graph. Στο US-Cities έφτασε 68,57% έναντι 58,31% του G-SAM-Road++, ενώ στο OCTA500 κατέγραψε 64,98% έναντι 51,76% του ίδιου baseline.

Στο Edge-F1, οι αντίστοιχες τιμές του VisAdj ήταν 95,09%, 99,15%, 88,54% και 90,27%. Οι συγγραφείς συνοψίζουν βελτίωση άνω των 15 ποσοστιαίων μονάδων στη GIR και άνω των 8 μονάδων στο Edge-F1 στα diverse benchmarks τους. Οι διαφορές ήταν επίσης μεγαλύτερες από τις αναφερόμενες τυπικές αποκλίσεις τριών runs.

Η σωστή ανάγνωση είναι περιορισμένη: η εργασία αποδεικνύει καλύτερη ανακατασκευή στα συγκεκριμένα σύνολα και απέναντι στις συγκεκριμένες προσαρμογές G-SAM-Road++, G-RNGDet++, Any2Graph και Sat2Graph. Δεν αποδεικνύει ίδια απόδοση σε οργανωγράμματα, process maps, ηλεκτρικά σχέδια ή κάθε ιατρική εικόνα.

Ταχύτητα και ablation: από πού έρχεται το κέρδος

Στο US-Cities, με batch size 1 και κοινές ρυθμίσεις, το VisAdj χρειάστηκε 63,17 ms ανά εικόνα και επεξεργάστηκε 15,83 εικόνες το δευτερόλεπτο. Τα τέσσερα συγκρινόμενα συστήματα κυμάνθηκαν από 88,18 έως 269,54 ms ανά εικόνα. Οι συγγραφείς αποδίδουν το πλεονέκτημα στο sparse candidate set και στο attention μόνο μεταξύ incident candidate edges.

Το ablation φωτίζει τη συμβολή των modules. Στο synthetic dataset, η αντικατάσταση του LineGT από τυπικό graph transformer μείωσε τη GIR από 73,02% σε 54,43% και το Edge-F1 από 95,09% σε 72,63%. Η αντικατάσταση του ASNS με σταθερό KNN μείωσε τη GIR σε 63,11% και το TOPO-F1 από 98,72% σε 86,47%.

Η αφαίρεση visual, spatial ή global topology features μείωσε επίσης την επίδοση, αλλά λιγότερο. Παράλληλα, ισχυρότεροι vision encoders αύξησαν τη GIR σταδιακά, χωρίς ανάλογα μεγάλη αλλαγή στο TOPO-F1. Το εύρημα της εργασίας είναι ότι, μετά από επαρκή οπτική αναπαράσταση, το bottleneck μετατοπίζεται στο graph-structure reasoning.

Από δρόμους και αγγεία σε χρήσιμη δομή

Στα qualitative examples, το VisAdj διατηρεί μακρινές συνδέσεις σε synthetic γράφους, ανακτά συνέχεια δρόμων σε κοντινά ή μερικώς occluded τμήματα και αποφεύγει περισσότερα λανθασμένα shortcuts σε αγγειακές διακλαδώσεις. Ως plug-in graph reasoning module αντικατέστησε επίσης το αντίστοιχο μέρος του SAM-Road++ και βελτίωσε την οδική εξαγωγή σε SpaceNet και US-Cities σύμφωνα με την εργασία.

Η επιχειρησιακή αξία βρίσκεται όπου το χρήσιμο αποτέλεσμα είναι η σχέση και όχι το mask: χαρτογραφικά δίκτυα, infrastructure maps ή εικόνες που πρέπει να μετατραπούν σε queryable δομή. Σε πιο αφηρημένες περιπτώσεις, η σύνδεση με knowledge graphs και ελέγξιμα δεδομένα είναι εννοιολογική, όχι αποδεδειγμένη εφαρμογή του VisAdj. Η εργασία δεν αξιολογεί αυτόματη κατανόηση εταιρικών οργανογραμμάτων ή customer journey maps.

Η δημοσίευση κώδικα βοηθά την αναπαραγωγή, αλλά δεν μειώνει την ανάγκη για domain-specific data preparation. Το repository περιμένει εικόνες, adjacency matrices, σημεία κόμβων και προαιρετικά masks ανά split. Άρα, ένα pilot χρειάζεται επισημασμένες δομές και όχι μόνο έναν φάκελο με εικόνες.

Τα failure cases ορίζουν το όριο εμπιστοσύνης

Το VisAdj μπορεί ακόμη να εισαγάγει shortcut ή να χάσει ασθενώς ορατή ακμή σε πυκνά συνδεδεμένες περιοχές, βαριές διασταυρώσεις και οπτικά αμφίσημες συνδέσεις. Το κρίσιμο failure δεν είναι πάντα ένας χαμένος κόμβος· μπορεί να είναι μία μόνο λανθασμένη ακμή που αλλάζει το δίκτυο.

Υπάρχουν επίσης όρια scope. Η διατύπωση αφορά μη κατευθυνόμενους και μη σταθμισμένους γράφους, ενώ οι ταυτότητες κόμβων συνδέονται με τη χωρική θέση. Οι συγγραφείς αναφέρουν ως μελλοντική εργασία μια permutation-invariant εκδοχή και επέκταση σε γενικότερες εικόνες όπου ο γράφος είναι έμμεσα ενσωματωμένος, όπως scene graphs. Αυτές οι κατευθύνσεις δεν έχουν αποδειχθεί ακόμη.

Σε εφαρμογή υψηλού ρίσκου χρειάζονται confidence handling, human review και downstream validation. Η απόφαση δεν πρέπει να βασίζεται σε ένα συνολικό F1, αλλά στο πραγματικό κόστος κάθε τύπου λάθους: είναι χειρότερο να χαθεί μια σύνδεση ή να προστεθεί μία ψεύτικη;

Πώς αξιολογείται ένα image-to-graph σύστημα στην πράξη

Η σωστή αξιολόγηση ξεκινά από την απόφαση που θα στηριχθεί στον γράφο. Αν το downstream task είναι εύρεση διαδρομής, μια χαμένη γέφυρα μπορεί να είναι κρισιμότερη από πολλά σωστά τοπικά segments. Αν είναι καταμέτρηση βαθμού ή ανίχνευση διακλαδώσεων, το κόστος των shortcuts αλλάζει. Ένα benchmark πρέπει να αναπαριστά αυτές τις συνέπειες.

Η ομάδα χρειάζεται επίσης ξεχωριστό test set ανά domain, ανάλυση, contrast, πυκνότητα και τύπο θορύβου. Η πρακτική αυτή είναι συνεπής με το μάθημα του FlavourBench για αξιόπιστη αξιολόγηση AI: το test πρέπει να μοιάζει με την πραγματική εργασία και να αποκαλύπτει πού αποτυγχάνει το pipeline, όχι απλώς να επιβεβαιώνει ότι λειτουργεί σε βολικά παραδείγματα.

Το VisAdj δεν είναι έτοιμη εγγύηση παραγωγής, αλλά δίνει καθαρή αρχιτεκτονική υπόθεση: προσαρμοστική επιλογή υποψηφίων, global context και κοινό edge reasoning μπορούν να διορθώσουν αδυναμίες που δεν λύνονται απλώς με μεγαλύτερο vision backbone. Η αξία του για μια επιχείρηση θα κριθεί μόνο όταν αυτή η υπόθεση δοκιμαστεί στα δικά της δεδομένα, failures και acceptance criteria.