StateSight: γιατί τα vision-language models βλέπουν σωστά αλλά χάνουν τη χωρική δομή

Ένα vision-language model μπορεί να αναγνωρίσει τα στοιχεία μιας εικόνας, να ακολουθήσει πιστά τη ζητούμενη μορφή απάντησης και παρ’ όλα αυτά να έχει σχηματίσει λανθασμένη εικόνα για το τι υπάρχει πραγματικά στον χώρο. Αυτή είναι η ουσία του StateSight, ενός ελεγχόμενου benchmark που εξετάζει όχι τη γενική «ευφυΐα» ενός πολυτροπικού συστήματος, αλλά την ανακατασκευή της κρυμμένης χωρικής κατάστασης που παρήγαγε μία εικόνα.

Για επαγγελματίες, e-commerce ομάδες και επιχειρήσεις που εξετάζουν visual AI, το εύρημα έχει πρακτική αξία. Μια καθαρή απάντηση δεν αποδεικνύει από μόνη της ότι το σύστημα μέτρησε σωστά αντικείμενα, κατάλαβε τις επικαλύψεις ή διατήρησε τις σχέσεις γειτνίασης. Όπως και στο Transition Complexity Profile για AI benchmarks, η χρησιμότητα της μέτρησης εξαρτάται από το αν απομονώνει τη δυσκολία που θα συναντήσει η πραγματική ροή.

Τι ακριβώς μετρά το StateSight

Η εργασία της Michelle Lin εισάγει ένα procedurally generated benchmark με 900 εικόνες, χωρισμένες ισόποσα σε τρεις οικογένειες εργασιών. Κάθε οικογένεια έχει 300 prompts μίας εικόνας. Επειδή οι εικόνες παράγονται από κώδικα, η πραγματική απάντηση υπολογίζεται απευθείας από την κατάσταση του generator. Το rendering και το oracle label προέρχονται από την ίδια latent state, επιτρέποντας deterministic labels και αυστηρό exact-match scoring.

Η πρώτη εργασία δείχνει ένα δισδιάστατο ανάπτυγμα κύβου, με γράμματα στις έδρες, και ζητά ποια έδρα θα βρεθεί απέναντι από την επισημασμένη όταν ο κύβος διπλωθεί. Η δεύτερη παρουσιάζει ισομετρικούς πύργους από μοναδιαίους κύβους και ζητά τον συνολικό αριθμό κύβων, μαζί με τα κρυμμένα στηρίγματα. Η τρίτη χρησιμοποιεί πλέγμα 10 επί 10 και ζητά πόσες ξεχωριστές γκρι περιοχές υπάρχουν με σύνδεση τεσσάρων γειτόνων, δηλαδή μόνο μέσω κοινής πλευράς και όχι διαγώνια.

Οι τρεις δοκιμές απομονώνουν διαφορετικά προβλήματα. Το ανάπτυγμα απαιτεί μετασχηματισμό από δύο σε τρεις διαστάσεις. Οι πύργοι απαιτούν συμπέρασμα για μη ορατούς κύβους. Το πλέγμα απαιτεί συνεπή παρακολούθηση τοπικών συνδέσεων σε ολόκληρη την εικόνα. Δεν υπάρχουν φυσικές σκηνές ή εμπορικά σήματα που θα επέτρεπαν στο μοντέλο να κερδίσει πόντους αξιοποιώντας γλωσσικές συσχετίσεις του πραγματικού κόσμου.

Γιατί τα γενικά benchmarks μπορεί να κρύβουν το πρόβλημα

Σε μια σύνθετη αξιολόγηση οπτικής ερώτησης, η τελική επίδοση μπορεί να εξαρτάται ταυτόχρονα από αναγνώριση αντικειμένων, OCR, γνώσεις πεδίου, γλωσσικά πρότυπα και συλλογιστική. Ένα μοντέλο μπορεί να βρει τη σωστή απάντηση μέσω μιας χρήσιμης συσχέτισης, χωρίς να εκτελέσει τον χωρικό μετασχηματισμό που θεωρούμε ότι ελέγχεται. Το StateSight περιορίζει σκόπιμα αυτά τα παράπλευρα μονοπάτια.

Η λογική συνδέεται με προηγούμενα benchmarks όπως τα CLEVR και GQA, που χρησιμοποίησαν ελεγχόμενες σκηνές ή δομημένες αναπαραστάσεις για να αποκαλύψουν συγκεκριμένες αδυναμίες. Η νέα εργασία είναι στενότερη: κρατά σταθερά το rendering, τον τύπο απάντησης, τη ζητούμενη σχέση και την oracle κατάσταση. Έτσι, όταν η απάντηση είναι λάθος, η ανάλυση μπορεί να επιστρέψει στην ακριβή κατάσταση της εικόνας και να εντοπίσει πού αποκλίνει η ανακατασκευή.

Αυτό δεν σημαίνει ότι ένα μοντέλο με χαμηλότερη επίδοση στο StateSight είναι συνολικά λιγότερο χρήσιμο. Σημαίνει ότι το συνολικό score ενός γενικού benchmark δεν αρκεί για να προβλέψει αξιοπιστία σε εργασίες όπου η σωστή μέτρηση, η απόκρυψη και η τοπολογία είναι κεντρικές. Το ίδιο όριο εμφανίζεται στα model cards χωρίς λειτουργικές εγγυήσεις: η συνολική επίδοση πρέπει να συνδέεται με το συγκεκριμένο failure mode της χρήσης.

Τα αποτελέσματα των δύο μοντέλων

Η μελέτη αξιολόγησε το OpenAI GPT-5.5, με API identifier gpt-5.5, και το Claude Sonnet 5. Στα δίκτυα κύβου, το GPT-5.5 πέτυχε 178 σωστές απαντήσεις στις 300, δηλαδή 59,3%, ενώ το Claude Sonnet 5 πέτυχε 160 στις 300 ή 53,3%. Στους κρυμμένους πύργους κύβων, οι επιδόσεις έπεσαν στο 33,3% και 18,7% αντίστοιχα. Στα συνδεδεμένα πλέγματα, το GPT-5.5 έφτασε το 28,3% και το Claude Sonnet 5 το 7,3%.

Οι διαφορές GPT-5.5 μείον Claude Sonnet 5 ήταν 6,0, 14,7 και 21,0 ποσοστιαίες μονάδες για τις τρεις εργασίες. Τα paired bootstrap intervals που αναφέρει η μελέτη απέκλεισαν το μηδέν και στις τρεις περιπτώσεις. Ωστόσο, το σημαντικό επιχειρηματικό μήνυμα δεν είναι μόνο ποιο από τα δύο μοντέλα προηγείται. Είναι το πόσο απότομα μειώνεται η ακρίβεια όταν η εργασία απαιτεί ανακατασκευή κρυμμένης πληροφορίας ή ακριβή τοπολογική παρακολούθηση.

Όλες οι τελικές direct runs είχαν μηδενικά format errors. Τα συστήματα έδωσαν απάντηση στη ζητούμενη μορφή: γράμμα ή θετικό ακέραιο. Η απουσία προβλημάτων μορφοποίησης δεν συνοδεύτηκε από αντίστοιχη ακρίβεια περιεχομένου. Αυτή η διάκριση είναι κρίσιμη σε αυτοματισμούς, επειδή ένας parser μπορεί να δεχθεί κανονικά μια λανθασμένη τιμή. Για αυτό το behavioral testing των AI συστημάτων χρειάζεται να ελέγχει αποτέλεσμα και όχι μόνο επιτυχημένη εκτέλεση.

Η ανθρώπινη baseline και το μέγεθος του κενού

Τριάντα ενήλικες συμμετέχοντες ολοκλήρωσαν ένα πακέτο 60 items, με 20 από κάθε εργασία. Δεν υπήρχε σταθερό χρονικό όριο, επιτρεπόταν zoom, αλλά όχι calculators, AI, αναζήτηση, συνεργασία ή πρόχειρα σχέδια. Η μέση ανθρώπινη ακρίβεια ήταν 80,8% στα δίκτυα κύβου, 68,8% στους πύργους και 64,3% στα πλέγματα.

Σε σχέση με το GPT-5.5, τα περιγραφικά κενά ήταν 21,5, 35,5 και 36,0 ποσοστιαίες μονάδες. Σε σχέση με το Claude Sonnet 5 ήταν 27,5, 50,2 και 57,0 μονάδες. Η μελέτη διευκρινίζει ότι αυτές είναι benchmark-level συγκρίσεις και όχι item-matched significance tests, επειδή οι άνθρωποι απάντησαν σε 20 items ανά εργασία ενώ τα μοντέλα σε 300.

Η ανθρώπινη επίδοση δεν ήταν τέλεια, άρα οι δοκιμές δεν είναι παγίδα σχεδιασμένη ώστε να αποτυγχάνει μόνο η AI. Το ενδιαφέρον είναι ότι η μείωση των ανθρώπων στις δυσκολότερες εργασίες ήταν πολύ μικρότερη από τη μείωση των μοντέλων. Επιπλέον, πέντε items που ήταν εύκολα για τους ανθρώπους χάθηκαν και από τα δύο μοντέλα, δημιουργώντας ένα χρήσιμο diagnostic subset για μελλοντική ανάλυση.

Πού εμφανίζονται τα λάθη: αντίληψη, ανακατασκευή και διαδικασία

Σε ξεχωριστή συνθήκη visible derivation, τα μοντέλα κλήθηκαν να δώσουν απάντηση, derivation και εξήγηση σε 30 matched παραδείγματα ανά εργασία. Οι ερευνητές τονίζουν ότι αυτά είναι ορατά response traces και όχι κρυφό chain-of-thought. Η ανάλυση 180 αποκρίσεων κατέταξε 72 ως λάθος ανακατασκευή της εικόνας, 41 ως λανθασμένη διαδικασία συλλογιστικής, δύο ως μικτές, μία ως περιέχουσα κατασκευασμένο οπτικό γεγονός και 64 ως σωστές.

Στους πύργους, οι απαντήσεις συχνά παρέλειπαν κρυμμένα στηρίγματα. Στα πλέγματα, ένα μοντέλο μπορούσε να δηλώνει σωστά ότι η διαγώνια επαφή δεν συνδέει δύο περιοχές, αλλά στη συνέχεια να συγχωνεύει ή να διαχωρίζει λάθος τα components. Η γνώση του κανόνα, επομένως, δεν εγγυάται ότι ο κανόνας εφαρμόστηκε συνεπώς σε όλη την εικόνα.

Η visible-derivation συνθήκη δεν βελτίωσε με συνέπεια την ακρίβεια. Επειδή είχε διαφορετικό prompt και μόλις 30 matched items ανά εργασία, οι επιδόσεις της δεν πρέπει να διαβαστούν ως άμεση απόδειξη ότι η απαίτηση εξήγησης βοηθά ή βλάπτει. Δείχνει όμως κάτι πρακτικό: μια πειστική λεκτική αιτιολόγηση μπορεί να συνοδεύει λανθασμένη αναπαράσταση της εικόνας. Η ανάγκη για ανθρώπινη κρίση θυμίζει το μοντέλο της Ford, όπου η ποιότητα δεν αυτοματοποιείται χωρίς ειδικούς.

StateSight-Steps και οπτικές ενδιάμεσες καταστάσεις

Το companion dataset StateSight-Steps περιλαμβάνει 900 interleaved image-text παραδείγματα και 3.600 deterministic intermediate visual states. Για τα δίκτυα κύβου παρέχει τις σχετικές συντεταγμένες, τις διπλωμένες κατευθύνσεις και τη σχέση των απέναντι εδρών. Για τους πύργους παρέχει height map, κατειλημμένο footprint και οριζόντιες στρώσεις. Για τα πλέγματα παρέχει binary mask, component map και τελική αριθμημένη ομαδοποίηση.

Η ιδέα είναι ότι ορισμένοι χωρικοί μετασχηματισμοί ίσως αναπαρίστανται καλύτερα με ενδιάμεσες εικόνες παρά αποκλειστικά με γλώσσα. Επειδή οι καταστάσεις παράγονται από τα metadata και όχι από μοντέλο, μπορούν να ελεγχθούν μηχανικά. Αυτό ανοίγει δρόμο για πειράματα με prompting, supervision ή fine-tuning που δεν θα επιβλέπουν μόνο την τελική απάντηση, αλλά και τα στάδια της χωρικής ανακατασκευής.

Η παρούσα εργασία δεν ισχυρίζεται ότι η εκπαίδευση με StateSight-Steps βελτιώνει την επίδοση. Το dataset προσφέρεται ως υποδομή για μελλοντικά ablations. Η ύπαρξη ερμηνεύσιμων ενδιάμεσων targets είναι δυνατότητα έρευνας, όχι ήδη αποδεδειγμένη λύση. Η ίδια πειθαρχία χρειάζεται και στα enterprise AI harnesses: το trace είναι χρήσιμο όταν συνδέεται με ελεγχόμενη κατάσταση και αποδείξεις, όχι όταν λειτουργεί μόνο ως αφήγηση.

Τι σημαίνει για visual AI σε e-commerce και επιχειρήσεις

Το StateSight δεν αξιολογεί φωτογραφίες προϊόντων, αποθήκες ή planograms, άρα δεν επιτρέπεται να μεταφέρουμε αυτούσια τα ποσοστά του σε εμπορικές εφαρμογές. Η ασφαλής ερμηνεία είναι μεθοδολογική. Όταν ένα workflow απαιτεί ακριβή χωρική κατάσταση, η επιχείρηση χρειάζεται task-specific validation με oracle δεδομένα που μοιάζουν με τις πραγματικές εισόδους της.

Σε catalog operations, άλλο πράγμα είναι η αναγνώριση ότι μια εικόνα περιέχει παπούτσια και άλλο η αξιόπιστη καταμέτρηση των μονάδων όταν κάποιες επικαλύπτονται. Σε shelf analytics, άλλο η ονομασία μιας κατηγορίας και άλλο η συνεπής ανακατασκευή θέσεων και κενών. Σε quality control, μια καλοδιατυπωμένη εξήγηση δεν αρκεί αν το σύστημα έχει παραλείψει μια κρυμμένη ή μερικώς ορατή δομή. Αυτά είναι παραδείγματα εφαρμογής της αρχής του paper, όχι αποτελέσματα που μέτρησε το ίδιο το StateSight.

Η κατάλληλη αρχιτεκτονική ελέγχου μπορεί να συνδυάζει visual model, deterministic κανόνες και human review. Όταν υπάρχει διαθέσιμη πραγματική κατάσταση από σύστημα αποθήκης, CAD, barcode scan ή άλλη αξιόπιστη πηγή, η απόκριση του μοντέλου πρέπει να συγκρίνεται με αυτή. Όπου δεν υπάρχει oracle, η επιχείρηση χρειάζεται confidence thresholds και διαδρομή κλιμάκωσης αντί να αντιμετωπίζει κάθε format-valid απάντηση ως τελικό γεγονός. Η σύνδεση με e-shop και συστήματα καταλόγου πρέπει να σχεδιαστεί ως ελεγχόμενος agentic commerce μηχανισμός, όχι ως ανεπιτήρητη εγγραφή δεδομένων.

Πώς σχεδιάζεται αξιολόγηση πριν από την παραγωγή

Πρώτο βήμα είναι να οριστεί η κρυμμένη κατάσταση που πρέπει να ανακτηθεί. Μπορεί να είναι αριθμός αντικειμένων, σχέση γειτνίασης, θέση, στρώση ή συνδεσιμότητα. Αν η ομάδα μετρά μόνο τη γενική χρησιμότητα ενός chatbot prompt, δεν θα γνωρίζει αν η αποτυχία προήλθε από αντίληψη, parsing ή επιχειρησιακό κανόνα.

Δεύτερο βήμα είναι η δημιουργία ελεγχόμενων test cases με γνωστή απάντηση. Η procedural generation είναι χρήσιμη όταν μπορεί να αναπαράγει νόμιμες παραλλαγές χωρίς χειροκίνητη σήμανση. Η σύνδεση renderer και oracle στην ίδια latent state, όπως στο StateSight, εμποδίζει την απόκλιση εικόνας και label. Στις πραγματικές εικόνες χρειάζεται συνδυασμός συνθετικών cases και προσεκτικά ελεγμένων production samples.

Τρίτο βήμα είναι ο χωρισμός διαφορετικών failure modes. Η ομάδα καταγράφει τουλάχιστον format validity, task correctness και λειτουργικά errors. Αν ζητείται εξήγηση, αυτή αξιολογείται χωριστά και δεν χρησιμοποιείται ως υποκατάστατο της σωστής απάντησης. Τέταρτο βήμα είναι η ανάλυση σε επίπεδο item: τα παραδείγματα που είναι εύκολα για ανθρώπους αλλά δύσκολα για το μοντέλο συχνά αποκαλύπτουν καθαρότερα το συγκεκριμένο κενό.

Το pilot πρέπει να αποθηκεύει την έκδοση μοντέλου, το prompt, τις ρυθμίσεις εικόνας, το output, το oracle και την τελική ανθρώπινη απόφαση. Έτσι μια αλλαγή μοντέλου ή pipeline μπορεί να επαναξιολογηθεί στο ίδιο corpus. Για marketing και content workflows, η ίδια αρχή εξηγεί γιατί τα AI workflows δεν καταργούν τον ανθρώπινο έλεγχο όταν το αποτέλεσμα επηρεάζει πελάτη ή brand.

Οι περιορισμοί που πρέπει να μείνουν ορατοί

Η μελέτη καλύπτει δύο proprietary models και τρεις στενά ορισμένες οικογένειες εργασιών. Το ανθρώπινο δείγμα είναι convenience sample 30 ενηλίκων. Οι generated εικόνες προσφέρουν ισχυρό πειραματικό έλεγχο, αλλά δεν αντιπροσωπεύουν τη μεταβλητότητα φυσικών εικόνων. Τα συμπεράσματα αφορούν τις συγκεκριμένες συνθήκες, prompts, ρυθμίσεις και ημερομηνία αξιολόγησης.

Η εργασία επίσης δεν δείχνει ότι τα σημερινά μοντέλα αποτυγχάνουν σε κάθε μορφή χωρικής συλλογιστικής. Υπήρχαν items που λύθηκαν και από τα δύο. Ούτε αποδεικνύει τι συμβαίνει «μέσα» στο μοντέλο: οι κατηγορίες βασίζονται σε ορατές απαντήσεις και χρησιμοποιούνται ως διαγνωστικό εργαλείο, όχι ως αιτιώδης χαρτογράφηση της εσωτερικής διαδικασίας. Γι’ αυτό και η behavioral πιστοποίηση των AI συστημάτων χρειάζεται συγκεκριμένα test sets και όχι έναν γενικό τίτλο αξιοπιστίας.

Οι προτάσεις για μελλοντική δουλειά περιλαμβάνουν περισσότερα proprietary και open-weight models, νέες χωρικές σχέσεις, rotations, clutter, πιο σύνθετη απόκρυψη, path structure, symmetry completion και layered alignment. Χρειάζεται επίσης σύνδεση με φυσικές εικόνες ώστε να φανεί ποια ελεγχόμενα failures επιμένουν έξω από το synthetic περιβάλλον. Η multimodal AI σε τοπικά συστήματα αυξάνει ακόμη περισσότερο την ανάγκη για αξιολόγηση ανά συσκευή, ρύθμιση και πραγματικό input.

Η επιχειρηματική αρχή: έλεγξε την κατάσταση, όχι μόνο την απόκριση

Το StateSight προσφέρει μια χρήσιμη υπενθύμιση για κάθε AI deployment: η συμμόρφωση με το interface είναι διαφορετική από την ορθότητα. Ένα σύστημα μπορεί να επιστρέψει έγκυρο JSON, σωστό τύπο δεδομένων ή καλοδιατυπωμένο κείμενο και να είναι ουσιαστικά λάθος. Όσο περισσότερο μια διαδικασία εξαρτάται από το πού βρίσκεται κάτι, τι κρύβεται, τι συνδέεται και πόσα αντικείμενα υπάρχουν, τόσο περισσότερο χρειάζεται έλεγχο της υποκείμενης κατάστασης.

Για τους decision makers, η σωστή ερώτηση δεν είναι μόνο «ποιο model έχει το μεγαλύτερο γενικό score;». Είναι «ποια ακριβώς οπτική κατάσταση πρέπει να ανακτήσει η δική μας ροή, ποιο oracle διαθέτουμε και πώς θα εντοπίσουμε τις περιπτώσεις όπου η απάντηση είναι κανονικά μορφοποιημένη αλλά λανθασμένη;». Αυτή η μετατόπιση από το demo στη μετρήσιμη αξιοπιστία είναι το πιο χρήσιμο πρακτικό συμπέρασμα της μελέτης και η βάση για ασφαλείς Αυτοματισμούς Επιχειρήσεων & AI.