Interactive visual grounding: γιατί το AI πρέπει να μάθει να ρωτά πριν αποφασίσει

Ένα μοντέλο μπορεί να αναγνωρίζει αντικείμενα σε εικόνες και παρ’ όλα αυτά να αποτυγχάνει τη στιγμή που ο χρήστης λέει «θέλω εκείνο το μπλε» σε έναν κατάλογο με πολλά μπλε προϊόντα. Η διαφορά δεν βρίσκεται μόνο στην όραση. Βρίσκεται στην ικανότητα να καταλάβει ότι λείπει πληροφορία, να κάνει τη σωστή διευκρινιστική ερώτηση και να συνθέσει τις απαντήσεις πριν πάρει απόφαση.

Αυτό εξετάζει η εργασία When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs των Zhengxiang Wang και Owen Rambow. Σε 38.848 επιλογές στόχων, οκτώ μεγάλα vision-language models δοκιμάστηκαν σε τέσσερα οπτικά περιβάλλοντα και τέσσερα πρωτόκολλα αλληλεπίδρασης. Τα μοντέλα μπορούν να ωφεληθούν από μια συζήτηση, αλλά δυσκολεύονται όταν πρέπει τα ίδια να ξεκινήσουν την αναζήτηση πληροφορίας. Το εύρημα συμπληρώνει όσα γνωρίζουμε για multimodal AI agents που αντιλαμβάνονται σωστά αλλά δεν δρουν πάντα σωστά.

Γιατί τα συνηθισμένα visual benchmarks κρύβουν το δύσκολο μέρος

Η κλασική αξιολόγηση visual grounding δίνει στο μοντέλο μια αρκετά κατατοπιστική φράση και ζητά να βρει το αντίστοιχο αντικείμενο ή τμήμα της εικόνας. Μετρά κυρίως τη στατική αντιστοίχιση ανάμεσα σε λόγο και εικόνα. Δεν ελέγχει αν το σύστημα αναγνωρίζει ότι η περιγραφή είναι ελλιπής, αν ξέρει ποια πληροφορία να ζητήσει ή αν μπορεί να αναθεωρήσει μια προηγούμενη επιλογή.

Στην πραγματική επικοινωνία, οι αναφορές είναι συχνά ασαφείς. Ένας πελάτης μπορεί να πει «αυτό που φαίνεται πιο επίσημο» μπροστά σε δώδεκα παρόμοια παπούτσια. Ένας τεχνικός μπορεί να δείξει μια φωτογραφία και να ζητήσει «βρες το προβληματικό εξάρτημα» χωρίς να εξηγήσει το σύμπτωμα. Οι άνθρωποι δημιουργούν κοινή κατανόηση με ερωτήσεις, διορθώσεις και επαναδιατύπωση. Ένα χρήσιμο multimodal σύστημα πρέπει να αξιολογείται σε αυτή τη συνεργατική διαδικασία και όχι μόνο σε ένα τέλειο prompt.

Αυτό έχει ιδιαίτερη σημασία επειδή ακόμη και ισχυρά vision-language models μπορεί να χάνουν τη δομή μιας εικόνας. Το πρόβλημα έχει φανεί και σε ελέγχους όπου τα μοντέλα βλέπουν τα σωστά στοιχεία αλλά χάνουν τη χωρική τους σχέση. Εδώ ο έλεγχος πηγαίνει ένα βήμα πιο πέρα: μπορεί το μοντέλο να εντοπίσει μόνο του ότι χρειάζεται καλύτερη περιγραφή;

Πώς το πείραμα χωρίζει την όραση από την αναζήτηση πληροφορίας

Το πλαίσιο έχει δύο ρόλους. Ο Director βλέπει ένα διατεταγμένο σύνολο στόχων. Ο Matcher βλέπει ένα διαφορετικά αριθμημένο σύνολο υποψήφιων εικόνων, όπου υπάρχουν οι στόχοι και ενδεχομένως distractors. Οι αριθμοί τυχαιοποιούνται ανεξάρτητα, ώστε η αντιστοίχιση να μην μπορεί να γίνει με θέση ή index. Για κάθε στόχο, οι δύο πλευρές ανταλλάσσουν μηνύματα μέχρι ο Matcher να επιλέξει.

Η κύρια αξιολόγηση καλύπτει τέσσερα ανθρώπινα θεμελιωμένα visual contexts: σκύλους, δύο διαφορετικά σύνολα καλαθιών και αφηρημένα tangrams. Τα datasets διαφέρουν ως προς το αν τα αντικείμενα έχουν συμβατικά ονόματα, αν οι αρχικές περιγραφές ήταν προφορικές ή γραπτές και αν η αντιστοίχιση ήταν ελεύθερη ή διαδοχική. Τα καλάθια απαιτούν λεπτές περιγραφές χαρακτηριστικών, ενώ τα tangrams προκαλούν μεγάλη ποικιλία στον τρόπο που οι άνθρωποι περιγράφουν το ίδιο σχήμα.

Οι ερευνητές κράτησαν αρχικές ανθρώπινες περιγραφές από διαλόγους υψηλής ακρίβειας και παρήγαγαν 536 ζεύγη αντικειμένου–περιγραφής. Σε κάθε turn επιτρεπόταν ένα μήνυμα έως 50 λέξεις και οι interactive συνθήκες είχαν όριο δέκα turns. Αν εξαντλούνταν το budget, το μοντέλο έπρεπε να κάνει τελική επιλογή. Συνολικά, οι κύριες δοκιμές παρήγαγαν 17.152 selections και τα follow-up studies άλλα 21.696, φτάνοντας τα 38.848.

Τέσσερα πρωτόκολλα, τέσσερα επίπεδα αβεβαιότητας

Η κλιμάκωση των πρωτοκόλλων είναι το σημαντικότερο σχεδιαστικό στοιχείο. Δεν μετρά απλώς αν η συζήτηση ανεβάζει ή κατεβάζει έναν συνολικό βαθμό. Δείχνει πότε η πληροφορία υπήρχε ήδη, πότε χρειαζόταν μικρή επισκευή και πότε έπρεπε να αποκτηθεί σχεδόν εξ ολοκλήρου με ερωτήσεις.

Το Full ελέγχει αν μια προαιρετική follow-up ερώτηση μπορεί να επιβεβαιώσει ή να επισκευάσει μια ήδη χρήσιμη περιγραφή. Το Partial δημιουργεί πραγματική ανάγκη για clarification. Το None μεταφέρει σχεδόν όλο το βάρος στο question-driven grounding: το μοντέλο πρέπει να επιλέξει ποιο χαρακτηριστικό θα μειώσει την αβεβαιότητα και να κατασκευάσει σταδιακά μια αναπαράσταση του στόχου.

Το ανθρώπινο κενό παραμένει μεγάλο

Σχεδόν όλα τα LVLMs υστέρησαν έναντι των task-level ανθρώπινων baselines, με τα μεγαλύτερα κενά στα tangrams. Ακόμη και αν για κάθε συνδυασμό μοντέλου και dataset επιλεγεί το καλύτερο πρωτόκολλο, το συνολικό κενό ακρίβειας ήταν 6,8 ποσοστιαίες μονάδες για το ισχυρότερο αποτέλεσμα, Gemini-3.1-Pro. Για GPT-5.5 ήταν 25,3 μονάδες, για GPT-5.4 27,3 και για Qwen3-VL-8B 61,4 μονάδες. Αυτές οι τιμές προέρχονται από τη συγκεκριμένη εργασία και δεν είναι γενική κατάταξη μοντέλων.

Η μοναδική περίπτωση ισοτιμίας με ανθρώπους ήταν το Gemini-3.1-Pro στο δεύτερο σύνολο καλαθιών υπό Partial. Κανένα μοντέλο δεν ξεπέρασε τα ανθρώπινα baselines. Το εύρημα δείχνει ότι η υψηλή επίδοση σε στατικά vision-language tasks δεν ισοδυναμεί με ανθρώπινη ικανότητα συνεργατικής αναφοράς.

Τα μεγαλύτερα μοντέλα συνήθως ξεπέρασαν τα μικρότερα της ίδιας οικογένειας και τα proprietary models έτειναν να βρίσκονται πάνω από τα open-weight. Όμως η εργασία δεν αποδίδει κάθε διαφορά αποκλειστικά στην κλίμακα. Η επιτυχία απαιτεί μαζί οπτική αντιστοίχιση, επιλογή χρήσιμης ερώτησης, διατήρηση του ιστορικού και σύνθεση απαντήσεων. Είναι ένας καλός λόγος να αντιμετωπίζουμε κάθε AI benchmark μαζί με το harness και το πρωτόκολλό του, όχι ως απόλυτη ετικέτα ποιότητας.

Πότε η διευκρίνιση βοηθά και πότε δεν αρκεί

Το Full ξεπέρασε το Static για επτά από τα οκτώ μοντέλα. Η micro-averaged accuracy του GPT-5.5 ανέβηκε από 65,8% σε 69,5%, του GPT-5.4 από 66,1% σε 69,4% και του Gemma-4-31B-IT από 56,0% σε 60,0%. Η προαιρετική ερώτηση μπορεί επομένως να επιβεβαιώσει ή να επισκευάσει μια ήδη χρήσιμη περιγραφή.

Στο Partial, τέσσερα μοντέλα βελτιώθηκαν έναντι του Static και τέσσερα χειροτέρεψαν. Έξι από τα οκτώ είχαν χαμηλότερη επίδοση από το Full. Άρα η συζήτηση συχνά ανακτά ένα μέρος της χαμένης πληροφορίας, αλλά δεν εξισορροπεί πλήρως ένα φτωχό αρχικό σήμα.

Στο None, όλα τα μοντέλα βρέθηκαν κάτω από το Static παρότι έκαναν τις περισσότερες ερωτήσεις. Το GPT-5.5 έφτασε 59,7%, το Gemini-3.1-Pro 56,7%, το GPT-5.4 43,2% και το GPT-5.4-Mini 13,5%. Το συμπέρασμα δεν είναι «ρώτα περισσότερο». Είναι «ρώτα για το χαρακτηριστικό που μειώνει πραγματικά την αβεβαιότητα και ενσωμάτωσε σωστά την απάντηση».

Περισσότερες ερωτήσεις δεν σημαίνουν καλύτερες ερωτήσεις

Το GPT-5.4-Mini έκανε σταθερά τις λιγότερες ερωτήσεις. Ξεπερνούσε το Qwen3-VL-8B σε Static και Full, αλλά το πλεονέκτημά του σχεδόν εξαφανίστηκε στο Partial και αντιστράφηκε στο None. Η απροθυμία να ζητηθεί πληροφορία γίνεται αδυναμία όταν η εργασία δεν μπορεί να ολοκληρωθεί μόνο με την αρχική περιγραφή.

Στην άλλη πλευρά, το Gemini-3.1-Pro έκανε περισσότερες ερωτήσεις από το GPT-5.5, αλλά το GPT-5.5 είχε υψηλότερη συνολική ακρίβεια στο None. Το question rate από μόνο του δεν είναι KPI ποιότητας. Μια ερώτηση μπορεί να είναι επαναληπτική, πολύ γενική ή να αφορά χαρακτηριστικό που δεν διαχωρίζει τους υποψήφιους στόχους.

Για τον σχεδιασμό προϊόντος, η χρήσιμη διάκριση είναι ανάμεσα σε interaction volume και information gain. Ένας assistant που ζητά διαρκώς διευκρινίσεις μπορεί να κουράσει τον χρήστη χωρίς να μειώνει τον κίνδυνο λάθους. Η ουσιαστική αξιολόγηση πρέπει να συνδέει κάθε ερώτηση με το αν απέκλεισε υποψηφίους, άλλαξε την τελική ακρίβεια ή οδήγησε σε τεκμηριωμένο escalation. Η ίδια αρχή εμφανίζεται και στο ερώτημα πότε ένα AI πρέπει να ρωτά αντί να απαντά αμέσως.

Confidence και self-repair αποκαλύπτουν τον πραγματικό κίνδυνο

Τα μοντέλα αντιλήφθηκαν εν μέρει τη δυσκολία: έκαναν περισσότερες ερωτήσεις και δήλωναν χαμηλότερη confidence όταν αφαιρούνταν αρχική πληροφορία. Η σειρά ήταν None, Partial, Full και Static ως προς τον αριθμό ερωτήσεων. Παρ’ όλα αυτά, οι περισσότερες καμπύλες calibration έδειξαν ότι η δηλωμένη αυτοπεποίθηση ξεπερνούσε την εμπειρική ακρίβεια, ειδικά στα Partial και None.

Η λανθασμένη calibration έχει πρακτική σημασία. Σε catalog matching, visual support ή inspection workflow, δεν αρκεί η τελική απάντηση. Το σύστημα πρέπει να ξέρει πότε δεν διαθέτει αρκετή πληροφορία και πότε χρειάζεται ανθρώπινη παρέμβαση. Αν δηλώνει υψηλή βεβαιότητα μετά από ανεπαρκή διάλογο, ο χρήστης δεν έχει ορατό σήμα για να ελέγξει το αποτέλεσμα. Γι’ αυτό οι AI agents χρειάζονται όρια που ακολουθούν την ποιότητα της κρίσης.

Οι ερευνητές αναφέρουν ισχυρή αρνητική συσχέτιση ανάμεσα σε Expected Calibration Error και accuracy, Spearman ρ=-0,96, και γι’ αυτό εστιάζουν περισσότερο στα calibration plots. Στη συγκεκριμένη ρύθμιση, το ECE αντανακλούσε σε μεγάλο βαθμό τη χαμηλή ακρίβεια και ήταν λιγότερο κατατοπιστικό ως ανεξάρτητο μέτρο.

Οι Matchers μπορούσαν να αναθεωρήσουν προηγούμενη επιλογή όταν εμφανιζόταν νέα πληροφορία. Ωστόσο, οι self-repairs εμφανίστηκαν μόνο σε Full και Partial και αντιστοιχούσαν σε λιγότερο από 2% των matches. Από τις 49 διορθώσεις, οι 26 ή 53,1% άλλαξαν μια λανθασμένη επιλογή σε σωστή. Πέντε ή 10,2% μετέτρεψαν σωστή απάντηση σε λάθος, ενώ 18 ή 36,7% αντικατέστησαν ένα λάθος με άλλο λάθος.

Τι επιβεβαίωσαν τα follow-up studies

Με AI-generated descriptions, τα LVLMs είχαν γενικά υψηλότερη ακρίβεια από ό,τι με ανθρώπινες περιγραφές, ιδιαίτερα σε Static και Full. Ωστόσο, η σειρά των πρωτοκόλλων παρέμεινε παρόμοια: Static και Full ισχυρότερα, Partial πιο ασταθές και None πιο δύσκολο. Οι πραγματικές ανθρώπινες διατυπώσεις αποτελούν επομένως ξεχωριστή πρόκληση και δεν πρέπει να λείπουν από τα test sets.

Η αύξηση reasoning effort βοήθησε περισσότερο στο interactive Full παρά στο Static, αλλά τα κέρδη έφτασαν γρήγορα σε plateau από medium σε high. Στα tangrams, το GPT-5.4 ανέβηκε στο Full από 52,4% χωρίς reasoning σε 60,7% με medium και 61,3% με high. Το GPT-5.4-Mini ανέβηκε από 17,3% σε 30,4% και 31,0%. Περισσότερο test-time compute μόνο του δεν έκλεισε το πρόβλημα.

Με επαναλαμβανόμενους γύρους, ορισμένα μοντέλα βελτιώθηκαν καθώς οι ανθρώπινες περιγραφές έγιναν πιο αποδοτικές, αλλά τα κέρδη δεν ήταν σταθερά σε όλα τα datasets. Η αλλαγή του simulated Director από GPT-5.4 σε Gemini-3.1-Flash μείωσε τη μέση ακρίβεια κατά 1,1 μονάδα στο Full και 3,5 στο Partial, ενώ η κατάταξη των Matchers έμεινε πολύ συσχετισμένη. Σε έξι face sets επανεμφανίστηκε η ίδια διαβάθμιση: Static 48,7%, Full 47,8%, Partial 41,9% και None 30,7%.

Τι σημαίνει για e-commerce, support και customer experience

Η επιχειρηματική συνέπεια είναι ανάλυση πάνω στα αποτελέσματα και όχι claim που δοκιμάστηκε απευθείας στο paper. Σε e-commerce, ένας visual shopping assistant δεν πρέπει να αξιολογείται μόνο με queries όπως «βρες το μαύρο δερμάτινο sneaker με λευκή σόλα». Πρέπει να δοκιμάζεται με πραγματικές, ατελείς φράσεις όπως «θέλω αυτό που μοιάζει πιο επίσημο» και να αποδεικνύει ότι μπορεί να ζητήσει διακριτική πληροφορία: χρήση, υλικό, χρώμα, εφαρμογή ή εύρος τιμής. Αυτό είναι κρίσιμο και για συστήματα AI product recommendation που πρέπει να βρίσκουν το σωστό προϊόν χωρίς να χάνουν τον δρόμο.

Σε customer support, η φωτογραφία ενός προβλήματος μπορεί να περιέχει πολλά πιθανά σημεία βλάβης. Το ασφαλές σύστημα χρειάζεται πολιτική clarification, escalation και ανθρώπινο fallback, όχι μόνο υψηλό benchmark accuracy. Οι ομάδες που αξιολογούν AI agents για customer support πρέπει να μετρούν πόσο συχνά η ερώτηση οδηγεί σε σωστή διάγνωση και πόσο συχνά η υψηλή βεβαιότητα κρύβει ανεπαρκή στοιχεία.

Στο marketing operations, η ίδια αρχή ισχύει όταν ένα μοντέλο συγκρίνει creatives, προϊόντα ή screenshots. Η ασαφής οδηγία πρέπει να προκαλεί στοχευμένη ερώτηση πριν παραχθεί οριστικό συμπέρασμα. Στο UX, η ερώτηση πρέπει να είναι σύντομη, κατανοητή και να εμφανίζεται στο σωστό σημείο της ροής· διαφορετικά η ασφάλεια γίνεται τριβή. Αυτό συνδέεται άμεσα με το κόστος της operational UX όταν οι οθόνες δεν υποστηρίζουν τη σωστή απόφαση.

Πώς στήνεται ένα μετρήσιμο production pilot

Το πρώτο βήμα δεν είναι η επιλογή μοντέλου αλλά η καταγραφή των πραγματικών αμφισημιών. Συλλέξτε φωτογραφίες, screenshots και περιγραφές από αναζητήσεις, tickets και πωλήσεις. Κρατήστε τις αυθεντικές ανθρώπινες διατυπώσεις, επειδή το paper έδειξε ότι οι AI-generated descriptions είναι συχνά ευκολότερες για τα ίδια τα μοντέλα.

Η αξιολόγηση πρέπει να περιλαμβάνει static accuracy, accuracy μετά από clarification, useful-question rate, turns ανά επιτυχημένη επίλυση, calibration, false confidence, repair quality, budget exhaustion και ποσοστό escalation. Ένα έγκαιρο σήμα κινδύνου στη συνομιλία έχει μεγαλύτερη αξία όταν οδηγεί σε συγκεκριμένη ασφαλή ενέργεια και όχι σε μια ακόμη αόριστη προειδοποίηση.

Τα όρια της μελέτης και το χρήσιμο συμπέρασμα

Οι Directors ήταν προσομοιωμένοι και όχι άνθρωποι, επιλογή που αύξησε την κλίμακα και τον πειραματικό έλεγχο. Η δοκιμή με εναλλακτικό Director έδειξε σταθερή κατάταξη, αλλά δεν αποδεικνύει ισοδυναμία με πραγματικούς χρήστες. Επίσης, τα τέσσερα πρωτόκολλα αυξάνουν προοδευτικά την ανάγκη για information seeking, χωρίς να απομονώνουν πλήρως ποια αποτυχία προήλθε από την επιλογή ερώτησης, τη μνήμη διαλόγου, την ενσωμάτωση απάντησης ή την οπτική αντιστοίχιση.

Τα κύρια contexts είναι ελεγχόμενα σύνολα αντικειμένων, όχι cluttered scenes, ανοικτός κόσμος ή σύνθετες χωρικές σχέσεις. Το face follow-up προσθέτει μια fine-grained κατηγορία, αλλά δεν καλύπτει όλο το εύρος visual grounding. Στο None, οι απαντήσεις του Director περιορίζονται σε ναι, όχι ή ασαφές, άρα τα αποτελέσματα δεν περιγράφουν κάθε μορφή ανοικτού οπτικού διαλόγου.

Το σωστό συμπέρασμα είναι πιο πρακτικό από το «τα μοντέλα πρέπει να μιλούν περισσότερο». Ένα production σύστημα πρέπει να ξέρει ποια πληροφορία λείπει, να ζητά μόνο ό,τι αλλάζει την απόφαση, να αποτυπώνει την αβεβαιότητά του με χρήσιμο τρόπο και να παραδίδει τον έλεγχο όταν η εικόνα παραμένει αμφίσημη. Αυτή είναι η διαφορά ανάμεσα σε ένα εντυπωσιακό vision demo και σε έναν ελεγχόμενο επιχειρησιακό αυτοματισμό.