Latent World Model: το ρομπότ που δοκιμάζει διαδρομές στη «φαντασία» του

Το Latent World Model (LWM) της εργασίας Predicting Consequences and Reinforcing Navigation Policies with Latent World Models δεν προσπαθεί να «ζωγραφίσει» το επόμενο καρέ. Προβλέπει σε latent space τις συνέπειες διαφορετικών κινήσεων και βαθμολογεί πόσο κοντά φέρνει καθεμία το ρομπότ στον οπτικό στόχο.

Οι Zengmao Wang, Wei Gao και Shuhan Shen παρουσίασαν τη μέθοδο ως Spotlight στο ECCV 2026 και την αξιολόγησαν σε τρία σύνολα δεδομένων πλοήγησης και έξι πραγματικά σενάρια. Η αξία της για επιχειρησιακούς AI agents είναι συγκεκριμένη: πριν εκτελέσει μια ενέργεια, το σύστημα χρειάζεται ένα αξιόπιστο, ελέγξιμο κριτήριο συνεπειών, όχι κατ’ ανάγκη μια πλήρη και εντυπωσιακή προσομοίωση του κόσμου.

Το πρόβλημα με τα world models που ανακατασκευάζουν το μέλλον

Сайтът world models στην AI μαθαίνουν τη δυναμική ενός περιβάλλοντος ώστε ένας agent να μπορεί να σχεδιάζει, να αξιολογεί και να βελτιώνει τη συμπεριφορά του χωρίς κάθε δοκιμή να γίνεται στον πραγματικό κόσμο. Αυτό είναι ιδιαίτερα χρήσιμο στη ρομποτική, όπου η συλλογή δεδομένων κοστίζει και η εξερεύνηση μπορεί να δημιουργήσει κινδύνους.

Πολλές υπάρχουσες μέθοδοι εκπαιδεύονται να ανακατασκευάζουν μελλοντικές εικόνες ή χαρακτηριστικά από την τρέχουσα παρατήρηση και την ενέργεια που πράγματι εκτελέστηκε. Όμως ο σχεδιασμός μιας διαδρομής απαιτεί counterfactual reasoning: το σύστημα πρέπει να συγκρίνει επιλογές που δεν συνέβησαν. Η εκπαίδευση πάνω μόνο στην πραγματική τροχιά δεν ευθυγραμμίζεται πλήρως με αυτή την ανάγκη.

Υπάρχει και δεύτερο κόστος. Η παραγωγή πειστικών pixels μπορεί να δίνει όμορφο βίντεο, αλλά δεν εγγυάται σωστή γεωμετρία. Στην πλοήγηση, ένα οπτικά ρεαλιστικό λάθος παραμένει λάθος. Οι συγγραφείς υποστηρίζουν ότι το μοντέλο πρέπει να εστιάζει στην απόφαση και όχι σε λεπτομέρειες της εικόνας που δεν αλλάζουν την επιλογή κίνησης.

Η βασική ιδέα: συμβατότητα αντί για φωτορεαλιστική πρόβλεψη

Το LWM μεταφέρει τη διαδικασία σε latent space. Ένας οπτικός encoder μετατρέπει την τρέχουσα εικόνα σε χαρακτηριστικά, ενώ ένα μικρό δίκτυο μετατρέπει τις ενέργειες κίνησης σε tokens. Ένας causal Transformer decoder προβλέπει τα χαρακτηριστικά που θα προέκυπταν από κάθε ακολουθία ενεργειών. Έπειτα, ένας δεύτερος μηχανισμός υπολογίζει πόσο συμβατή είναι αυτή η πιθανή κατάσταση με την εικόνα-στόχο.

Η κρίσιμη υπόθεση είναι ότι, στην οπτική πλοήγηση, η χωρική εγγύτητα συσχετίζεται συνήθως με την ομοιότητα των οπτικών χαρακτηριστικών. Αν μια ακολουθία κινήσεων φέρνει το ρομπότ πιο κοντά στον στόχο, η latent αναπαράσταση του αποτελέσματος θα πρέπει να γίνεται πιο συμβατή με τη latent αναπαράσταση του στόχου. Έτσι, το μοντέλο δεν χρειάζεται να συνθέσει την ακριβή μελλοντική εικόνα για να κατατάξει τις κινήσεις.

Στην πράξη η επιλογή εξακολουθεί να έχει δύο στάδια: πρώτα προβλέπονται οι συνέπειες διαφορετικών ενεργειών και μετά συγκρίνονται με τον στόχο. Η διαφορά είναι ότι και τα δύο γίνονται σε συμπυκνωμένη αναπαράσταση, με αντικειμενικό σκοπό προσανατολισμένο στην απόφαση.

Πώς μπαίνει το counterfactual reasoning στην εκπαίδευση

Κάθε σημείο ενός offline dataset συνοδεύεται συνήθως από μία μόνο ακολουθία ενεργειών: αυτή που εκτελέστηκε. Για να δημιουργήσουν εναλλακτικές, οι ερευνητές δειγματοληπτούν ακολουθίες από άλλες τροχιές και ζητούν από το LWM να εκτιμήσει πού θα οδηγούσαν αν εφαρμόζονταν στην τρέχουσα κατάσταση. Έτσι σχηματίζεται ένα σύνολο πραγματικών και αντιπαραθετικών επιλογών χωρίς νέα κίνηση του ρομπότ.

Η επίβλεψη δεν είναι απλώς «σωστό ή λάθος». Οι συγγραφείς μετατρέπουν την ευκλείδεια χωρική απόσταση σε compatibility label με λογαριθμικό μετασχηματισμό. Με αυτό τον τρόπο μικρές αποκλίσεις κοντά στη σωστή τροχιά αποκτούν μεγαλύτερη σημασία και λειτουργούν ως δύσκολα αρνητικά παραδείγματα. Το τελικό loss είναι MSE ανάμεσα στην προβλεπόμενη και την επιθυμητή συμβατότητα.

Τα ablations υποστηρίζουν τη σημασία αυτής της επιλογής. Στο LWM dataset, η εκδοχή MSE με λογαριθμικό mapping πέτυχε position error 1,122, orientation error 0,125, ACC3 90,60% και ACC5 83,80%. Η απλή contrastive loss είχε αντίστοιχα ACC3 36,00% και ACC5 25,60%, ενώ οι ενδιάμεσες διαμορφώσεις βελτίωσαν αλλά δεν ξεπέρασαν την προτεινόμενη loss.

Η αρχή συνδέεται με τα ελεγχόμενα πειράματα για AI agents: οι εναλλακτικές έχουν αξία μόνο όταν το κριτήριο κατάταξης αντιστοιχεί στο πραγματικό αποτέλεσμα και μπορεί να ελεγχθεί ανεξάρτητα.

Από βίντεο χωρίς action labels σε πολιτική πλοήγησης

Αφού εκπαιδευτεί το world model, μπορεί να λειτουργήσει ως μηχανή παραγωγής pseudo-labels. Η ομάδα συγκεντρώνει υπάρχουσες ακολουθίες ενεργειών σε 64 clusters. Για κάθε ζεύγος τρέχουσας εικόνας και εικόνας-στόχου, το LWM αξιολογεί τις 64 υποψήφιες ακολουθίες και επιλέγει εκείνη με την υψηλότερη συμβατότητα. Η επιλεγμένη ακολουθία γίνεται ετικέτα για την πολιτική πλοήγησης.

Αυτό είναι σημαντικό επειδή ένα βίντεο μπορεί να δείχνει πώς αλλάζει η σκηνή χωρίς να συνοδεύεται από ακριβείς εντολές τροχών. Το LWM μετατρέπει τέτοιο υλικό σε σήμα εκπαίδευσης. Η πολιτική μαθαίνει αυτοπαλίνδρομα tokens ενεργειών, με τρόπο ανάλογο με την πρόβλεψη του επόμενου token στη γλώσσα.

Η εργασία δεν ισχυρίζεται ότι εξαφανίζει κάθε κόστος δεδομένων: το ίδιο το world model χρειάζεται offline τροχιές με παρατηρήσεις και ενέργειες. Δείχνει όμως ότι, αφού αποκτηθεί αυτή η βάση, πρόσθετο unlabeled video μπορεί να χρησιμοποιηθεί για policy learning χωρίς να απαιτούνται νέες χειροκίνητες action annotations.

Reinforcement learning μέσα στο ίδιο το μοντέλο

Η αρχική imitation stage περιορίζεται στις 64 συγκεντρωμένες ακολουθίες. Για να ξεφύγει από αυτό το λεξιλόγιο, η πολιτική παράγει νέους συνδυασμούς action tokens. Το LWM προβλέπει τις συνέπειές τους και η μονάδα συμβατότητας λειτουργεί ως reward model: μεγαλύτερη συμβατότητα με τον στόχο σημαίνει υψηλότερη ανταμοιβή.

Οι ανταμοιβές κανονικοποιούνται ανά ομάδα υποψηφίων και η πολιτική βελτιώνεται με objective τύπου GRPO, ενώ ένας όρος KL την κρατά κοντά σε πολιτική αναφοράς. Όλη αυτή η επανάληψη γίνεται μέσα στο learned latent model. Δεν απαιτεί πρόσθετη αλληλεπίδραση με πραγματικό χώρο ούτε νέες action annotations.

Οι ερευνητές αναφέρουν βελτίωση για διαφορετικά policy initializations. Αυτό δείχνει ότι το LWM μπορεί να χρησιμοποιηθεί όχι μόνο ως planner, αλλά και ως κοινό περιβάλλον αξιολόγησης και ενίσχυσης πολιτικών. Παραμένει, βέβαια, ένα learned approximation: αν η εσωτερική συνάρτηση συμβατότητας είναι λανθασμένη, η πολιτική μπορεί να βελτιστοποιήσει το λάθος σήμα.

Τα δεδομένα και οι συγκρίσεις του πειράματος

Η αξιολόγηση καλύπτει τα δημόσια RECON και SCAND και ένα νέο LWM dataset. Το RECON περιλαμβάνει εξωτερικά περιβάλλοντα με fisheye κάμερα. Το SCAND καλύπτει πανεπιστημιακούς χώρους με δυναμικά αντικείμενα και ανθρώπινες αλληλεπιδράσεις· οι συγγραφείς χρησιμοποίησαν περίπου τρεις ώρες δεδομένων από τροχοφόρα ρομπότ. Το δικό τους dataset καλύπτει περίπου έξι ώρες και 600.000 τετραγωνικά μέτρα σε campus, κατοικημένες περιοχές και πάρκα.

Το 5% κάθε συνόλου κρατήθηκε για test και το 95% για training. Το μισό training split χρησιμοποιήθηκε για world model και imitation learning και το άλλο μισό για reinforcement. Οι βασικές συγκρίσεις ήταν το pixel-generative NWM, το feature reconstruction Dino-WM, η diffusion policy NoMaD και ένα behavioral-cloning baseline.

Οι παραλλαγές LWM-S, LWM-B και LWM-B-P ξεχωρίζουν ως προς encoder και χρήση του goal prompt. Το LWM-S χρησιμοποιεί DINOv2-small με 49 εκατομμύρια παραμέτρους, όσο και η σύγκριση Dino-WM. Τα LWM-B και LWM-B-P χρησιμοποιούν CroCo-v2-base με 217 εκατομμύρια παραμέτρους. Στο LWM-B-P ο στόχος δίνεται από την αρχή στον encoder, κάτι που αποδείχθηκε ιδιαίτερα ισχυρό.

Τι έδειξαν οι μετρήσεις πρόβλεψης και επιλογής ενεργειών

Η αξιολόγηση χρησιμοποιεί 64 υποψήφιες τροχιές και μετρά position error, orientation error και ικανότητα επιλογής της σωστής ακολουθίας ανάμεσα σε τρεις ή πέντε υποψηφίους. Στο RECON, το LWM-B-P κατέγραψε position error 1,264 και ACC5 88,14%, έναντι 7,222 και 27,23% για το NWM. Στο SCAND, το LWM-B-P είχε position error 0,651 και ACC5 70,98%, ενώ το NWM 5,534 και 26,04%.

Στο ιδιόκτητο LWM dataset, η ίδια έκδοση πέτυχε position error 1,122, orientation error 0,125, ACC3 90,60% και ACC5 83,80%. Το Dino-WM είχε position error 4,687 και ACC5 40,40%, ενώ το NWM 5,710 και 26,26%. Αυτά είναι αποτελέσματα των συγκεκριμένων datasets και ρυθμίσεων, όχι καθολική απόδειξη ότι κάθε latent model θα νικήσει κάθε generative model.

Η σύγκριση δείχνει όμως το κεντρικό επιχείρημα της μελέτης: η οπτική πειστικότητα μιας παραγόμενης εικόνας δεν αρκεί για χωρικά ακριβή απόφαση. Όταν ο στόχος είναι να διαλέξεις δράση, το training objective πρέπει να αντανακλά την ποιότητα αυτής της επιλογής.

Η δοκιμή στον πραγματικό κόσμο και η σωστή ανάγνωσή της

Οι πολιτικές αναπτύχθηκαν σε έξι πραγματικά σενάρια πλοήγησης. Επιτυχία ορίστηκε ως άφιξη σε απόσταση μικρότερη από 0,5 μέτρα από τον στόχο. Το LWM-B-P πέτυχε μέσο success rate 66,7% και LPIPS 0,396. Το NoMaD και το behavioral cloning πέτυχαν από 33,3%, με LPIPS 0,448 και 0,566 αντίστοιχα.

Η ομάδα δοκίμασε επίσης zero-shot μεταφορά σε εσωτερικούς χώρους που δεν υπήρχαν στα training data και αναφέρει επιτυχή άφιξη στον ίδιο στόχο από διαφορετικές αφετηρίες. Αυτό αποτελεί ένδειξη ότι η πολιτική έμαθε χωρικές σχέσεις και δεν απομνημόνευσε μόνο συγκεκριμένες ακολουθίες.

Χρειάζεται μέτρο στην επιχειρηματική ερμηνεία. Έξι σενάρια είναι ουσιαστική επίδειξη, αλλά όχι πιστοποίηση παραγωγικής ασφάλειας. Η διπλάσια επιτυχία έναντι των baselines στο συγκεκριμένο πείραμα δεν σημαίνει ότι το σύστημα είναι έτοιμο για κάθε αποθήκη, κατάστημα, δρόμο ή χώρο με κοινό.

Η ίδια επιφύλαξη ισχύει σε κάθε σύστημα αυτόνομης πλοήγησης που περνά από demo σε πραγματική λειτουργία: τα όρια, τα fail-safe και η ανθρώπινη ανάληψη ελέγχου είναι μέρος της απόδοσης, όχι υποσημείωση.

Τι αποκαλύπτουν τα ablations για τον σχεδιασμό AI agents

Στο SCAND, όταν το πλήθος counterfactual action sequences αυξήθηκε από ένα σε δεκαέξι, το position error μειώθηκε από 2,239 σε 0,890 και το ACC5 ανέβηκε από 23,83% σε 58,54%. Η πορεία δεν ήταν μονότονη σε κάθε επιμέρους metric, αλλά η απουσία counterfactual training ήταν σαφώς η πιο αδύναμη περίπτωση.

Τα πρόσθετα αποτελέσματα δείχνουν και κορεσμό: περισσότερες εναλλακτικές δεν εγγυώνται διαρκή βελτίωση. Για το LWM-S, δύο counterfactual sequences έριξαν το position error από 2,800 σε 1,143, ενώ οι μεγαλύτερες τιμές δεν συνέχισαν μια σταθερή πτώση. Η χρήσιμη αρχή είναι να δίνεις στο μοντέλο συγκριτικές επιλογές, όχι να αυξάνεις τυφλά τον αριθμό τους.

Για product teams που χτίζουν agents, αυτό μεταφράζεται ως σχεδιαστική αναλογία και όχι ως άμεση μεταφορά αποτελεσμάτων. Ένας agent που αξιολογεί πολλές πιθανές ενέργειες με task-specific κριτήριο μπορεί να χρειάζεται λιγότερη παραγωγή «όλου του κόσμου». Πρέπει όμως το κριτήριο να είναι επαληθεύσιμο και να αντιστοιχεί στον πραγματικό επιχειρησιακό στόχο.

Το όριο που δηλώνουν οι ίδιοι οι ερευνητές

Το LWM βασίζεται στην υπόθεση ότι η χωρική εγγύτητα συσχετίζεται με οπτική ομοιότητα. Σε περιβάλλοντα με μεγάλη πυκνότητα αντικειμένων και έντονες occlusions, μια μικρή μετατόπιση μπορεί να αλλάξει απότομα αυτό που βλέπει η κάμερα. Τότε η οπτική ομοιότητα μπορεί προσωρινά να αποσυνδεθεί από τη χωρική απόσταση και το compatibility signal να γίνει λιγότερο διακριτικό.

Οι συγγραφείς προτείνουν ως μελλοντικές κατευθύνσεις 3D-aware latent representations και μακροχρόνια temporal memory. Αυτές οι προσθήκες θα μπορούσαν να βοηθήσουν όταν ο στόχος κρύβεται ή η τρέχουσα εικόνα δεν αρκεί για να κατανοηθεί η γεωμετρία.

Υπάρχει και ένα γενικό μάθημα: η συμπίεση είναι ισχυρή μόνο όταν διατηρεί ό,τι χρειάζεται η απόφαση. Αν το latent space χάσει μια κρίσιμη λεπτομέρεια, η ταχύτητα δεν αποζημιώνει το λάθος. Η αξιολόγηση πρέπει επομένως να καλύπτει όχι μόνο μέσες επιδόσεις, αλλά και τις συνθήκες στις οποίες σπάει η βασική υπόθεση.

Η επιχειρηματική αξία βρίσκεται στο σωστό επίπεδο πρόβλεψης

Για εταιρείες που σχεδιάζουν αυτοματισμούς, computer vision ή agentic workflows, η μελέτη προσφέρει ένα καθαρό ερώτημα: χρειάζεται πραγματικά το μοντέλο να ανακατασκευάσει όλη την επόμενη κατάσταση ή αρκεί να βαθμολογήσει αξιόπιστα τις συνέπειες των επιλογών; Η δεύτερη λύση μπορεί να είναι απλούστερη όταν το ζητούμενο είναι σαφές και μετρήσιμο.

Σε ένα e-commerce ή marketing workflow, αυτή η αρχή δεν σημαίνει ότι τα αποτελέσματα της ρομποτικής μεταφέρονται αυτούσια. Σημαίνει ότι ο σχεδιασμός ενός agent πρέπει να ξεκινά από το decision criterion: ποια ενέργεια βελτιώνει τον συγκεκριμένο στόχο, με ποια δεδομένα και με ποιον έλεγχο; Η παραγωγή εντυπωσιακού περιεχομένου ή μιας πλήρους προσομοίωσης δεν είναι ισοδύναμη με σωστή επιχειρησιακή απόφαση.

Η εργασία δείχνει επίσης την αξία των offline δεδομένων. Όταν ένα μοντέλο μπορεί να μετατρέπει υπάρχουσες τροχιές και βίντεο σε συγκρίσεις, pseudo-labels και reward signals, μειώνεται η ανάγκη για ακριβή νέα συλλογή. Αυτό είναι υπόσχεση, όχι αυτόματη απόδοση: χρειάζονται καλύψεις edge cases, παρακολούθηση drift και πραγματικές δοκιμές πριν από κρίσιμη χρήση.

Заключение

Το Latent World Model της εργασίας μετακινεί την προσοχή από την ανακατασκευή εικόνων στην πρόβλεψη συμβατότητας ανάμεσα σε ενέργεια και στόχο. Με counterfactual sequences από offline τροχιές, pseudo-labels για unlabeled video και reinforcement learning μέσα στο latent space, πέτυχε καλύτερα αποτελέσματα από τα συγκρινόμενα world models και policies στα συγκεκριμένα benchmarks και στις έξι πραγματικές δοκιμές.

Το ουσιαστικό μήνυμα δεν είναι ότι η προσομοίωση καταργείται. Είναι ότι μια προσομοίωση πρέπει να είναι τόσο λεπτομερής όσο απαιτεί η απόφαση, όχι περισσότερο. Για τους επαγγελματίες που επενδύουν σε AI agents, αυτό είναι ένα πρακτικό φίλτρο: σχεδιάστε πρώτα το αξιόπιστο σήμα αξιολόγησης και μετά αποφασίστε πόσο «κόσμο» χρειάζεται πραγματικά να παράγει το μοντέλο.