LLM και limit order books: σωστή σύνταξη δεν σημαίνει σωστή πρόβλεψη

Ένα μοντέλο τεχνητής νοημοσύνης μπορεί να παράγει σχεδόν άψογες ακολουθίες εντολών αγοράς και πώλησης και, παρ’ όλα αυτά, να μην καταλαβαίνει πραγματικά την κατάσταση της αγοράς. Αυτό είναι το βασικό μήνυμα της μελέτης «Do LLMs Understand Limit Order Book Dynamics?» των Junxiao Chen και Paul Glasserman από το Columbia Business School. Οι ερευνητές εκπαίδευσαν transformer μοντέλα από το μηδέν σε συνθετικά δεδομένα limit order book και τα υπέβαλαν σε ελέγχους που ξεχωρίζουν τη σωστή μορφή από τη σωστή πιθανοτική κατανόηση.

Για επαγγελματίες που αξιολογούν AI σε finance, forecasting, pricing, Analytik ή άλλες δυναμικές διαδικασίες, το εύρημα έχει ευρύτερη αξία. Η ακρίβεια σε ένα ορατό task δεν αρκεί όταν το downstream σύστημα πρέπει να εκτιμήσει πιθανότητες, να διαχειριστεί ρίσκο ή να πάρει αποφάσεις. Το κρίσιμο ερώτημα δεν είναι μόνο «παράγει έγκυρο output;», αλλά «έχει μάθει τη σωστή κατάσταση και τη σωστή δυναμική του συστήματος;».

Τι είναι ένα limit order book και γιατί αποτελεί αυστηρό τεστ για AI

Ένα limit order book, ή LOB, οργανώνει τις ενεργές εντολές αγοράς και πώλησης ανά επίπεδο τιμής. Στη μία πλευρά βρίσκονται οι προσφορές αγοράς, στην άλλη οι προσφορές πώλησης, ενώ το καλύτερο bid και το καλύτερο ask ορίζουν τα άμεσα εκτελέσιμα όρια. Η κατάστασή του αλλάζει με νέες limit orders, ακυρώσεις και market orders. Κάθε γεγονός είναι έγκυρο μόνο εφόσον συμφωνεί με την τρέχουσα κατάσταση: δεν μπορεί να ακυρωθεί εντολή που δεν υπάρχει ούτε να εκτελεστεί market order χωρίς επαρκή αντίθετη ρευστότητα.

Η μελέτη αναπαριστά την κατάσταση του βιβλίου ως ένα πεπερασμένο διάνυσμα με τα καλύτερα επίπεδα ask και bid και τον όγκο ανά τιμή. Σε κάθε κατάσταση, τα έγκυρα events και οι μεταβάσεις τους είναι γνωστά. Όταν προστεθεί πιθανότητα σε κάθε έγκυρο event, η εξέλιξη γίνεται αλυσίδα Markov: εφόσον γνωρίζουμε την τρέχουσα κατάσταση, το παρελθόν δεν πρέπει να προσφέρει πρόσθετη πληροφορία για το επόμενο βήμα.

Αυτό το ελεγχόμενο περιβάλλον επιτρέπει κάτι που είναι δύσκολο σε πραγματικά market data: οι ερευνητές γνωρίζουν τη «σωστή» κατανομή πιθανοτήτων. Μπορούν έτσι να διαπιστώσουν αν το μοντέλο προβλέπει πραγματικό σήμα ή αν κατασκευάζει φαινομενική προβλεψιμότητα από ιστορικά μοτίβα που, βάσει του data-generating process, δεν έχουν καμία αιτιώδη ή στατιστική ισχύ.

Η εκπαίδευση: τρία transformer μοντέλα και δύο τύποι διαδρομών

Οι ακολουθίες εκπαίδευσης περιέχουν αρχική κατάσταση, κατάσταση-στόχο και σειρά από events που μεταφέρουν το βιβλίο από τη μία στην άλλη. Οι συγγραφείς χρησιμοποιούν δύο είδη datasets. Τα random walks προσεγγίζουν παρατηρησιακές ακολουθίες, ενώ τα shortest paths περιέχουν τη συντομότερη δυνατή διαδρομή προς τον στόχο. Η διαμόρφωση απαιτεί από το μοντέλο όχι μόνο να αναγνωρίζει έγκυρες κινήσεις, αλλά και να σχεδιάζει πολυβηματική μετάβαση.

Το βασικό μοντέλο είναι decoder-only transformer με 12 layers, embedding dimension 768, 12 attention heads και περίπου 86,4 εκατομμύρια παραμέτρους. Οι ερευνητές αναφέρουν παρόμοια ποιοτικά αποτελέσματα και σε μεγαλύτερη αρχιτεκτονική περίπου 1,5 δισεκατομμυρίου παραμέτρων. Εκπαιδεύουν ένα μοντέλο SP σε 500.000 shortest-path segments και δύο random-walk μοντέλα, RW-S και RW-L, σε 10 εκατομμύρια segments με διαφορετικό μέσο μήκος.

Το 99% κάθε dataset χρησιμοποιείται για training και το 1% για held-out evaluation. Ως σημείο σύγκρισης δημιουργείται και ένα απλό empirical-kernel baseline που προβλέπει το επόμενο event μόνο από την τρέχουσα κατάσταση, βάσει των παρατηρημένων συχνοτήτων. Δεν διαθέτει hidden state ή attention και, επομένως, δεν μπορεί να σχεδιάσει καλά προς έναν στόχο. Μπορεί όμως να αποκαλύψει αν τα forecast errors προέρχονται από τα δεδομένα ή από την αναπαράσταση που έμαθε το LLM.

Το εντυπωσιακό πρώτο αποτέλεσμα: σχεδόν άψογες έγκυρες ακολουθίες

Στο valid traversal test, το μοντέλο παράγει greedily events και ελέγχεται αν κάθε event είναι νόμιμο και αν το token τερματισμού εμφανίζεται μόνο όταν επιτυγχάνεται ο στόχος. Τα αποτελέσματα φαίνονται εξαιρετικά: 99,4% valid traversal για το SP, 98,5% για το RW-S και 95,5% για το RW-L. Το baseline πετυχαίνει μόλις 0,7%, επειδή δεν έχει μηχανισμό goal-directed generation.

Ακόμη πιο πειστική μοιάζει η συμπεριφορά στα shortest paths. Το RW-S οδηγείται στη συντομότερη διαδρομή στο 90,6% των παραγόμενων ακολουθιών, παρότι μόνο το 10,4% του training set του έχει αυτή την ιδιότητα. Οι ακολουθίες του υπερβαίνουν τη βέλτιστη διαδρομή κατά μόλις 0,1 βήματα κατά μέσο όρο, έναντι 16,3 στα δεδομένα εκπαίδευσης. Το μοντέλο φαίνεται να έχει μάθει κάτι ουσιαστικό για τη δομή του βιβλίου.

Εδώ βρίσκεται η παγίδα της αξιολόγησης. Το test εξετάζει κυρίως αν το πιο πιθανό token είναι έγκυρο. Δεν ελέγχει αν οι πιθανότητες που αποδίδονται σε όλα τα πιθανά επόμενα events ταιριάζουν με την πραγματική στοχαστική δυναμική. Ένα μοντέλο μπορεί να επιλέγει σωστά την κορυφαία κίνηση και ταυτόχρονα να είναι βαθιά λανθασμένο ως probabilistic forecaster.

Compression test: θυμάται ιστορία που θα έπρεπε να έχει ξεχάσει

Αν δύο διαφορετικές ιστορίες καταλήγουν στην ίδια τρέχουσα κατάσταση, ένα σωστό world model πρέπει να αντιμετωπίζει το μέλλον με τον ίδιο τρόπο. Το compression test κατασκευάζει ζεύγη histories που τελειώνουν στην ίδια κατάσταση και εξετάζει αν suffixes που θεωρούνται εφικτά μετά το πρώτο history αναγνωρίζονται και μετά το δεύτερο.

Η απλή baseline προσέγγιση φτάνει compression score 99,9%, επειδή χρησιμοποιεί μόνο την τρέχουσα κατάσταση. Τα LLM βρίσκονται πολύ χαμηλότερα: 61,1% για SP, 42,0% για RW-S και 48,0% για RW-L. Στα random-walk μοντέλα, σε περισσότερες από τις μισές καταστάσεις το σύνολο των εφικτών suffixes φαίνεται να εξαρτάται από τη διαδρομή που οδήγησε εκεί, παρότι η πραγματική Markov διαδικασία λέει ότι δεν πρέπει.

Το αποτέλεσμα δεν σημαίνει ότι τα μοντέλα δεν έμαθαν τίποτα. Άλλοι probes δείχνουν ότι το hidden state τους κωδικοποιεί πληροφορία για την πραγματική κατάσταση. Σημαίνει όμως ότι η εσωτερική αναπαράσταση δεν χρησιμοποιείται με τρόπο που αναπαράγει πιστά την πιθανοτική κατάσταση του συστήματος. Η διαφορά ανάμεσα στο «έχω πληροφορία» και στο «τη χρησιμοποιώ σωστά για πρόβλεψη» είναι καθοριστική.

Kernel-level TV: πόσο απέχει η πρόβλεψη από την αληθινή κατανομή

Οι συγγραφείς εισάγουν kernel-level total variation distance για να συγκρίνουν την κατανομή του LLM με την πραγματική κατανομή των επόμενων events. Η τιμή κυμαίνεται από 0 έως 1 και μικρότερη τιμή σημαίνει καλύτερη συμφωνία. Σε αντίθεση με το valid traversal, το μέτρο τιμωρεί τόσο τις λανθασμένες πιθανότητες σε έγκυρα tokens όσο και την πιθανότητα που δίνεται σε άκυρα tokens.

Ένα συγκεκριμένο παράδειγμα αποκαλύπτει το μέγεθος του προβλήματος. Σε κατάσταση με 20 έγκυρα events, το καθένα έχει πραγματική πιθανότητα 5%. Το LLM αποδίδει συνολικά σχεδόν 50% σε δύο cancellations στο ίδιο επίπεδο τιμής, ενώ η πραγματική συνολική πιθανότητά τους είναι 10%. Το one-step kernel-level TV φτάνει 0,665. Παρ’ όλα αυτά, το μοντέλο θα μπορούσε να περάσει το valid traversal test, επειδή οι υπερτιμημένες κινήσεις παραμένουν νόμιμες.

Στα συνολικά πειράματα, το RW-L έχει kernel-level TV 0,08 στο ένα βήμα, 0,15 στα δύο και 0,21 στα τρία. Για το RW-S οι αντίστοιχες τιμές είναι 0,11, 0,19 και 0,28. Η απόσταση αυξάνεται όσο μεγαλώνει ο forecast horizon: μικρά σφάλματα κατανομής συσσωρεύονται και η πολυβηματική πρόβλεψη απομακρύνεται από τη σωστή δυναμική.

History-level TV: η μέτρηση της πλασματικής προβλεψιμότητας

Το history-level TV απαντά σε διαφορετική ερώτηση: αλλάζει η πρόβλεψη όταν αλλάζει η ιστορία, παρότι η τρέχουσα κατάσταση μένει ίδια; Μετρά τη διασπορά των forecast distributions ανάμεσα σε διαφορετικά histories που καταλήγουν στο ίδιο state. Υψηλότερη τιμή σημαίνει ότι το μοντέλο επηρεάζεται λανθασμένα από το παρελθόν.

Για το RW-L, το history-level TV ανεβαίνει από 0,06 σε ορίζοντα ενός event σε 0,11 στα δύο και 0,16 στα τρία. Για το RW-S αυξάνεται από 0,07 σε 0,14 και 0,23. Το empirical baseline παραμένει στο 0,00, 0,00 και 0,01 αντίστοιχα. Οι μικρές διακυμάνσεις των μετρήσεων δείχνουν, σύμφωνα με τη μελέτη, ότι το πρόβλημα εμφανίζεται συστηματικά και όχι μόνο σε λίγες ακραίες καταστάσεις.

Σε ένα case δύο histories με κοινό τελικό state, το μοντέλο δίνει πιθανότητα 0,278 σε συγκεκριμένη limit buy order μετά το πρώτο history και μόλις 0,002 μετά το δεύτερο. Για άλλη limit sell order, οι πιθανότητες αντιστρέφονται σε 0,056 και 0,313. Εφόσον η τρέχουσα Markov κατάσταση είναι ίδια, αυτές οι μεγάλες διαφορές αποτελούν spurious predictability: το μοντέλο συμπεριφέρεται σαν να βλέπει σήμα εκεί όπου το ελεγχόμενο σύστημα εγγυάται ότι δεν υπάρχει.

Οι regressions δείχνουν πού γεννιέται το ψεύτικο σήμα

Η μελέτη εξετάζει τέσσερις οικονομικά σχετικές κατηγορίες: buy orders, cancellations, market orders και μεγάλα orders. Για κάθε κατηγορία, αφαιρεί από την πρόβλεψη του μοντέλου τη σωστή Markov προσδοκία και ελέγχει αν το υπόλοιπο forecast bias σχετίζεται με χαρακτηριστικά της τρέχουσας κατάστασης ή της προηγούμενης ιστορίας.

Τα state features περιλαμβάνουν depth imbalance, spread width, συνολικό βάθος και imbalance στο καλύτερο bid/ask. Τα history features περιλαμβάνουν μήκος prefix, αναλογία buy events, αναλογία επιθετικών orders, cancellations, depletion της ρευστότητας και entropy τύπων event. Υπό τη Markov υπόθεση, τα history features δεν θα έπρεπε να προσθέτουν προβλεπτική ισχύ αφού είναι γνωστό το τρέχον state.

Ωστόσο, σε οκτώ από τις δώδεκα regressions του RW-S εμφανίζεται τουλάχιστον ένα στατιστικά σημαντικό history feature στο επίπεδο 5%. Η υψηλότερη ιστορική αναλογία buys συνδέεται με χαμηλότερη μελλοντική πιθανότητα buy, σαν ψεύτικο reversal signal, ενώ η μεγαλύτερη αφαίρεση resting orders μετακινεί τις προβλέψεις από buys προς cancellations. Οι συγγραφείς σημειώνουν την ανάγκη προσοχής λόγω multiple testing, αλλά αναφέρουν ότι πολλά features παραμένουν σημαντικά ακόμη και με αυστηρότερη διόρθωση Bonferroni.

Η κλιμάκωση κάνει την εσωτερική κατάσταση πιο δύσκολη

Το βασικό συνθετικό LOB έχει 756 καταστάσεις. Οι ερευνητές επαναλαμβάνουν τη διαδικασία σε δύο μεγαλύτερα settings με 8.281 και 41.553 καταστάσεις. Τα μοντέλα εξακολουθούν να έχουν υψηλό valid traversal, όμως τα compression scores υποχωρούν, ιδιαίτερα στα random-walk μοντέλα, και οι kernel-level και history-level αποστάσεις αυξάνονται.

Στο περιβάλλον των 41.553 states, το RW-L καταγράφει 99,3% valid traversal αλλά compression score μόλις 24,0%. Το kernel-level TV είναι 0,16, 0,20 και 0,31 για horizons ενός, δύο και τριών βημάτων, ενώ το history-level TV είναι 0,11, 0,18 και 0,23. Το baseline παραμένει κοντά στο μηδέν στις TV μετρήσεις και στο 99,9% compression.

Αυτό δεν αποδεικνύει ότι κάθε μεγαλύτερο μοντέλο ή κάθε πραγματική αγορά θα εμφανίσει ακριβώς την ίδια συμπεριφορά. Η μελέτη χρησιμοποιεί περιορισμένα, συνθετικά state spaces ώστε να γνωρίζει το ground truth και να μπορεί να εκπαιδεύσει από το μηδέν. Προσφέρει όμως ισχυρή ένδειξη ότι η επιτυχία στην παραγωγή έγκυρων sequences δεν κλιμακώνεται αυτομάτως σε αξιόπιστη αναπαράσταση σύνθετων δυναμικών.

Τι σημαίνει αυτό για AI σε trading και χρηματοοικονομικές αποφάσεις

Η μελέτη δεν δοκιμάζει live trading strategy ούτε ισχυρίζεται ότι τα LLM δεν μπορούν ποτέ να χρησιμοποιηθούν σε πραγματικά order books. Στα πραγματικά δεδομένα μπορεί να υπάρχει γνήσια βραχυπρόθεσμη προβλεψιμότητα. Το πρόβλημα είναι πιο θεμελιώδες: αν ένα μοντέλο βρίσκει signal σε ένα περιβάλλον που έχει σχεδιαστεί ώστε το συγκεκριμένο ιστορικό να είναι άσχετο, η εμπιστοσύνη στα live forecasts του πρέπει να περιοριστεί.

Για μια fintech ή επενδυτική ομάδα, αυτό μεταφράζεται σε ανάγκη για null tests και controlled simulations πριν από οποιοδήποτε backtest που υπόκειται σε leakage, regime effects ή selection bias. Το μοντέλο πρέπει να αποδεικνύει ότι δεν δημιουργεί προβλεψιμότητα όταν το ground truth δεν την επιτρέπει. Χρειάζονται επίσης probability calibration, αξιολόγηση πολλών horizons και σύγκριση με απλά state-aware baselines.

Η επιχειρησιακή αξία δεν βρίσκεται μόνο στην απόλυτη επίδοση. Ένα baseline χωρίς attention μπορεί να αποτυγχάνει στον σχεδιασμό διαδρομής, αλλά να είναι ανώτερο στην πιθανοτική πρόβλεψη επειδή χρησιμοποιεί τη σωστή state abstraction. Η αρχιτεκτονική πρέπει να επιλέγεται ανά task: generator, planner και forecaster δεν είναι υποχρεωτικά το ίδιο σύστημα.

Πώς πρέπει να αλλάξει το evaluation ενός AI forecaster

Πρώτον, η ομάδα πρέπει να διαχωρίζει syntax validity, task completion και distributional fidelity. Το ότι ένα μοντέλο παράγει νόμιμη εντολή ή φτάνει σε έναν στόχο δεν σημαίνει ότι οι πιθανότητές του είναι βαθμονομημένες. Δεύτερον, πρέπει να ελέγχει counterfactual histories: διαφορετικές διαδρομές προς το ίδιο state οφείλουν να οδηγούν στην ίδια πρόβλεψη όταν το state είναι επαρκές.

Τρίτον, οι μετρήσεις πρέπει να επεκτείνονται πέρα από one-step accuracy. Η ίδια αρχή ισχύει στην πρόβλεψη χρονοσειρών: το horizon και ο τρόπος αξιολόγησης αλλάζουν την εικόνα της επίδοσης. Τα αποτελέσματα δείχνουν ότι το σφάλμα αυξάνεται από horizon ένα σε τρία. Σε παραγωγικά workflows, μια μικρή μονοβηματική απόκλιση μπορεί να γίνει μεγάλη όταν οι προβλέψεις επανατροφοδοτούν αποφάσεις. Τέταρτον, κάθε σύνθετο μοντέλο χρειάζεται απλό baseline που κωδικοποιεί ρητά την κατάσταση. Αν το baseline κερδίζει στην calibration, το πρόβλημα δεν λύνεται με καλύτερο storytelling γύρω από το AI. Χρειάζεται επίσης έλεγχος του αν οι εξηγήσεις ενός μοντέλου παραμένουν συνεπείς όταν αλλάζει το πλαίσιο αξιολόγησης.

Τέλος, το evaluation οφείλει να συνδέεται με guardrails. Ένα μοντέλο που λειτουργεί ως βοηθητικό εργαλείο ανάλυσης μπορεί να είναι χρήσιμο ακόμη και με περιορισμούς. Ένα μοντέλο που ενεργοποιεί orders, pricing ή risk limits χρειάζεται πολύ αυστηρότερα thresholds, monitoring για distribution shift και μηχανισμό αποχής όταν η κατάσταση βρίσκεται εκτός του ελεγμένου πεδίου.

Η ευρύτερη εφαρμογή πέρα από τις αγορές

Η διάκριση ανάμεσα σε έγκυρο output και σωστό world model αφορά κάθε στοχαστική επιχειρησιακή διαδικασία. Σε e-commerce, ένα μοντέλο μπορεί να παράγει εύλογες συστάσεις χωρίς να έχει μάθει σωστά τη μετάβαση από ενδιαφέρον σε αγορά. Σε marketing attribution, μπορεί να αποδίδει αξία σε παλιές επαφές επειδή συσχετίζονται με conversion, παρότι η τρέχουσα κατάσταση του πελάτη εξηγεί ήδη το αποτέλεσμα.

Αυτές είναι αναλογικές επιχειρηματικές εφαρμογές του μεθοδολογικού ευρήματος, όχι αποτελέσματα που δοκιμάστηκαν στη συγκεκριμένη μελέτη. Το πρακτικό lesson παραμένει: όταν ένα AI παίρνει αποφάσεις σε δυναμικό σύστημα, πρέπει να οριστεί ρητά ποιο state είναι επαρκές, ποια ιστορία θα έπρεπε να είναι άσχετη και ποιο controlled test μπορεί να αποκαλύψει ψεύτικο signal.

Για decision makers, η καλύτερη ερώτηση προς έναν προμηθευτή AI δεν είναι μόνο «ποιο accuracy πετυχαίνει;». Είναι «σε ποιο ground truth, με ποιο baseline, σε ποιο horizon και με ποιο τεστ αποδεικνύεται ότι δεν αξιοποιεί πλασματική προβλεψιμότητα;». Αυτή η ερώτηση μεταφέρει τη συζήτηση από εντυπωσιακά demos σε πραγματική διαχείριση μοντελοποιητικού ρίσκου.

Τα όρια της μελέτης και η σωστή ανάγνωση των ευρημάτων

Οι συγγραφείς εκπαιδεύουν μοντέλα σε μικρά συνθετικά LOB, με ομοιόμορφη πιθανότητα ανά έγκυρο event στο κύριο setup, αν και αναφέρουν συνεπή αποτελέσματα και με μη ομοιόμορφους kernels. Οι πραγματικές αγορές έχουν πολύ περισσότερα επίπεδα τιμών, μεγέθη, συμμετέχοντες, latency effects και καθεστώτα. Επομένως, οι συγκεκριμένες TV τιμές δεν πρέπει να μεταφερθούν ως εκτιμήσεις live trading performance.

Η αξία του paper είναι διαγνωστική. Επειδή η συνθετική διαδικασία είναι γνωστή, η μελέτη μπορεί να απομονώσει ένα failure mode που θα ήταν δύσκολο να αποδειχθεί σε θορυβώδη πραγματικά δεδομένα. Δεν δείχνει ότι κάθε LLM έχει το ίδιο λάθος, αλλά ότι τα συνήθη sequence-generation tests μπορούν να δώσουν υπερβολική αυτοπεποίθηση για την ποιότητα ενός world model.

Οι ίδιοι οι συγγραφείς καταλήγουν ότι μπορεί να χρειάζονται μεγαλύτερα datasets ή νέες μέθοδοι training. Για τις επιχειρήσεις, η άμεση συνέπεια είναι πιο συγκεκριμένη: η έγκριση ενός AI forecaster δεν πρέπει να βασίζεται σε ένα μόνο task metric. Χρειάζεται δέσμη ελέγχων που εξετάζει state representation, calibration, invariance σε άσχετη ιστορία και συμπεριφορά καθώς αυξάνεται η πολυπλοκότητα.

Συμπέρασμα: το καλό demo δεν είναι απόδειξη κατανόησης

Το paper προσφέρει μια χρήσιμη προειδοποίηση απέναντι στην εύκολη ανθρωπομορφοποίηση. Ένα LLM μπορεί να ακολουθεί τους κανόνες, να παράγει σύντομες διαδρομές και να φαίνεται ότι σχεδιάζει, ενώ οι forecast probabilities του παραμένουν μεροληπτικές και εξαρτημένες από άσχετο ιστορικό. Η επιφανειακή επιτυχία και η σωστή εσωτερική αναπαράσταση δεν είναι το ίδιο πράγμα.

Για οργανισμούς που χρησιμοποιούν AI σε υψηλής επίπτωσης αποφάσεις, το ασφαλές μονοπάτι είναι σαφές: controlled environments, απλά baselines, null hypotheses, multi-step calibration και σαφής διάκριση μεταξύ generation και forecasting. Η πραγματική ωριμότητα του AI δεν μετριέται από το πόσο πειστικό είναι το output, αλλά από το αν οι πιθανότητες και οι αποφάσεις του παραμένουν σωστές όταν η επιφάνεια του προβλήματος πάψει να είναι αρκετή.