Πόσο δύσκολος είναι πραγματικά ένας κόσμος AI; Το Transition Complexity Profile αλλάζει τα benchmarks

Δύο AI συστήματα μπορεί να πετυχαίνουν παρόμοιο αποτέλεσμα και παρ’ όλα αυτά να έχουν λύσει εντελώς διαφορετικό πρόβλημα. Το ένα ίσως προβλέπει έναν σχεδόν ντετερμινιστικό κόσμο. Το άλλο πρέπει να διαχειριστεί τυχαιότητα, κρυφή πληροφορία, αντιπάλους και συνέπειες που γίνονται ορατές πολύ αργότερα. Αν το benchmark δεν περιγράφει αυτές τις διαφορές, το τελικό score μοιάζει ακριβές αλλά μένει επιστημονικά και επιχειρησιακά ελλιπές.

Αυτό το κενό επιχειρεί να καλύψει το position paper του Lele Cao, ερευνητή των King AI Labs και Microsoft Gaming, το οποίο έγινε δεκτό στο ICML 2026 Position Paper Track. Η πρόταση δεν είναι νέο world model ή αλγόριθμος reinforcement learning. Είναι ένα versioned measurement layer για το transition problem που δημιουργείται από συγκεκριμένο περιβάλλον, interface, κατανομή αναφοράς και πρωτόκολλο.

Γιατί το benchmark score δεν περιγράφει το transition problem

Τα σύγχρονα game world models αξιολογούνται συνήθως με downstream return, prediction loss ή οπτική ποιότητα rollouts. Κάθε μέτρηση απαντά σε χρήσιμη ερώτηση, αλλά καμία δεν αποκαλύπτει από μόνη της πόσο σύνθετη ήταν η μετάβαση από την τρέχουσα κατάσταση και ενέργεια στην επόμενη κατάσταση.

Ένα αποτέλεσμα στο Atari δεν συγκρίνεται αυτόματα με αποτέλεσμα στο Quake II, στο Minecraft, σε παιχνίδι καρτών ή σε prompt-generated διαδραστικό κόσμο. Αλλά ακόμη και το ίδιο παιχνίδι μπορεί να μετατραπεί σε διαφορετικό prediction problem. Η αναπαράσταση μπορεί να είναι pixels, tokens, latent states ή ολόκληρο board. Το context window μπορεί να περιλαμβάνει δύο frames ή μεγάλη ιστορία ενεργειών. Ένα evaluation protocol μπορεί να προσθέτει stochasticity και ένα άλλο όχι.

Η ίδια παγίδα εμφανίζεται πέρα από τα games. Σε speech, support automation ή e-commerce agents, δύο συστήματα μπορεί να λαμβάνουν διαφορετικό context, διαφορετικά tools και διαφορετική κατανομή περιστατικών. Γι’ αυτό η διαφάνεια στα AI benchmarks και η διάκριση ανάμεσα σε υψηλή βαθμολογία και πραγματική απόδοση είναι προϋποθέσεις για ουσιαστική σύγκριση.

Τι μετρά και τι δεν μετρά το TCP

Το TCP περιγράφει το induced transition kernel στο δηλωμένο interface. Με απλά λόγια, εξετάζει πόσες επόμενες καταστάσεις είναι πιθανές, πόσο επηρεάζουν οι άλλοι agents αυτή την εξέλιξη και πόσο μακρινή πληροφορία χρειάζεται για αξιόπιστη πρόβλεψη. Οι τιμές ισχύουν μόνο μαζί με το interface, το protocol και την reference distribution που τις δημιούργησαν.

Δεν συμπυκνώνει τη «δυσκολία ενός παιχνιδιού» σε έναν μαγικό αριθμό. Δεν μετρά την περιγραφική πολυπλοκότητα των κανόνων, τη θεωρητική υπολογιστική δυσκολία, το πόσο δύσκολο είναι να βρεθεί νικηφόρα στρατηγική ή το approximation error μιας συγκεκριμένης αρχιτεκτονικής. Ένας χαοτικός αλλά ντετερμινιστικός simulator μπορεί να είναι δύσκολος για έναν predictor και ταυτόχρονα να έχει χαμηλή transition entropy. Ένας απλός stochastic sampler μπορεί να έχει υψηλή entropy και να παραμένει εύκολος ως κατανομή.

Το TCP επομένως συμπληρώνει, δεν αντικαθιστά, return, planning performance, visual fidelity και task-specific safety tests. Αν μια επιχείρηση θέλει να εμπιστευτεί agent που δρα, χρειάζεται επιπλέον επαλήθευση της πολιτικής reinforcement learning και έλεγχο των πραγματικών side effects.

Οι τρεις άξονες του Transition Complexity Profile

Ο πρώτος άξονας μετρά το branching της μετάβασης. Για state-action pairs από δηλωμένη κατανομή, το paper χρησιμοποιεί conditional entropy και collision entropy και μετατρέπει τη δεύτερη σε effective branching factor. Η λογική είναι perplexity-like: περιγράφει το αποτελεσματικό πλήθος πιθανών επόμενων καταστάσεων και όχι μόνο ένα θεωρητικό maximum.

Ο δεύτερος άξονας ξεχωρίζει την αβεβαιότητα μέσα στην πολιτική ενός αντιπάλου από την ετερογένεια ενός πληθυσμού αντιπάλων. Προσθέτει όμως και ένα κρίσιμο τεστ επιρροής: οι διαφορετικές ενέργειες του άλλου agent αλλάζουν πράγματι την επόμενη κατάσταση που βλέπει το μοντέλο; Αν opponent actions ή αξιόπιστα IDs δεν υπάρχουν στα logs, ο άξονας πρέπει να σημειώνεται ως μη παρατηρήσιμος και όχι να υπολογίζεται αυθαίρετα από pixels.

Ο τρίτος άξονας μετρά dependency span. Standardized probes δοκιμάζονται με διαφορετικά μήκη ιστορικού και, όπου έχει νόημα, διαφορετική ακτίνα χωρικού context. Αν το predictive loss συνεχίζει να βελτιώνεται σε όλο το εύρος, η σωστή αναφορά είναι «δεν παρατηρήθηκε saturation στο αξιολογημένο range» και όχι ότι το περιβάλλον έγινε Markov.

Το profile είναι σκόπιμα πολυδιάστατο. Ένα scalar leaderboard θα έκρυβε αν δύο συστήματα δυσκολεύονται για διαφορετικό λόγο. Η ίδια αρχή είναι χρήσιμη όταν ένα γενετικό market model μετατρέπει πολυπλοκότητα σε εμπορική απόφαση: πριν ερμηνεύσουμε το output, πρέπει να γνωρίζουμε ποια uncertainty και ποιο context μοντελοποιήθηκαν.

Τι αποδεικνύει το παράδειγμα του tic-tac-toe

Το paper δίνει ένα πλήρως υπολογισμένο παράδειγμα tic-tac-toe. Το interface είναι ολόκληρο το board 3×3 και ένα βήμα περιλαμβάνει την κίνηση του agent μαζί με την απάντηση αντιπάλου που επιλέγει ομοιόμορφα ανάμεσα στις νόμιμες κινήσεις. Κάτω από αυτή τη συγκεκριμένη probe distribution, η μέση one-step entropy είναι περίπου 1,906 bits και το effective branching factor περίπου 3,75.

Επειδή δεν υπάρχει άλλη chance source στο συγκεκριμένο interface και διαφορετικές κινήσεις του αντιπάλου παράγουν διαφορετικά boards, το branching αποδίδεται στην αλληλεπίδραση. Με το πλήρες board η διαδικασία είναι Markov και το memory span είναι ένα βήμα. Αν αλλάξουμε observation, step definition, opponent policy ή distribution, αλλάζουμε το αντικείμενο μέτρησης και δεν δικαιούμαστε να επαναχρησιμοποιήσουμε τις ίδιες τιμές.

TCP-Lite και TCP-Std: συγκρισιμότητα με δηλωμένο budget

Η πρόταση περιγράφει δύο versioned tiers. Το TCP-Lite-v1 χρησιμοποιεί 5.000 sampled state-action pairs, οκτώ resamples ανά pair όταν υπάρχει reset, fixed probe budget 200 εκατ. tokens ή ισοδύναμο δηλωμένο update budget και τρία seeds. Το TCP-Std-v1 ανεβάζει τα pairs σε 20.000, τα resamples σε 32 και το probe budget σε 1 δισ. tokens ή matched update budget, με τρία seeds και 95% bootstrap confidence intervals.

Τα budgets είναι κανόνες συγκρισιμότητας, όχι εγγυήσεις ακρίβειας. Σε υψηλό branching μπορεί να παρατηρηθούν λίγες collisions ή μεγάλα intervals. Το paper ζητά να δηλώνεται το resolution limit και να παραμένουν ορατά mean, median και 90ό percentile, αντί το budget να αυξάνεται σιωπηρά μέχρι να προκύψει βολικό αποτέλεσμα.

Simulator ή logs: διαφορετική μέτρηση, διαφορετικός ισχυρισμός

Με πρόσβαση στον simulator, η ιδανική διαδικασία είναι reset στην ίδια υποκείμενη κατάσταση, εφαρμογή της ίδιας ενέργειας και επαναλαμβανόμενα resamples με διαφορετική εξωγενή τυχαιότητα ή opponents. Έτσι οι collision probabilities και το branching μπορούν να εκτιμηθούν άμεσα, αρκεί να δηλωθούν η κατάσταση, η ενέργεια, το interface και κάθε stochastic source.

Σε log-only datasets δεν είναι δυνατό να επαναληφθεί η ίδια ακριβώς μετάβαση. Εκεί το TCP προτείνει fixed probe families, όπως GRU και Transformer, και αναφέρει cross-entropy σε bits ανά token. Αυτή η τιμή είναι proxy ή upper bound της intrinsic entropy, επειδή περιλαμβάνει και το σφάλμα της probe. Δεν πρέπει να παρουσιάζεται ως άμεση μέτρηση του transition kernel.

Το TCP-Ref v1.0 ζητά version strings, πλήρες training budget, τρία seeds και bootstrap intervals. Προτείνει επίσης capacity sanity check: διπλασιασμό του πλάτους της Transformer probe με το ίδιο budget. Αν το loss βελτιωθεί πάνω από 0,1 bits ανά token, το αποτέλεσμα χαρακτηρίζεται probe-limited. Η αρχή είναι σημαντική και στα AI agents που περνούν στην παραγωγή: ένα proxy είναι χρήσιμο μόνο όταν τα όριά του παραμένουν ορατά.

Όταν ένας wrapper αλλάζει το ίδιο το benchmark

Το TCP είναι protocol-sensitive. Το paper χρησιμοποιεί τα sticky actions του Arcade Learning Environment: με πιθανότητα 0,25 εκτελείται η προηγούμενη αντί για τη νέα ενέργεια. Όταν τα δύο ενδεχόμενα οδηγούν σε διαφορετικά αποτελέσματα, αυτή η επιλογή προσθέτει περίπου 0,811 bits one-step αβεβαιότητας. Το game name μένει ίδιο, αλλά το induced kernel αλλάζει.

Το ίδιο ισχύει για frame skip, reset distribution, tokenization, context construction και επιλογή ανάμεσα σε board state, pixels ή latents. Ένα fixed seed επίσης δεν λύνει το πρόβλημα, αν το μοντέλο δεν παρατηρεί το seed ή ολόκληρη την εσωτερική κατάσταση. Η σωστή ερώτηση είναι ποια αβεβαιότητα παραμένει στο information interface που πράγματι έχει το μοντέλο.

Για μια εταιρεία αυτό μεταφέρεται αυτούσιο στη σύγκριση vendors. Score χωρίς versioned dataset, preprocessing, tool access, context, timeout, retry policy και inference protocol δεν αποτελεί επαρκή βάση αγοράς. Σε self-hosted λύσεις, το agent harness αλλάζει έλεγχο, κόστος και failure modes, ακόμη και όταν το base model παραμένει ίδιο.

Τι πρέπει να περιέχει ένα χρήσιμο TCP card

Το paper προτείνει οι benchmark maintainers να δημοσιεύουν ένα TCP card για κάθε συγκεκριμένο environment, protocol και interface. Το card πρέπει να περιέχει έκδοση περιβάλλοντος, state representation, tokenizer και context window, reference distributions, πηγές stochasticity, TCP tier, probe versions, sample και training budgets, καθώς και measured values με αβεβαιότητα.

Για simulator-backed benchmarks χρειάζονται reset ή replay hooks, ελεγχόμενο resampling, executed-action logs και opponent-action ή opponent-type fields όπου είναι διαθέσιμα. Όταν τα fields λείπουν, η έλλειψη πρέπει να δηλώνεται. Για log-only benchmarks χρειάζονται πλήρης curve της απόδοσης ανά context length και σαφής σήμανση ότι οι cross-entropy τιμές είναι probe-based proxies.

Η reference implementation που περιγράφεται είναι ακόμη σχέδιο. Θα περιλάμβανε estimators, TCP-Ref configs και training scripts, JSON ή YAML schema για cards, table generator και regression tests για tic-tac-toe και sticky actions. Επειδή το paper μιλά για planned package, δεν είναι σωστό να παρουσιάζεται ως ήδη διαθέσιμο production toolkit.

Τι σημαίνει το TCP για την επιχειρηματική αξιολόγηση AI

Το TCP δεν είναι εργαλείο marketing campaign ούτε έτοιμο procurement score. Προσφέρει όμως ακριβή νοοτροπία: πριν συγκρίνετε δύο AI συστήματα, ελέγξτε αν είχαν την ίδια πληροφορία, την ίδια κατανομή περιστατικών, τις ίδιες πηγές αβεβαιότητας και το ίδιο operational protocol. Διαφορετικά, συγκρίνετε outputs χωρίς να γνωρίζετε τη δυσκολία της διαδρομής.

Σε customer support, για παράδειγμα, η πολυπλοκότητα αυξάνεται όταν ο agent πρέπει να προβλέψει επόμενες προθέσεις, να διατηρήσει ιστορικό πολλών καναλιών και να συντονιστεί με ανθρώπους ή άλλα bots. Σε e-commerce αυξάνεται με stock changes, πληρωμές, τιμές, επιστροφές και τρίτα συστήματα. Σε web agents, το interface και τα διαθέσιμα actions καθορίζουν αν μια αποτυχία προέρχεται από το μοντέλο ή από το environment, όπως φαίνεται και στην ασφαλή προετοιμασία website για AI agents.

Η αβεβαιότητα από πολλούς actors απαιτεί και συντονισμό state. Όταν agents, χρήστες και integrations γράφουν στην ίδια πληροφορία, το profile της μετάβασης δεν αρκεί χωρίς concurrency control για multi-agent συστήματα. Η μέτρηση περιγράφει το πρόβλημα· τα permissions, τα approvals και το rollback περιορίζουν τις συνέπειες.

Επτά βήματα πριν συγκρίνετε AI συστήματα

Η επιχειρηματική εφαρμογή της ιδέας δεν χρειάζεται να περιμένει την υιοθέτηση του TCP. Μια ομάδα μπορεί να μετατρέψει την αρχή σε versioned evaluation dossier για κάθε μοντέλο, vendor ή agentic workflow.

Το dossier πρέπει να συμβαδίζει με model documentation και governance. Τα model cards χωρίς operational evidence δεν αρκούν, ενώ η επαναληψιμότητα απαιτεί να αποθηκεύεται ακριβώς τι άλλαξε ανά evaluation run.

Τα όρια του TCP και το σωστό τελικό κριτήριο

Το TCP δεν είναι architecture-independent αλήθεια σε κάθε πτυχή. Οι log-only probes εξαρτώνται από model class και compute budget. Η transition complexity μεταβάλλεται με το interface και τη reference distribution. Η μέτρηση έχει κόστος και μια νέα metadata πρακτική μπορεί να γίνει αντικείμενο gaming ή να καταλήξει σε checkbox χωρίς ουσία.

Η απάντηση του paper είναι versioning, διαφάνεια και profile αντί για ενιαίο leaderboard. Οι benchmark maintainers πληρώνουν το TCP-Std μία φορά για σταθερό setup, ενώ τα model papers μπορούν να παραπέμπουν στο card και να επαναμετρούν όταν αλλάζει το kernel. Η πρόταση δεν εξαλείφει την ανάγκη για return, planning, quality, safety και πραγματικό user testing.

Το σωστό τελικό κριτήριο για μια επιχείρηση είναι αν οι συγκρίσεις περιγράφουν το ίδιο πρόβλημα και αν τα observed failures συνδέονται με αποδεκτό residual risk. Ένα AI σύστημα δεν είναι καλύτερο επειδή κερδίζει σε έναν αριθμό· είναι καταλληλότερο μόνο όταν έχει αξιολογηθεί στο σωστό interface, με αντιπροσωπευτικό protocol και με controls που ταιριάζουν στις συνέπειες της χρήσης.