Nexus: πώς οι AI agents βρίσκουν το σωστό εργαλείο χωρίς να πνίγονται στα schemas

Το κρυφό κόστος ενός μεγάλου MCP registry

Ένας AI agent μπορεί να διαθέτει δεκάδες ή εκατοντάδες εργαλεία και παρ’ όλα αυτά να καθυστερεί πριν κάνει την πρώτη ουσιαστική κίνηση. Η αιτία δεν είναι πάντα η «σκέψη» του μοντέλου. Συχνά είναι το βάρος των tool schemas που επανεισάγονται στο prompt και κωδικοποιούνται ξανά σε κάθε γύρο.

Στο Model Context Protocol κάθε εργαλείο περιγράφεται με όνομα, περιγραφή και JSON Schema για τα arguments του. Όσο αυξάνονται τα εργαλεία, αυτές οι περιγραφές καταλαμβάνουν μεγαλύτερο τμήμα του prompt. Το μοντέλο πρέπει να τις περάσει από το prefill πριν παραγάγει το πρώτο token της απάντησης ή της κλήσης εργαλείου.

Το self-attention έχει τετραγωνική εξάρτηση από το μήκος της ακολουθίας. Η εργασία Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory δεν παρουσιάζει αυτή τη σχέση ως νέο εύρημα· τη χρησιμοποιεί για να εξηγήσει γιατί η επανακωδικοποίηση πολλών verbose schemas δημιουργεί ένα «prefill wall». Το πρόβλημα γίνεται εντονότερο όταν το ιστορικό μεγαλώνει και το registry περιλαμβάνει εκατοντάδες πιθανές ενέργειες.

Μια απλή προσέγγιση είναι να τοποθετηθούν όλα τα schemas στο context. Μια καλύτερη είναι να ανακτηθούν πρώτα λίγα υποψήφια εργαλεία και να γίνει prefill μόνο σε αυτά. Το Nexus πηγαίνει ένα βήμα πιο πέρα: αποσυνδέει το semantic routing από το schema-prefill και κρατά την πλήρη περιγραφή έξω από το κύριο μονοπάτι όπου μπορεί. Η ίδια ανάγκη για σαφή επιλογή και ελεγχόμενες ενέργειες εμφανίζεται όταν εξετάζουμε ποιος ευθύνεται όταν ένας AI agent αποτυγχάνει.

Retrieval πριν από το βαρύ schema

Το Nexus αποθηκεύει embeddings για τα εργαλεία σε ένα INT8 Semantic Lookaside Buffer. Για κάθε αίτημα υπολογίζει embedding του query και σαρώνει το registry με SIMD dot products. Το όνομα και η περιγραφή κάθε εργαλείου συνδυάζονται στην αναπαράσταση, με το όνομα να μεταφέρει, σύμφωνα με το paper, ισχυρό routing signal.

Οι καλύτεροι υποψήφιοι περνούν από margin gate. Όταν η διαφορά ανάμεσα στα δύο υψηλότερα scores είναι αρκετή, η απόφαση γίνεται αυτόματα. Όταν η διαφορά είναι μικρή, ενεργοποιείται ένας fine-tuned cross-encoder τύπου MiniLM για τη δύσκολη περίπτωση. Το threshold ορίστηκε στο 20ό εκατοστημόριο adversarial margins, στο 0,0136, και στο benchmark ο cross-encoder ενεργοποιήθηκε στο 20,8% των αποφάσεων.

Το κρίσιμο χαρακτηριστικό είναι ότι αυτό το routing εξαρτάται από το query και το registry, όχι από το βάθος του live context. Άρα δεν επιβαρύνεται από το ίδιο positional πρόβλημα που περιορίζει τη μεταφορά KV cache. Αυτή είναι η πιο μεταφέρσιμη αρχή του Nexus ακόμη και για ομάδες που δουλεύουν με cloud μοντέλα ή με no-code εργαλεία για RAG, agents και workflows.

Συμπιεσμένη υπογραφή αντί για ολόκληρο JSON schema

Αφού επιλεγεί το εργαλείο, ο agent πρέπει να δημιουργήσει τα σωστά arguments. Το Nexus δεν επαναφέρει υποχρεωτικά ολόκληρο το schema στο κύριο context. Το μετατρέπει σε συμπιεσμένη, type-hinted υπογραφή, για παράδειγμα μια μορφή όπως create_repository(name: string, private?: boolean), με σύντομες περιγραφές όπου χρειάζονται.

Στο μετρημένο σύνολο η διάμεση υπογραφή είχε 19 tokens και το 99ο εκατοστημόριο 32. Η συμπίεση περιορίζει το prefill χωρίς να αφαιρεί τα ονόματα και τους τύπους των πεδίων που χρειάζεται το μοντέλο. Ένα finite-state machine περιορίζει την επιλογή ονόματος εργαλείου, ενώ grammar από το schema επιβάλλει έγκυρη JSON δομή στα arguments.

Στις περιπτώσεις όπου το routing ήταν σωστό, συμπληρώθηκε σωστά το 100% των 40 query-specified arguments, με κάτω όριο 95% confidence interval 91,2%. Η συνολική end-to-end ακρίβεια arguments, όταν τα routing errors μετρούν επίσης ως αποτυχίες, ήταν 80% σε 50 arguments. Η διάκριση είναι ουσιαστική: έγκυρο JSON δεν σημαίνει σωστή επιχειρηματική ενέργεια αν έχει επιλεγεί λάθος εργαλείο.

Τι έδειξε η κλιμάκωση έως 250 εργαλεία

Το routing αξιολογήθηκε σε 100 GitHub-MCP queries με registries 10, 50, 100 και 250 εργαλείων. Η end-to-end accuracy ήταν αντίστοιχα 92%, 90%, 89% και 89%. Οι συγγραφείς περιγράφουν την επίδοση ως «σχεδόν επίπεδη», επειδή τα confidence intervals επικαλύπτονται, όχι επειδή αποδεικνύεται ότι η κλίμακα δεν έχει καμία επίδραση.

Στα 250 εργαλεία, το 89% είχε Wilson 95% confidence interval από 81,4% έως 93,7%. Το SLB είχε top-1 recall 74% και top-3 recall 95%. Αυτό δείχνει γιατί ο δεύτερος μηχανισμός αξιολόγησης είναι χρήσιμος: η γρήγορη semantic ανάκτηση συχνά βρίσκει το σωστό εργαλείο μέσα στους κορυφαίους υποψηφίους, αλλά όχι πάντα στην πρώτη θέση.

Ο baseline που συνέδεε όλα τα schemas πέτυχε 98% στα 10 εργαλεία, όμως από τα 50 και πάνω ξεπερνούσε το διαθέσιμο context και δεν μπορούσε να κάνει routing. Αυτό δεν είναι καθολική σύγκριση με κάθε agent framework. Είναι αποτέλεσμα της συγκεκριμένης πειραματικής ρύθμισης και αναδεικνύει το scaling failure του «βάλε τα όλα στο prompt».

Η πρακτική ανάγνωση για μια επιχείρηση δεν είναι «αγοράστε μεγαλύτερο μοντέλο», αλλά σχεδιάστε καλύτερο registry: διακριτά ονόματα, σαφείς περιγραφές, περιορισμένα permissions και tests για συγγενικά εργαλεία. Αυτή η πειθαρχία συμπληρώνει ένα full-stack AI προϊόν, όπου orchestration, δεδομένα, monitoring και εμπειρία χρήστη λειτουργούν ως ένα σύστημα.

Το KV-cache splice και το πρόβλημα της θέσης

Η δεύτερη ιδέα είναι να μεταγλωττίζεται ένα schema μία φορά σε block από keys και values και να εισάγεται απευθείας στο live KV cache. Αν αυτό λειτουργούσε σε οποιαδήποτε θέση, ο agent θα απέφευγε μεγάλο μέρος του επαναλαμβανόμενου prefill. Η δυσκολία προέρχεται από το Rotary Position Embedding: τα keys κωδικοποιούν τη θέση στην οποία υπολογίστηκαν.

Ένα block που δημιουργήθηκε σε anchor position δεν μπορεί να μετακινηθεί αυθαίρετα σε βαθύτερο context χωρίς αλλαγή της κατανομής attention. Το Nexus επαναφέρει τη RoPE φάση στη νέα θέση, όμως παραμένει μικρή απόκλιση επειδή το block είχε παραχθεί κάτω από διαφορετικό προηγούμενο context. Στο anchor το output είναι ακριβές. Εκτός anchor, η measured divergence κινήθηκε στη ζώνη 0,008–0,038 nats μέχρι offset 2.048 tokens, με top-1 agreement 1,0.

Αυτό δεν θεωρήθηκε αρκετό για στοχαστικό decoding πολλών βημάτων. Ακόμη και μικρή απόκλιση στην ουρά της κατανομής μπορεί να συσσωρευτεί σε μια πολυβηματική agentic διαδρομή. Γι’ αυτό το Nexus δεν στηρίζεται σε «γυμνό» splice πέρα από το όριο των 256 tokens, παρότι το όριο είναι συντηρητική έναρξη επιδιόρθωσης και όχι απότομος γκρεμός ποιότητας.

Depth-adaptive recompute και πιστότητα

Πάνω από το όριο, το σύστημα ακυρώνει και επανακωδικοποιεί ένα συνεχόμενο suffix του schema. Το ποσοστό ξεκινά από 5% και αυξάνεται με το βάθος μέχρι να φτάσει σε πλήρες re-prefill. Με αυτόν τον τρόπο η κατανομή του επόμενου token επιστρέφει στη reference συμπεριφορά, με top-1 agreement και KL divergence περίπου μηδέν.

Η ιδιότητα «never-regress» αφορά την πιστότητα του output, όχι εγγυημένη επιτάχυνση. Στην default καμπύλη, στα 256 tokens καταγράφηκε speedup 1,63× και στα 512 tokens 1,24×. Στα 1.024 tokens η αναλογία έπεσε σε 0,98× και στα 2.048 συνέκλινε σε 1,00×. Μια πιο ήπια tuned καμπύλη διατήρησε speedup 1,73×, 1,42×, 1,17× και 1,07× στα ίδια βάθη, αλλά μεταθέτει το πλήρες recompute αργότερα.

Το trade-off είναι καθαρό: όσο μεγαλύτερη πιστότητα απαιτείται σε βαθύ context, τόσο μικρότερη γίνεται η εξοικονόμηση. Το paper δεν κρύβει αυτή την υποχώρηση. Τη χρησιμοποιεί για να οριοθετήσει πού το splicing είναι πραγματικό πλεονέκτημα και πού το ασφαλές fallback είναι σχεδόν ισοδύναμο με κανονικό prefill.

Τα αρνητικά αποτελέσματα που βελτίωσαν την αρχιτεκτονική

Μία παλαιότερη τεχνική scattered partial recompute, με την ονομασία LegoLink, άφησε divergence περίπου 5,7 nats σε βάθος 1.024, πολύ μεγαλύτερη από το συνεχόμενο suffix repair. Το αποτέλεσμα οδήγησε στην απόσυρση της διάσπαρτης επιδιόρθωσης. Είναι σημαντικό παράδειγμα του γιατί ένα «έξυπνο» shortcut μπορεί να κάνει την κατανομή χειρότερη αντί να τη διορθώσει.

Απέτυχε επίσης ένας φθηνός reference-free gate που χρησιμοποιούσε K-variance του προηγούμενου context για να προβλέψει ποια attention heads θα εμφανίσουν drift. Η μέση Spearman correlation ήταν 0,193, κάτω από τον στόχο 0,40. Το drift υπήρχε, αλλά ο proxy δεν μπορούσε να κατατάξει αξιόπιστα τις επικίνδυνες περιπτώσεις.

Αυτά τα αρνητικά ευρήματα έχουν πρακτική αξία: το σύστημα επιλέγει deterministic depth-adaptive recompute αντί για έναν αναξιόπιστο predictor. Σε παραγωγικό AI engineering, η ασφαλής υποχώρηση σε γνωστή συμπεριφορά αξίζει περισσότερο από μια ασταθή βελτιστοποίηση που δεν μπορεί να ελεγχθεί. Ένα συγγενικό πλαίσιο για versioned tests, όρια και ανθρώπινη εποπτεία δίνει η επαλήθευση πολιτικών για AI agents.

Γιατί το hardware boundary δεν είναι υποσημείωση

Τα benchmarks έγιναν σε Apple M4 Max με 64 GB unified memory, Qwen2.5-14B-Instruct Q4_K_M και nomic-embed-text-v1.5. Το physical splice απαιτεί άμεση αντιγραφή σε τοπικές διευθύνσεις cache, επομένως αφορά UMA-resident εκτέλεση. Cloud APIs που δέχονται μόνο text tokens και discrete-GPU backends επιστρέφουν σε κανονικό text-prefill χωρίς acceleration από splice.

Το Nexus υποστηρίζει επίσης transposed-V layout για μοντέλα με soft-capped attention όπως το Gemma-2, όπου απενεργοποιείται το FlashAttention. Η υλοποίηση ελέγχθηκε ως προς την πιστότητα σε Gemma-2-9B, αλλά αυτή η δοκιμή βρίσκεται εκτός του committed quantitative bundle. Δεν πρέπει λοιπόν να μεταφερθούν οι αριθμοί του Qwen σε διαφορετικά μοντέλα ή υποδομές χωρίς νέα μέτρηση.

Η υλοποίηση περιλαμβάνει coarse-grained locking για deterministic συμπεριφορά σε concurrency, cache-line alignment 128 bytes και pool 32 sequence slots για exact-token prefix reuse. Οι συγγραφείς αναφέρουν passing four-thread determinism test, αλλά δεν ισχυρίζονται throughput gain από το allocator hardening.

Τι σημαίνει για ομάδες που σχεδιάζουν AI workflows

Η πιο άμεσα αξιοποιήσιμη αρχή είναι να μην εκτίθεται κάθε tool schema σε κάθε turn. Το registry πρέπει να οργανωθεί για ανάκτηση: σαφή, διακριτά ονόματα, περιγραφές που εξηγούν πότε χρησιμοποιείται κάθε εργαλείο και ελεγχόμενο δεύτερο στάδιο για αμφίβολες επιλογές. Ένας agent για customer support, για παράδειγμα, δεν χρειάζεται να βλέπει μαζί κάθε action του CRM, του ERP και του e-shop όταν χειρίζεται ένα απλό αίτημα παραγγελίας.

Δεύτερον, πρέπει να ξεχωρίζουν τρία metrics που συχνά συγχέονται: routing accuracy, JSON validity και end-to-end argument accuracy. Ένας agent μπορεί να παράγει άψογο JSON για το λάθος εργαλείο. Για workflows με CRM, ERP ή publishing, η αξιολόγηση πρέπει να καλύπτει ολόκληρη τη διαδρομή από intent μέχρι τελικά πεδία και όχι μόνο τη συντακτική εγκυρότητα. Αυτό είναι ιδιαίτερα σημαντικό σε help desk ροές για e-commerce, όπου λάθος routing μπορεί να επηρεάσει πελάτη ή παραγγελία.

Τρίτον, χρειάζονται fail-closed boundaries. Αν το runtime model, το RoPE configuration ή το cache layout δεν ταιριάζει με το compiled block, η ασφαλής επιλογή είναι να απορριφθεί το splice και να εκτελεστεί prefill. Η ίδια λογική ισχύει σε εξωτερικές ενέργειες: περιορισμένα permissions, approval gates για κρίσιμα writes, idempotency όπου γίνεται και trace για κάθε tool call.

Τέλος, το retrieval μονοπάτι πρέπει να παραμένει ανεξάρτητο από speculative system optimizations. Ακόμη και αν το KV-cache trick δεν εφαρμόζεται στο cloud stack, η ανάκτηση λίγων εργαλείων και η συμπίεση schemas μπορούν να μειώσουν context bloat. Η TWO DOTS εφαρμόζει αυτή τη λογική σε αυτοματισμούς επιχειρήσεων με AI που ξεκινούν από τη διαδικασία, τα δικαιώματα και το fallback αντί από ένα εντυπωσιακό demo.

Πώς να αξιολογήσετε μια παρόμοια λύση

Ένα σωστό pilot ξεκινά με registry αντιπροσωπευτικό του πραγματικού περιβάλλοντος, όχι μόνο με τεχνητά ονόματα. Μετρήστε top-1 και top-k recall, αμφίβολα ζεύγη εργαλείων, cross-turn references και prompts που μοιράζονται παρόμοια verbs. Μετά μετρήστε arguments πάνω στις σωστά routed περιπτώσεις και ξανά end-to-end, ώστε να φαίνεται πού παράγονται τα λάθη.

Για latency, χωρίστε τον χρόνο μέχρι την επιλογή εργαλείου, τον χρόνο μέχρι το πρώτο argument token και τον συνολικό χρόνο μέχρι έγκυρη κλήση. Το Nexus ανέφερε 443,8 ms για το πρώτο argument token έναντι 737,3 ms του full-schema oracle, δηλαδή 1,66× ταχύτερα, με περίπου 80% εξοικονόμηση main-context tokens. Αυτά είναι μετρημένα αποτελέσματα της συγκεκριμένης πλατφόρμας, όχι πρόβλεψη για κάθε deployment.

Η αξιολόγηση πρέπει να περιλαμβάνει failure modes και όχι μόνο μέσους όρους. Το paper χρησιμοποίησε μόλις 30 cases σε ορισμένα end-to-end tests και 15 trials ανά cell στα deep-splice timings. Μια επιχειρηματική απόφαση χρειάζεται δοκιμή με πραγματικά schemas, payloads, latency, permissions και κόστος λανθασμένης ενέργειας. Ο πρακτικός οδηγός για το πώς αυτοματοποιούνται εργασίες με AI βοηθά να συνδεθούν οι τεχνικές μετρήσεις με σαφές process ownership.

Η πραγματική αξία του Nexus

Το Nexus δεν λύνει το scaling των AI agents με ένα μαγικό cache trick. Αναγνωρίζει ότι semantic routing, argument generation και low-level cache acceleration έχουν διαφορετικούς περιορισμούς. Κρατά τα δύο πρώτα πάνω σε retrieval και συμπιεσμένο κείμενο, ενώ χρησιμοποιεί το splicing μόνο εκεί όπου η θέση, η μνήμη και η πιστότητα μπορούν να ελεγχθούν.

Αυτή η διάκριση είναι χρήσιμη πέρα από το συγκεκριμένο prototype. Όσο τα agent ecosystems αποκτούν περισσότερα connectors, η ποιότητα του registry, η συμπίεση του interface και η αξιολόγηση του routing γίνονται μέρος της βασικής αρχιτεκτονικής. Το ζητούμενο δεν είναι να δοθούν στο μοντέλο τα πάντα, αλλά να λάβει εγκαίρως το μικρότερο επαρκές, επαληθεύσιμο interface.

Για μια ομάδα προϊόντος, η ώριμη επιλογή είναι σταδιακή: πρώτα tool taxonomy και retrieval, μετά constrained arguments και end-to-end QA, και μόνο τότε hardware-specific acceleration όπου έχει μετρημένο νόημα. Παραδείγματα από AI agents στην εξυπηρέτηση και στις λειτουργίες δείχνουν γιατί η τεχνολογία αποκτά αξία μόνο όταν συνδέεται με πραγματική διαδικασία, υπεύθυνο και επιχειρησιακό αποτέλεσμα.