Semantic Compression Trees: λιγότερο context για το RAG, αλλά όχι χωρίς συμβιβασμούς

Γιατί το κλασικό chunking χάνει τη δομή του εγγράφου

Το συνηθισμένο RAG κόβει κάθε πηγή σε παράθυρα σταθερού μήκους, δημιουργεί embeddings και επιστρέφει τα passages με τη μεγαλύτερη ομοιότητα προς το ερώτημα. Η μέθοδος είναι απλή και λειτουργεί σε ετερογενή αρχεία, αλλά αντιμετωπίζει ένα κεφάλαιο, μια εξαίρεση πολιτικής και μια τεχνική προδιαγραφή σαν ισοδύναμες μονάδες. Η φυσική ιεραρχία του εγγράφου – τίτλος, ενότητα, υποενότητα και παράγραφος – χάνεται πριν αρχίσει η ανάκτηση.

Αυτό δημιουργεί δύο διαφορετικά κόστη. Το πρώτο είναι ο πλεονασμός: γενικές πληροφορίες επαναλαμβάνονται σε πολλά chunks και καταλαμβάνουν χώρο στο prompt. Το δεύτερο είναι η αστοχία granularity: μια γενική ερώτηση μπορεί να χρειάζεται σύντομη επισκόπηση, ενώ μια ερώτηση για ημερομηνία, όριο ή εξαίρεση χρειάζεται ακριβές passage. Η ποιότητα της AI μνήμης εξαρτάται από το τι έγινε ανακτήσιμο, όχι μόνο από το πόσο μεγάλο context επιτρέπεται να καταναλώσει το μοντέλο.

Η σημασιολογική ομοιότητα επίσης δεν ταυτίζεται με τη χρησιμότητα για απάντηση. Ένα chunk μπορεί να χρησιμοποιεί τις ίδιες λέξεις με το query και να μην περιέχει το κρίσιμο τεκμήριο. Σε customer support αυτό παράγει απάντηση που ακούγεται σχετική αλλά παραλείπει εξαίρεση επιστροφής. Σε product catalog μπορεί να συνδυάσει σωστή κατηγορία με λάθος προδιαγραφή. Η βελτιστοποίηση, επομένως, πρέπει να ακολουθεί την απάντηση και την τεκμηρίωσή της, όχι μόνο το similarity score.

Τι είναι τα semantic residuals

Στο Semantic Compression Tree, η ρίζα αποθηκεύει την πιο συμπιεσμένη εικόνα ολόκληρης της πηγής. Κάθε παιδί δεν επαναλαμβάνει μια πλήρη περίληψη της ενότητάς του. Αποθηκεύει το semantic residual: την πληροφορία που προσθέτει σε σχέση με τη σύνοψη του γονέα. Καθώς το σύστημα κατεβαίνει, ενώνει τα residuals της διαδρομής και δημιουργεί context αυξανόμενης λεπτομέρειας.

Η εργασία χρησιμοποιεί ως αναλογία τα wavelets, όπου ένα βασικό επίπεδο συνοδεύεται από λεπτομέρειες διαφορετικής κλίμακας. Η αναλογία έχει όριο: τα wavelets μπορούν να είναι αντιστρέψιμα, ενώ η semantic subtraction είναι προσεγγιστική και lossy. Μια extractive μέθοδος μπορεί να κρατήσει πρόταση που επαναλαμβάνει εν μέρει τον γονέα· μια LLM περίληψη μπορεί να αφαιρέσει νέα αλλά χαμηλής προβολής λεπτομέρεια. Η απώλεια δεν είναι θεωρητική· εμφανίζεται στις μετρικές evidence recall.

Για μια εταιρική πολιτική επιστροφών, ο γονικός κόμβος θα μπορούσε να κρατά τον γενικό κανόνα και τα παιδιά μόνο τις εξαιρέσεις ανά αγορά, κατηγορία ή κανάλι αγοράς. Για ένα τεχνικό manual, το ανώτερο επίπεδο θα μπορούσε να περιγράφει το προϊόν και οι χαμηλότεροι κόμβοι συγκεκριμένες διαδικασίες ή όρια. Η αξία προκύπτει μόνο αν κάθε residual παραμένει συνδεδεμένο με το πρωτότυπο node, ώστε το σύστημα να μπορεί να επιστρέψει στην ακριβή πηγή.

Πώς κατασκευάζεται και αναζητείται ένα SCT

Η κατασκευή αρχίζει από parser που μετατρέπει την πηγή σε ιεραρχία. Τα Markdown και τα δομημένα έγγραφα ακολουθούν τις επικεφαλίδες. Στα PDFs, η προτεινόμενη υλοποίηση χρησιμοποιεί διαφορές μεγέθους γραμματοσειράς για να εκτιμήσει τα επίπεδα. Στις SQL βάσεις, η διαδρομή μπορεί να είναι database, tables, columns και row samples. Στο απλό κείμενο, τα όρια θεμάτων εκτιμώνται από τις παραγράφους.

Ο compressor δημιουργεί μία περίληψη για τον γονέα και, για κάθε παιδί, το residual ως προς αυτή. Οι συγγραφείς δοκιμάζουν έναν LLM compressor και μια zero-LLM extractive εκδοχή. Η δεύτερη βαθμολογεί πόσοι μοναδικοί όροι μιας πρότασης δεν εμφανίζονται στην περίληψη του γονέα και κρατά τις αρκετά νέες προτάσεις. Έτσι αποφεύγει LLM calls κατά την κατασκευή του index, χωρίς αυτό να σημαίνει ότι η συνολική RAG απάντηση λειτουργεί χωρίς μοντέλο.

Στην ανάκτηση, η progressive descent ξεκινά από τη ρίζα, βαθμολογεί τα παιδιά με cosine similarity, κρατά frontier με beam width τρία και επαναλαμβάνει έως depth bound πέντε. Τα residuals της επιλεγμένης διαδρομής ενώνονται στο context. Σε corpus πολλών εγγράφων, κάθε paper γίνεται παιδί μιας εικονικής ρίζας, άρα η πρώτη απόφαση είναι document selection. Εκεί ακριβώς εμφανίζεται το βασικό μειονέκτημα της αρχιτεκτονικής.

Δύο πρωτόκολλα που μετρούν διαφορετικά πράγματα

Η μελέτη αξιολογεί τα πρώτα 50 papers του test split του QASPER. Το πλήρες dataset περιλαμβάνει 1.585 NLP papers και 5.049 ερωτήσεις, αλλά το συγκεκριμένο πείραμα χρησιμοποιεί 173 απαντήσιμες ερωτήσεις: 101 extractive, 46 free-form και 26 yes/no. Gold evidence υπάρχει για 170. Έξι ερωτήσεις με σήμανση unanswerable εξαιρέθηκαν πριν από το δείγμα, ενώ ένα ακόμη ζεύγος δεν ήταν κοινά scoreable από όλα τα συστήματα στο answer table του βασικού πρωτοκόλλου, γι’ αυτό εκεί αναφέρεται n=172.

Στο P1, το benchmark δίνει στο retriever το σωστό paper. Το σύστημα ψάχνει μόνο μέσα σε αυτό, οπότε το αποτέλεσμα απομονώνει κυρίως την ποιότητα του index και του passage retrieval. Στο P2, όλα τα 50 papers ενώνονται και το document identifier αποκρύπτεται. Το σύστημα πρέπει να εντοπίσει τόσο το σωστό έγγραφο όσο και το σωστό passage. Αυτό είναι πιο κοντά σε ένα εταιρικό knowledge base, όπου ο χρήστης δεν δηλώνει αν η απάντηση βρίσκεται σε policy, manual, CRM note ή report.

Όλα τα flat συστήματα χρησιμοποιούν παράθυρα 512 tokens με overlap 64 και επιστρέφουν τα κορυφαία πέντε units. Τα baselines είναι BM25, dense VectorRAG και RAPTOR, μαζί με top-1 VectorRAG ως χαμηλότερο token-budget σημείο σύγκρισης. Η απάντηση παράγεται από μοντέλο που λαμβάνει μόνο το ανακτημένο context και την ερώτηση. Το gold answer και το gold evidence παραμένουν εκτός retrieval path και χρησιμοποιούνται μετά, για scoring.

Όταν το σωστό έγγραφο είναι γνωστό

Στο P1, το SCT-Extractive έφτασε Answer F1 0,274 με 95% confidence interval 0,244–0,306. Το VectorRAG top-5 πέτυχε 0,277 με διάστημα 0,248–0,306. Η paired bootstrap σύγκριση έδωσε p=0,366, επομένως η εργασία τα αντιμετωπίζει ως ισοπαλία. Η διαφορά ήταν στο context: 2.178 tokens για το SCT έναντι 3.120, δηλαδή περίπου 30% λιγότερα, χωρίς LLM calls για την κατασκευή του extractive index.

Το top-1 VectorRAG έστειλε μόνο 646 tokens, αλλά έπεσε σε F1 0,232. Αυτό αποτρέπει ένα βιαστικό συμπέρασμα ότι «λιγότερα tokens είναι πάντα καλύτερα». Το SCT δεν κέρδισε επειδή έκοψε αυθαίρετα το prompt· κράτησε ένα ενδιάμεσο budget που περιείχε περισσότερο χρήσιμο evidence από ένα μόνο dense chunk.

Η LLM συμπίεση δεν ήταν η ισχυρότερη επιλογή στο P1. Το SCT-LLM πέτυχε F1 0,233 με 802 context tokens. Η αυτούσια evidence recall κατέρρευσε στο 0,009, ενώ η evidence token recall ήταν 0,590. Αντίθετα, η extractive εκδοχή έφτασε 0,720 και 0,895 αντίστοιχα. Η LLM περίληψη βρέθηκε περίπου στη σωστή περιοχή, αλλά άλλαξε τόσο τη διατύπωση ώστε τα πρωτότυπα supporting paragraphs σχεδόν εξαφανίστηκαν.

Γιατί αποτυγχάνει η πρώτη απόφαση routing

Στο P2, όπου το σωστό document δεν δίνεται, το SCT-Extractive έπεσε σε Answer F1 0,122, ενώ το VectorRAG έφτασε 0,165, με p<0,001. Η διαφορά εντοπίζεται πριν από την ανάκτηση passage. Η progressive descent επέλεξε το σωστό paper στο 20,2% των ερωτήσεων, έναντι 39,3% για το flat dense retrieval. Με απλά λόγια, το σύστημα έμπαινε πολύ συχνά στο λάθος έγγραφο και δεν είχε μηχανισμό επιστροφής.

Ο λόγος είναι δομικός. Η επιλογή εγγράφου γίνεται συγκρίνοντας το query με το root residual κάθε paper, μια περίληψη μίας ή δύο προτάσεων. Αν η ερώτηση ζητά optimizer, συγκεκριμένο ablation ή εξαίρεση που δεν χωρά στη ρίζα, δεν υπάρχει επαρκές σημείο αντιστοίχισης. Το flat retrieval συγκρίνει το query με κάθε passage, άρα πληρώνει περισσότερο scoring αλλά δεν προ-αποκλείει τη λεπτομέρεια πριν τη δει.

Το ζήτημα συγγενεύει με το field-aware routing: ο SchemaRouter διαχωρίζει το plan από το downstream context, επειδή μια σύντομη σημασιολογική περιγραφή δεν εγγυάται ότι έχουν επιλεγεί τα σωστά εργαλεία και πεδία. Παρόμοια, το SCT χρειάζεται global route που να προστατεύει recall πριν εφαρμόσει την οικονομία του δέντρου. Η μελέτη προτείνει hybrid κατεύθυνση – flat επιλογή passage ή document και ιεραρχική ρύθμιση ανάλυσης μετά – αλλά δεν την αξιολογεί.

Τα residuals κερδίζουν, το tree retrieval όχι

Οι ablations χωρίζουν δύο ιδέες που εύκολα συγχέονται. Το SCT-FullSummary κρατά το ίδιο tree αλλά αντικαθιστά τα residuals με πλήρεις περιλήψεις. Στο P1, το F1 έπεσε από 0,274 σε 0,205, σχετική διαφορά 34%, με paired p<0,001. Η evidence token recall έπεσε από 0,895 σε 0,584. Το αποτέλεσμα στηρίζει την residual αναπαράσταση, με μια σημαντική επιφύλαξη: οι πλήρεις περιλήψεις έδωσαν μόνο 437 context tokens, άρα η σύγκριση δεν έχει ίσο budget.

Το SCT-Flat κάνει το αντίθετο πείραμα: κρατά ακριβώς τα ίδια residuals αλλά πετά το tree κατά την ανάκτηση και τα βαθμολογεί με flat cosine similarity. Στο P1 έφτασε F1 0,272. Η άμεση paired διαφορά tree έναντι flat ήταν +0,0017, με p=0,420 και confidence interval που περιλαμβάνει καθαρά το μηδέν. Όταν το document ήταν ήδη γνωστό, η ιεραρχική κάθοδος δεν πρόσθεσε μετρήσιμη ποιότητα.

Στο corpus protocol, η ίδια ελεγχόμενη σύγκριση ήταν αρνητική για το tree: 0,122 έναντι 0,147 του SCT-Flat, με διαφορά -0,0255 και p=0,009. Η ιεραρχία παραμένει απαραίτητη στο construction, επειδή ένα residual ορίζεται ως προς γονέα. Αυτό που απορρίπτεται από τα συγκεκριμένα πειράματα είναι η αυστηρή top-down χρήση της ίδιας ιεραρχίας ως retrieval policy.

Κόστος, context και μετρικές που δεν πρέπει να συγχέονται

Καθώς το index μεγάλωσε από ένα σε 50 documents, το VectorRAG βαθμολόγησε 8 και έπειτα 386 nodes ανά query, αύξηση 48,9 φορές. Το SCT-Extractive πέρασε από 13 σε 81 nodes, αύξηση 6,4 φορές. Πρόκειται για καθαρή ένδειξη ότι η progressive descent περιορίζει την εργασία scoring. Δεν αποδεικνύει όμως σταθερό κόστος ανεξάρτητο από το corpus: στο P2 υπάρχει ακόμη root scan πάνω στα documents, το οποίο η μελέτη θεωρεί υποψήφιο για approximate indexing.

Οι συγγραφείς αποφεύγουν να παρουσιάσουν τα milliseconds ως δίκαιη σύγκριση. Το SCT βαθμολογεί residual embeddings σε καθαρή Python, ενώ τα flat baselines χρησιμοποιούν vectorized dot product. Η αναφερόμενη διαφορά latency μετρά τις συγκεκριμένες υλοποιήσεις, όχι την αρχιτεκτονική. Ένα production pilot πρέπει να μετρήσει end-to-end latency, query embedding, network round trips, reranking, generation και cache behavior στο δικό του stack.

Η αύξηση του depth bound από ένα σε πέντε επίπεδα ανέβασε το F1 μόνο από περίπου 0,272 σε 0,274, ενώ το context αυξήθηκε από 1.744 σε 2.178 tokens. Από τα 50 papers, τα 28 δεν είχαν πραγματικές υποενότητες. Περισσότερο θεωρητικό βάθος δεν βοηθά όταν η πηγή δεν διαθέτει αντίστοιχη δομή. Η early-stop εκδοχή με similarity floor 0,30 έδωσε F1 0,273 και 2.098 tokens: σχεδόν δωρεάν, αλλά μικρή εξοικονόμηση στο συγκεκριμένο threshold.

Τα όρια πριν από ένα production deployment

Το benchmark είναι περιορισμένο σε 50 επιστημονικά papers και 173 απαντήσιμες ερωτήσεις ενός dataset. Τα NLP papers έχουν καθαρές ενότητες και είναι ευνοϊκότερη περίπτωση από σαρωμένα PDFs, transcripts, email threads ή chat logs. Ακόμη και σε αυτό το corpus, πάνω από τα μισά έγγραφα δεν είχαν υποενότητες. Η απόδοση σε standards, νομικούς κώδικες, manuals, books ή ακριβή database schemas παραμένει εμπειρικό ερώτημα.

Τα judge-based scores προέρχονται από μία οικογένεια μοντέλου, η οποία χρησιμοποιήθηκε και για answer generation, άρα υπάρχει κίνδυνος self-preference. Ο judge έδωσε correctness 0,780 στο VectorRAG και 0,688 στο SCT-Extractive, ενώ το token-level Answer F1 τα τοποθέτησε πολύ κοντά. Η faithfulness ήταν 0,974 έως 0,997 και δεν διέκρινε τα συστήματα. Για εφαρμογές όπου η ακριβής διατύπωση έχει νομικό, τεχνικό ή εμπορικό βάρος, η verbatim και token evidence recall είναι πιο αποκαλυπτική από ένα υψηλό συνολικό faithfulness score.

Υπάρχουν ακόμη ερωτήματα για multi-hop queries. Ένα αίτημα πελάτη μπορεί να συνδυάζει τιμή, διαθεσιμότητα, χρόνο αποστολής και δικαίωμα επιστροφής από διαφορετικά branches ή συστήματα. Μία διαδρομή δεν είναι αυτονόητα το σωστό σχήμα. Χρειάζονται multi-branch retrieval, provenance ανά claim και μηχανισμός αποχής όταν λείπει evidence. Η ασφαλής αποχή ενός AI συστήματος πρέπει να βασίζεται στο σημείο αποτυχίας – route, retrieval, compression ή generation – και όχι μόνο σε confidence του τελικού κειμένου.

Τι σημαίνει για knowledge bases, e-commerce και support

Σε ένα e-commerce, οι πηγές μπορεί να περιλαμβάνουν catalog, manuals, size guides, πολιτικές αποστολής, returns, tickets και εσωτερικά playbooks. Τα semantic residuals μπορούν να μειώσουν την επανάληψη γενικών κανόνων και να διατηρήσουν εξαιρέσεις στα χαμηλότερα επίπεδα. Δεν πρέπει όμως το πρώτο route να βασίζεται σε μία υπερσυμπιεσμένη περιγραφή κάθε πηγής. Το candidate set πρέπει να παραμένει αρκετά ευρύ ώστε να μη χάνεται η πολιτική ή η προδιαγραφή που αλλάζει την απάντηση.

Στο customer support, η σωστή μονάδα επιτυχίας δεν είναι «tokens που γλιτώθηκαν», αλλά επιλυμένο αίτημα με ελέγξιμη πηγή. Μετρήστε document routing accuracy, recall κρίσιμων εξαιρέσεων, correctness, citation coverage, escalation rate, latency και κόστος ανά επιτυχημένη απάντηση. Ένα μικρό prompt που αυξάνει τις ανθρώπινες διορθώσεις μπορεί να κοστίζει περισσότερο συνολικά.

Για εταιρικά έγγραφα, διατηρήστε pointers προς το πρωτότυπο node και metadata για έκδοση, owner, ημερομηνία ισχύος και access policy. Οι AI agents για εταιρικά έγγραφα χρειάζονται δομημένη ανάγνωση, αλλά η δομή δεν αντικαθιστά authorization ή human approval. Αν το corpus περιέχει εξωτερικό περιεχόμενο, η επιλογή μικρότερου context επίσης δεν καταργεί prompt injection ή χαμηλή αξιοπιστία πηγής.

Η αρχιτεκτονική πρέπει να παραμένει modular. Ένας global retriever ή router επιλέγει υποψήφια documents και passages, ένα residual index ρυθμίζει τη λεπτομέρεια μέσα στις σωστές πηγές, και ο generator λαμβάνει evidence με provenance. Παρόμοια, ο tool routing για AI agents λειτουργεί καλύτερα όταν η επιλογή υποψηφίων, η επικύρωση schema και η εκτέλεση είναι διακριτά στάδια με logs και fallback.

Ένα pilot επτά βημάτων χωρίς vanity metrics

Ένα χρήσιμο pilot ξεκινά από μία περιορισμένη συλλογή και μία απόφαση με γνωστό κόστος λάθους. Δεν χρειάζεται να μετατραπεί ολόκληρο το knowledge estate σε δέντρο. Επιλέξτε ένα read-only use case όπου υπάρχουν ερωτήσεις, σωστές πηγές και δυνατότητα ασφαλούς human escalation.

The Αυτοματισμοί Επιχειρήσεων & AI της TWO DOTS ξεκινούν από τη διαδικασία, τα δεδομένα, τους owners και τα σημεία ελέγχου. Σε ένα SCT-style pilot, η αξία δεν είναι να προστεθεί ένα εντυπωσιακό tree, αλλά να αποδειχθεί ότι το context μειώνεται χωρίς να θυσιάζονται routing recall, provenance ή ασφαλής κλιμάκωση.

Η ώριμη απόφαση: συμπίεση μετά το σωστό route

Η πιο ισχυρή συμβολή της εργασίας είναι ότι αποσυνδέει την αναπαράσταση από την πλοήγηση. Τα semantic residuals διατήρησαν ανταγωνιστική ποιότητα με μικρότερο context και νίκησαν τις πλήρεις περιλήψεις στο συγκεκριμένο ablation. Η progressive descent, αντίθετα, δεν πρόσθεσε ποιότητα όταν το paper ήταν γνωστό και έχασε καθαρά όταν έπρεπε να το βρει.

Για μια επιχείρηση, αυτό οδηγεί σε αρχιτεκτονική «select, verify, then compress». Πρώτα εντοπίζονται αρκετές υποψήφιες πηγές με υψηλό recall. Έπειτα ελέγχονται έκδοση, δικαιώματα, provenance και απαιτούμενα evidence. Μόνο τότε εφαρμόζεται multi-resolution context για να περιοριστεί το prompt χωρίς να κρυφτεί η κρίσιμη λεπτομέρεια.

Τα Semantic Compression Trees δεν είναι drop-in αντικατάσταση του vector search ούτε εγγύηση χαμηλότερου end-to-end latency. Είναι ένα χρήσιμο ερευνητικό αποτέλεσμα για το πού βρίσκεται ο πλεονασμός και πότε η οικονομία retrieval γίνεται απώλεια πληροφορίας. Η ώριμη υιοθέτηση κρατά το residual representation, δοκιμάζει hybrid routing και απαιτεί πρωτογενές evidence πριν η απάντηση φτάσει σε πελάτη, εργαζόμενο ή αυτοματοποιημένη απόφαση.