AI agents για εταιρικά έγγραφα: δομή στην ανάγνωση, πρόζα στη συγγραφή

Η προδημοσίευση Structure for Reading, Prose for Writing εξετάζει ένα αναπτυγμένο multi-agent σύστημα που συντάσσει απαντήσεις σε δημόσιους διαγωνισμούς με πραγματικές φόρμες, εταιρικές πηγές και ανθρώπινες προσφορές αναφοράς. Το χρήσιμο εύρημα για marketing, e-commerce, πωλήσεις, compliance και customer experience δεν είναι «βάλε XML παντού» ούτε «χρησιμοποίησε περισσότερους agents». Είναι ότι reading, extraction, drafting και approval χρειάζονται διαφορετικές αναπαραστάσεις, διαφορετικά tests και σαφή όρια ευθύνης.

Ένα πραγματικό σύστημα, όχι ένα απομονωμένο prompt

Η μελέτη αφορά σύστημα σύνταξης απαντήσεων σε tender documents, δηλαδή σε έγγραφα όπου ο προμηθευτής πρέπει να επιστρέψει τις απαντήσεις μέσα στις φόρμες του οργανισμού που διενεργεί τον διαγωνισμό. Αυτό δημιουργεί αυστηρές απαιτήσεις: καμία υποχρέωση δεν πρέπει να χαθεί, η αρχική διατύπωση πρέπει να παραμένει αναγνωρίσιμη, οι απαντήσεις πρέπει να τοποθετούνται στα σωστά πεδία και κάθε ισχυρισμός πρέπει να στηρίζεται σε διαθέσιμη εταιρική γνώση.

Το σύστημα χρησιμοποιεί 43 single-shot ρόλους agents και έναν multi-turn drafter. Η ροή χωρίζεται σε έξι στάδια και περιλαμβάνει τρία σημεία ανθρώπινου ελέγχου. Κάθε agent λαμβάνει μόνο το context που χρειάζεται για τη δική του εργασία, ενώ τα ενδιάμεσα σημασιολογικά αποτελέσματα αποθηκεύονται ως επιθεωρήσιμο JSON. Η λογική αυτή δεν βασίζεται στην ιδέα ότι ένας πανίσχυρος model prompt θα λύσει τα πάντα. Βασίζεται στον διαχωρισμό ανάγνωσης, εξαγωγής, σύνταξης και ελέγχου.

Υπάρχει ακόμη ένας σημαντικός περιορισμός: το σύστημα λειτουργεί με open-weights μοντέλο μικρότερο των 200 δισεκατομμυρίων παραμέτρων, σε αυστραλιανή υποδομή, χωρίς thinking tokens ή server-side conversation state. Η επιλογή συνδέεται με απαιτήσεις κυριαρχίας δεδομένων. Αυτό κάνει τη μελέτη πιο σχετική για επιχειρήσεις που δεν μπορούν να στείλουν ευαίσθητα έγγραφα σε οποιοδήποτε εξωτερικό API και πρέπει να πετύχουν αξιοπιστία μέσω αρχιτεκτονικής, όχι μόνο μέσω μεγαλύτερου μοντέλου.

Πώς διαβάζει το σύστημα τις φόρμες χωρίς να χάνει τη θέση τους

Κάθε έγγραφο περνά από document AI parsing και μετατρέπεται σε διατεταγμένη ροή στοιχείων: παράγραφοι, κελιά πινάκων, κελιά spreadsheet και σχήματα slides. Κάθε στοιχείο παίρνει συνθετικό αναγνωριστικό και έναν αναστρέψιμο locator, ώστε η απάντηση να μπορεί αργότερα να επιστρέψει ακριβώς στο σωστό σημείο. Το μοντέλο βλέπει επίσης τη δομή του εγγράφου ως nested markup, επειδή μια επίπεδη λίστα καταστρέφει σχέσεις όπως «αυτή η οδηγία ανήκει σε αυτή την ερώτηση και σε αυτό το answer box».

Οι ερευνητές θέτουν δύο αυστηρούς κανόνες. Οι locators χρησιμεύουν μόνο για διευθυνσιοδότηση και δεν ταξινομούν το περιεχόμενο. Το μοντέλο αποφασίζει από τη δομή τι είναι κάθε στοιχείο και ο locator χρησιμοποιείται μετά, για την εγγραφή. Παράλληλα, το κείμενο της απαίτησης αντιγράφεται από τον κώδικα και δεν ξαναγράφεται από το μοντέλο. Έτσι, ένας επινοημένος locator δεν μπορεί να φτάσει στον file writer και μια παραφρασμένη απαίτηση δεν μπορεί να παρουσιαστεί στον evaluator ως το αυθεντικό αίτημα.

Ακόμη και το μέγεθος των παραθύρων δεν αντιμετωπίζεται ως μία καθολική ρύθμιση. Σε δοκιμή στο ίδιο έγγραφο, παράθυρο 23,5 χιλιάδων χαρακτήρων έχασε σιωπηρά στοιχεία στη μέση και εντόπισε 30 από 32 slots. Παράθυρο 8 χιλιάδων χαρακτήρων επέστρεψε και τα 407 στοιχεία και βρήκε 32 από 32 slots, ενώ ολοκληρώθηκε 5,7 φορές γρηγορότερα χάρη στην παράλληλη εκτέλεση μικρότερων κλήσεων. Αντίθετα, η εξαγωγή ερωτήσεων χρειάζεται ευρύτερο context. Το πρακτικό μάθημα είναι σαφές: το chunk size πρέπει να προσαρμόζεται στην εργασία και όχι να ορίζεται μία φορά για ολόκληρο το pipeline.

Η σύγκριση με ανθρώπινες προσφορές και το όριο της αξιολόγησης

Στον διαγωνισμό T3 υπήρχε ανθρώπινη προσφορά που είχε υποβληθεί πριν δημιουργηθεί το σύστημα. Αυτό επέτρεψε τυφλή σύγκριση, χωρίς το AI να έχει δει worked example από τον συγκεκριμένο tender. Οι ερευνητές ανέκτησαν 55 ζεύγη ερώτησης και απάντησης και ζήτησαν από LLM validator να κρίνει την ουσία, όχι τη λεκτική ομοιότητα.

Το σύστημα κρίθηκε τουλάχιστον εξίσου καλό με την ανθρώπινη απάντηση σε 40 από τις 55 ενότητες, δηλαδή 73%. Σε τέσσερις κρίθηκε καλύτερο, σε 36 εξίσου καλό, σε 15 ασθενέστερο και σε καμία περίπτωση δεν έλειπε εντελώς απάντηση. Σε όλες τις ενότητες εντοπίστηκε συνολικά ένας μη υποστηριζόμενος ισχυρισμός: συμπέρασμα για multi-factor authentication από απόσπασμα που ανέφερε μόνο single sign-on.

Οι αριθμοί είναι εντυπωσιακοί, αλλά δεν αποδεικνύουν ότι «η AI γράφει καλύτερες προσφορές από ανθρώπους». Οι ίδιοι οι συγγραφείς απορρίπτουν αυτή την ερμηνεία. Η αξιολόγηση έγινε από ένα LLM judge της ίδιας οικογένειας με το μοντέλο συγγραφής και δεν υπήρχε τυφλή ανθρώπινη βαθμολόγηση. Η αξία βρίσκεται περισσότερο στο ότι ένα μη frontier μοντέλο, με σωστή αρχιτεκτονική και χωρίς παράδειγμα της συγκεκριμένης προσφοράς, παρήγαγε ανταγωνιστικό υλικό σε μεγάλο μέρος ενός πραγματικού εγγράφου.

Πότε μια αδύναμη απάντηση είναι πρόβλημα γνώσης και όχι γραφής

Η πιο σημαντική ίσως συμβολή της μελέτης είναι ότι δεν αντιμετωπίζει κάθε διαφορά από το ανθρώπινο κείμενο ως αποτυχία generation. Στις 15 δυσμενείς κρίσεις ο evaluator κατέγραψε 70 συγκεκριμένα κενά. Από αυτά, 48 ή 68% αφορούσαν πληροφορίες που δεν υπήρχαν σε καμία πηγή του συστήματος. Άλλα επτά, 10%, ήταν πρόσθετες λεπτομέρειες που δεν απαιτούνταν. Μόνο 15 κενά, 21%, αφορούσαν διαθέσιμη πληροφορία που το σύστημα θα μπορούσε να χρησιμοποιήσει αλλά δεν χρησιμοποίησε.

Όταν αποκλείστηκαν οι δυσμενείς κρίσεις που οφείλονταν αποκλειστικά σε μη διαθέσιμη γνώση ή προαιρετικές λεπτομέρειες, το αποτέλεσμα μετακινήθηκε από 40/55 σε 49/55, δηλαδή από 73% σε 89%. Οι συγγραφείς, όμως, προειδοποιούν ότι ούτε το 73% ούτε το 89% είναι η απόλυτη αλήθεια. Το πρώτο χρεώνει στον writer όσα δεν του δόθηκαν. Το δεύτερο μπορεί να ωραιοποιεί ένα τελικό έγγραφο που παραμένει ελλιπές, ανεξάρτητα από την αιτία.

Για μια επιχείρηση, αυτό αλλάζει και την προτεραιοποίηση επενδύσεων. Αν οι περισσότερες αστοχίες προκύπτουν επειδή το workflow δεν έχει πρόσβαση σε εταιρικές αποφάσεις, μητρώα συνεργατών, παλαιότερη αλληλογραφία ή τεκμηριωμένα capabilities, περισσότερες αλλαγές στο prompt δεν λύνουν το σωστό πρόβλημα. Χρειάζεται καλύτερο evidence capture, σαφής ιδιοκτησία της γνώσης και μια ελεγχόμενη βάση εταιρικής γνώσης με RAG, ώστε οι κρίσιμες πληροφορίες να φτάνουν στο context.

Η ανθρώπινη επεξεργασία δείχνει scaffolding, όχι αυτονομία

Σε δεύτερο procurement, το T4, ένας επαγγελματίας επεξεργάστηκε το προσχέδιο του συστήματος. Εδώ η τελική ανθρώπινη υποβολή δεν μπορούσε να χρησιμοποιηθεί ως ανεξάρτητο ground truth, επειδή είχε ήδη επηρεαστεί από το machine draft. Η ομάδα μέτρησε πόσο από το AI κείμενο επέζησε.

Αφού αφαιρέθηκε το boilerplate της κενής φόρμας, το 20,5% του τελικού ανθρώπινου answer text ήταν κοινό με το κείμενο του συστήματος. Από την αντίστροφη οπτική, μόνο 7,9% του AI answer text παρέμεινε στην τελική υποβολή. Η διατήρηση ήταν άνιση: διάμεσος 1,2%, μέσος όρος 8,7%, καμία απάντηση πάνω από 50% και εννέα από 44 μεταξύ 20% και 50%. Οι απαντήσεις τιμολόγησης είχαν μηδενική διατήρηση, επειδή το σύστημα έβαζε placeholder για ανθρώπινη απόφαση αντί να επινοεί αριθμούς.

Η συνετή ανάγνωση είναι ότι το AI λειτούργησε ως σκαλωσιά. Τεχνικές διατυπώσεις πέρασαν στο τελικό κείμενο, ενώ εμπορική γλώσσα και τιμές ξαναγράφτηκαν. Αυτό μπορεί να είναι επιτυχία για drafting assistant, αλλά δεν τεκμηριώνει autonomous author. Κάθε επιχείρηση πρέπει λοιπόν να ορίζει εκ των προτέρων ποιος είναι ο ρόλος του συστήματος: πρώτη ύλη για ειδικό, συμπλήρωση χαμηλού ρίσκου ή τελικό κείμενο υπό έλεγχο, με audit trail για πηγές, αλλαγές και εγκρίσεις.

Γιατί το markup κέρδισε καθαρά στις εργασίες ανάγνωσης

Στις τρεις εργασίες ανάγνωσης, η δομημένη αναπαράσταση βελτίωσε όλα τα μετρούμενα αποτελέσματα. Στη δρομολόγηση σχολίων και tracked changes προς τις ερωτήσεις που επηρέαζαν, ο αρχικός exact locator join άφηνε 90 από 228 annotations χωρίς αντιστοίχιση. Με semantic routing που έβλεπε το annotation, το γειτονικό περιεχόμενο και ένα μικρό παράθυρο markup, η κάλυψη ανέβηκε από 61% σε 97,8%.

Στα workbook answer slots, τρεις εκτελέσεις στο ίδιο ακριβώς αρχείο επέστρεψαν 404, 280 και 340 slots. Η νέα προσέγγιση διάβαζε μία φορά τη μορφή κάθε tab, την έλεγχε με δεύτερη adversarial κλήση και υπολόγιζε αριθμητικά τα αναμενόμενα κελιά. Το αποτέλεσμα ήταν 310 slots και στις τρεις εκτελέσεις, με εναπομένουσα διαφωνία ενός ή δύο κελιών ανάμεσα στις δύο όψεις.

Στην κατάτμηση παλιών προσφορών σε ζεύγη ερώτησης και απάντησης, το flat text έδινε από μηδέν έως 28 ζεύγη σε διαφορετικές εκτελέσεις. Η διαδρομή μέσω markup έκανε τα όρια των slices ίδια σε έξι εκτελέσεις και ανέβασε το κατώτατο πλήθος ζευγών από τρία σε 47. Το μήνυμα δεν είναι ότι η στοχαστικότητα εξαφανίστηκε. Είναι ότι η ορατή ιεραρχία και η γειτνίαση μετέτρεψαν ασταθείς εργασίες εντοπισμού σε πολύ πιο αναπαραγώγιμες.

Γιατί το ίδιο XML έριξε τη συγγραφική ποιότητα

Οι ερευνητές πήραν ένα αρχείο οδηγιών για συγκεκριμένο tender και δοκίμασαν το ίδιο περιεχόμενο ως πρόζα και ως nested XML. Όλα τα άλλα παρέμειναν σταθερά και κάθε σκέλος είχε 31 απαντήσεις. Με πρόζα, 23 από τις 31 απαντήσεις κρίθηκαν ουσιαστικές, περίπου 74%. Με XML, ο αριθμός έπεσε σε 15 από 31, περίπου 48%. Το μέσο ποσοστό επανάληψης της απαίτησης αυξήθηκε από 17,6% σε 25%, ενώ η πιστή μεταφορά της αρχικής διατύπωσης μειώθηκε από 19/24 σε 13/24.

Η εξήγηση που προτείνει η μελέτη αφορά τη σημασιολογική προβολή. Στο XML, ο requester εμφανιζόταν ως κεντρική οντότητα στην κορυφή της πιο προνομιακής πηγής του prompt. Έγινε έτσι πιο διαθέσιμο γραμματικό υποκείμενο. Οι απαντήσεις που ξεκινούσαν με τον requester ως subject αυξήθηκαν από τέσσερις σε δέκα και συχνότερα αναδιατύπωναν την απαίτηση αντί να απαντούν.

Άρα η δομή δεν είναι ουδέτερο δοχείο. Επιλέγει τι ξεχωρίζει. Για extraction, αυτή η έμφαση είναι χρήσιμη, επειδή βοηθά το μοντέλο να βρει σχέσεις. Για conditioning, μπορεί να σπρώξει τη γραφή προς τις ετικέτες και τις οντότητες του schema. Σε content workflows αυτό σημαίνει ότι τα source documents μπορεί να χρειάζονται markup, αλλά το creative brief, το positioning ή ο τόνος φωνής ίσως λειτουργούν καλύτερα ως καθαρή, προσεκτικά γραμμένη πρόζα.

Το παράδοξο των απαγορεύσεων μέσα στα prompts

Η μελέτη εντόπισε ότι 38 από 39 προβληματικές προτάσεις βρίσκονταν στο πρώτο 15% της απάντησης, με διάμεση θέση την αρχή. Αντί να δώσει στο μοντέλο λίστα απαγορευμένων φράσεων, η ομάδα τού ανέθεσε ένα self-test: γράψε την πρώτη πρόταση, αφαίρεσε ό,τι προέρχεται από την απαίτηση και, αν δεν μένει τίποτα συγκεκριμένο, ξαναγράψε την.

Με αυτό το λειτουργικό τεστ, δύο συνηθισμένες μορφές προβλήματος έπεσαν από 35/144 και 37/144 εμφανίσεις σε 2/44 και 0/44. Όταν αργότερα το prompt κατονόμασε ρητά δύο εναπομένουσες παγίδες και έδωσε παραδείγματα, 25 από τα 26 επιζώντα defects, δηλαδή 96%, συγκεντρώθηκαν ακριβώς στις κατονομασμένες μορφές. Σε άλλη περίπτωση, κανόνας που έλεγε να μη χρησιμοποιείται συγκεκριμένο επίθετο αύξησε τις εμφανίσεις του από 11 σε 18 και έπειτα σε 29.

Η πρακτική αρχή είναι να περιγράφουμε την επιθυμητή δοκιμή ή συμπεριφορά, όχι να γεμίζουμε το context με τα tokens της αποτυχίας. Ένα wrapper που χαρακτήριζε υλικό ως παράδειγμα σχήματος προς μίμηση, χωρίς να κατονομάζει απαγόρευση, μείωσε την κατά λέξη αντιγραφή από 13 σε μηδέν. Αυτό δεν σημαίνει ότι κάθε αρνητική οδηγία είναι αναγκαστικά επιζήμια· δείχνει όμως ότι η επανάληψη του ανεπιθύμητου μοτίβου μπορεί να το κάνει πιο διαθέσιμο στο μοντέλο.

Όταν δύο μικρές διαφορές αλλάζουν 17 ερωτήσεις

Ένα από τα πιο χρήσιμα τεχνικά ευρήματα αφορά την ενίσχυση διακύμανσης. Σε δύο εκτελέσεις πάνω σε byte-identical αρχείο 349 στοιχείων, το σύστημα βρήκε 54 και 56 answer slots. Αυτή η μικρή διαφορά πρόσθεσε attributes διαφορετικού μήκους στη ροή markup. Επειδή τα επόμενα παράθυρα υπολογίζονταν με βάση τους χαρακτήρες της ήδη σημειωμένης ροής, τα boundaries μετακινήθηκαν κατά τρία στοιχεία. Το τελικό πλήθος extracted questions άλλαξε από 68 σε 51.

Δεν υπήρξε ψευδής ισχυρισμός που πέρασε από agent σε agent. Μια στοχαστική annotation τροφοδότησε μια ντετερμινιστική συνάρτηση windowing και άλλαξε το input που είδε το επόμενο βήμα. Γι’ αυτό οι κλασικοί έλεγχοι hallucination δεν αρκούν. Η προτεινόμενη διόρθωση είναι να δημιουργούνται τα παράθυρα πάνω στην αμετάβλητη, μη σημειωμένη ροή και να εφαρμόζονται οι annotations μετά.

Για ένα e-commerce ή marketing pipeline, το αντίστοιχο ρίσκο εμφανίζεται όταν το output ενός classifier μεταβάλλει το μήκος, τη σειρά ή την pagination του υλικού που θα δει ο writer. Μια μικρή διαφορά στο tagging μπορεί να αλλάξει ολόκληρο το επόμενο context. Χρειάζεται logging των boundaries, σταθερή βάση για chunking και ένα enterprise AI harness με regression tests σε ακριβώς ίδια αρχεία.

Context compaction: μεγάλη οικονομία με κρυφό κόστος

Στο σύστημα, κάθε ενότητα γίνεται ξεχωριστή chat session και οι σχετικές ερωτήσεις γράφονται σειριακά ώστε να διατηρούν κοινή ορολογία και αριθμούς. Κάθε απάντηση περνά από τέσσερις γύρους: self-ask plan, draft, compliance check απέναντι στις κατά λέξη απαιτήσεις και quality pass που μπορεί να προσθέσει, να αναδιατυπώσει ή να σημάνει θέμα, αλλά όχι να διαγράψει.

Επειδή το μοντέλο είναι stateless, ολόκληρο το message array στέλνεται σε κάθε κλήση. Σε μία session έξι ερωτήσεων, η τελευταία κλήση έφτασε τους 355.024 χαρακτήρες και το 73% αφορούσε σχέδια και ελέγχους άλλων ερωτήσεων. Η συμπύκνωση κάθε ολοκληρωμένης ερώτησης σε «ερώτηση και δεσμευμένη απάντηση» μείωσε το συνολικό υλικό έντεκα sessions από 10,2 εκατομμύρια σε 2,1 εκατομμύρια χαρακτήρες, πτώση 79%.

Το κόστος ήταν ότι πληροφορίες δεμένες με μια προηγούμενη ερώτηση εξαφανίζονταν. Σε 22 sessions δεν είχε απομείνει κανένα turn με το exemplar ή το capability-facts block. Μόνο το reference block επιβίωσε, επειδή επαναπροσαρτούνταν ρητά. Η συμπύκνωση λοιπόν δεν είναι απλή οικονομία tokens. Είναι πολιτική μνήμης. Ό,τι πρέπει να επηρεάζει κάθε επόμενη απάντηση χρειάζεται να βρίσκεται σε κανάλι που η compaction εγγυάται ότι θα διατηρήσει· η μνήμη των AI agents είναι πολιτική πρόσβασης και διατήρησης, όχι απλή χωρητικότητα.

Τι πρέπει να αλλάξει σε ένα επιχειρησιακό document AI workflow

Η πρακτική εφαρμογή είναι ένας ελεγχόμενος διαχωρισμός ανάμεσα σε parsing, evidence, drafting και approval. Το παρακάτω blueprint μεταφράζει τα ευρήματα σε pilot για πραγματικά εταιρικά έγγραφα, χωρίς να ισχυρίζεται ότι αναπαράγει τα ποσοστά της μελέτης.

Οι περιορισμοί που δεν πρέπει να κρυφτούν πίσω από τα ποσοστά

Η τυφλή σύγκριση αφορά έναν μόνο διαγωνισμό και έναν validator της ίδιας οικογένειας μοντέλων με τον author. Δεν υπήρχε blinded human scoring και οι ερευνητές αναγνωρίζουν ότι ο lexical έλεγχός τους δεν διόρθωσε το πιθανό self-preference bias. Η ταξινόμηση των gaps έγινε επίσης από την ίδια οικογένεια μοντέλων, άρα έχει κυκλικότητα.

Η μέτρηση post-editing αφορά έναν editor και έναν procurement και δείχνει διατήρηση κειμένου, όχι εξοικονόμηση χρόνου. Το πείραμα prose έναντι XML είχε 31 απαντήσεις ανά σκέλος σε ένα tender και δεν έχει αναπαραχθεί. Οι ίδιοι οι συγγραφείς χαρακτηρίζουν τη διαφορά 26 ποσοστιαίων μονάδων ενδεικτική και όχι οριστική. Επιπλέον, σε αρκετές συγκρίσεις άλλαζαν περισσότεροι από ένας παράγοντες.

Αυτοί οι περιορισμοί δεν ακυρώνουν τα ευρήματα. Ορίζουν πώς πρέπει να χρησιμοποιηθούν: ως ισχυρές υποθέσεις για A/B tests σε δικά μας έγγραφα, όχι ως καθολικοί νόμοι. Μια επιχείρηση που εφαρμόζει τη λογική οφείλει να δημιουργήσει δικό της evaluation set, να συμπεριλάβει ανθρώπους του domain και να μετρά τόσο τη factual κάλυψη όσο και τον χρόνο τελικής επιμέλειας.

Το ουσιαστικό συμπέρασμα για ομάδες marketing και e-commerce

Η μελέτη δείχνει ότι η αξιοπιστία δεν προκύπτει από ένα ενιαίο «έξυπνο» prompt. Προκύπτει όταν το σύστημα γνωρίζει τι πρέπει να διαβάσει δομημένα, τι πρέπει να κρατήσει κατά λέξη, τι πρέπει να γράψει σε φυσική γλώσσα και πού χρειάζεται ανθρώπινη απόφαση. Αυτή η λογική ισχύει πέρα από tenders: product catalogs, policy pages, campaign briefs, customer-support knowledge, marketplace listings και μεγάλα SEO workflows έχουν την ίδια ένταση ανάμεσα στην ακριβή εξαγωγή και στη φυσική σύνθεση.

Το πιο ώριμο business case δεν είναι «αντικαθιστούμε τον άνθρωπο συγγραφέα». Είναι «χτίζουμε ελεγχόμενη σκαλωσιά που μειώνει το κενό ανάμεσα σε διάσπαρτη γνώση και σε ένα πλήρες πρώτο draft». Η δομή ανήκει στην ανάγνωση. Η πρόζα, οι σαφείς στόχοι και τα self-tests ανήκουν στη συγγραφή. Και ανάμεσά τους χρειάζεται καταγεγραμμένη προέλευση, σταθερό windowing και ανθρώπινος έλεγχος στα σημεία όπου το σύστημα δεν πρέπει να αποφασίζει μόνο του.