With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Το SearchAuditor δείχνει γιατί οι AI search agents μπορεί να έχουν ήδη βρει τη σωστή απάντηση και παρ’ όλα αυτά να αποτυγχάνουν στη διαχείριση evidence, constraints και πηγών.
Το SearchAuditor δείχνει ότι οι AI search agents αποτυγχάνουν συχνά όχι επειδή δεν βρήκαν την απάντηση, αλλά επειδή κακοδιαχειρίστηκαν το evidence που είχαν ήδη ανακτήσει. Στο SearchAuditBench, μόνο το 22,8% των επιλεγμένων failures ήταν Search Coverage Gap, ενώ στο 25% η σωστή απάντηση υπήρχε αυτούσια στο retrieved content. Η πρακτική απάντηση δεν είναι απλώς περισσότερο search: χρειάζονται constraints, candidate tracking, έλεγχος πηγών και ανεξάρτητος audit pass πάνω στο trajectory.
Ένας AI search agent μπορεί να εκτελέσει δεκάδες αναζητήσεις, να ανοίξει τις σωστές σελίδες και ακόμη και να έχει την ορθή απάντηση μπροστά του — και παρ’ όλα αυτά να καταλήξει σε ένα πειστικό αλλά λανθασμένο συμπέρασμα. Αυτό είναι το βασικό πρόβλημα που εξετάζει η εργασία SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents. Για όσους χρησιμοποιούν AI σε marketing, e-commerce, έρευνα αγοράς ή παραγωγή περιεχομένου, το συμπέρασμα είναι ουσιαστικό: περισσότερη αναζήτηση δεν ισοδυναμεί αυτομάτως με μεγαλύτερη αξιοπιστία.
Οι ερευνητές δημιούργησαν το SearchAuditBench, ένα benchmark 1.243 αποτυχημένων trajectories από οκτώ open-weight μοντέλα και πέντε benchmarks βαθιάς αναζήτησης. Κάθε trajectory επισημάνθηκε από ειδικούς με το κρίσιμο βήμα στο οποίο εγκαθιδρύθηκε το λάθος, τη βασική αιτία και μια οδηγία επισκευής. Παράλληλα, πρότειναν το SearchAuditor, ένα πλαίσιο πολλαπλών οπτικών που επιχειρεί να εντοπίσει το λάθος, να αποδώσει σωστά την αιτία και να προτείνει συγκεκριμένη διόρθωση. Η αξία της εργασίας δεν περιορίζεται σε ένα ακόμη τεχνικό benchmark. Προσφέρει μια χρήσιμη ανατομία του τρόπου με τον οποίο σπάνε οι μακρόχρονες διαδικασίες AI search.
Ένας long-horizon search agent δεν απαντά με μία μόνο κίνηση. Διαμορφώνει queries, επισκέπτεται σελίδες, συλλέγει παρατηρήσεις, συγκρίνει υποψήφιες απαντήσεις και ενημερώνει σταδιακά τη συλλογιστική του. Η διαδικασία μπορεί να είναι μεγάλη και θορυβώδης. Στο SearchAuditBench, η μέση αποτυχημένη διαδρομή περιλαμβάνει 73,1 μηνύματα και 65.100 tokens. Από αυτά, κατά μέσο όρο 49.100 tokens προέρχονται από επιστροφές εργαλείων και 15.300 από καταγεγραμμένη συλλογιστική.
Το κρίσιμο λάθος μπορεί επομένως να είναι θαμμένο ανάμεσα σε τεράστιες ποσότητες κειμένου. Ένα μοντέλο μπορεί να εμπιστευτεί ένα snippet χωρίς να ανοίξει την αρχική πηγή, να συνδέσει μια σωστή πληροφορία με λάθος οντότητα ή να κρατήσει έναν υποψήφιο που παραβιάζει έναν ρητό περιορισμό. Το σύστημα συνήθως δεν σταματά ούτε εμφανίζει τεχνικό σφάλμα. Συνεχίζει κανονικά και μετατρέπει την αρχική αστοχία σε μια καλοδιατυπωμένη τελική απάντηση.
Για μια επιχείρηση αυτή η «σιωπηλή αποτυχία» είναι πιο επικίνδυνη από ένα εμφανές error. Αν ένας agent αποτύχει να φορτώσει μια σελίδα, ο χρήστης ξέρει ότι χρειάζεται παρέμβαση. Αν όμως παραδώσει μια πλήρη αναφορά με λάθος προϊόν, λάθος ανταγωνιστή ή ανεπαρκώς επιβεβαιωμένη πηγή, η αστοχία μπορεί να περάσει στη λήψη αποφάσεων.
Για να αποδίδεται το λάθος σε συγκεκριμένη απόφαση και όχι απλώς στο τελικό output, χρειάζεται traceability. Η ανάλυση για το ποιος ευθύνεται όταν μια αυτοματοποίηση AI αποτυγχάνει δείχνει γιατί agent, εργαλείο, δεδομένα και approval point πρέπει να αφήνουν διακριτό audit trail.
Το benchmark αξιολογεί τρεις διαφορετικές ικανότητες. Πρώτον, την τοπικοποίηση του κρίσιμου βήματος: ποια ήταν η πρώτη απόφαση που εγκαθίδρυσε τον μηχανισμό αποτυχίας; Δεύτερον, την ταξινόμηση της βασικής αιτίας σε μία από έξι κατηγορίες. Τρίτον, την παραγωγή μιας επισκευής που αλλάζει τη διαδικασία από εκείνο το σημείο και μετά. Η επισκευή δεν βαθμολογείται απλώς επειδή ακούγεται λογική. Ελέγχεται έναντι τριών έως πέντε επιμέρους κριτηρίων που έχουν γραφτεί από τους annotators για τη συγκεκριμένη περίπτωση.
Η διάκριση είναι σημαντική. Το να γνωρίζεις ότι η τελική απάντηση είναι λάθος δεν σημαίνει ότι γνωρίζεις γιατί είναι λάθος. Ένας agent που δεν αναζήτησε ποτέ το απαραίτητο τεκμήριο χρειάζεται διαφορετική διόρθωση από έναν agent που βρήκε το τεκμήριο αλλά το απέδωσε σε λάθος εταιρεία. Αν η διάγνωση της αιτίας είναι λανθασμένη, ακόμη και μια καλοπροαίρετη οδηγία μπορεί να ενισχύσει την προβληματική πορεία.
Η αξιολόγηση γίνεται offline. Ο auditor βλέπει το ερώτημα, τη λανθασμένη απάντηση και το παγωμένο trajectory, αλλά δεν έχει πρόσβαση στη σωστή απάντηση ή σε νέα web search. Έτσι αναγκάζεται να στηριχθεί στα στοιχεία που πράγματι υπήρχαν στη διαδρομή. Αυτό κάνει τη σύγκριση επαναλήψιμη και αποτρέπει τη διάγνωση από το να μετατραπεί σε μια νέα, ανεξάρτητη προσπάθεια επίλυσης.
Η ταξινομία της εργασίας προέκυψε από τις ίδιες τις παρατηρημένες αποτυχίες. Η συχνότερη κατηγορία είναι το Candidate Mismanagement, με 27,2% του corpus. Ο agent έχει ήδη συναντήσει υποψήφιες απαντήσεις ή σχετικά στοιχεία, αλλά δεν τις διατηρεί, δεν τις συγκρίνει ή δεν τις ενημερώνει σωστά. Μπορεί να «κλειδώσει» νωρίς σε έναν υποψήφιο που ταιριάζει μόνο σε ένα εντυπωσιακό μέρος των clues ή να απορρίψει μια βιώσιμη επιλογή χωρίς επαρκή σύγκριση.
The Search Coverage Gap, στο 22,8%, σημαίνει ότι η αναγκαία διαδρομή τεκμηρίωσης δεν αναζητήθηκε ή δεν επιθεωρήθηκε. Εδώ το πρόβλημα είναι πραγματικά η ανάκτηση: στενά queries, παράλειψη μιας προφανούς επίσημης πηγής ή πρόωρος τερματισμός πριν εξεταστεί το κρίσιμο τμήμα του χώρου αναζήτησης.
At Constraint Neglect, που αντιστοιχεί στο 19,1%, ο agent αποδέχεται έναν υποψήφιο παρότι τα διαθέσιμα στοιχεία δείχνουν ότι παραβιάζει έναν σαφή περιορισμό του ερωτήματος. Στο Unverified Source Reliance στηρίζεται σε snippet, τίτλο, δευτερογενή ή μη προσβάσιμη πηγή χωρίς να ελέγξει το πρωτογενές περιεχόμενο. Στο Entity–Relation Misbinding έχει μια σχετική πληροφορία αλλά τη συνδέει με λάθος πρόσωπο, οργανισμό, χρόνο, ρόλο ή σχέση. Τέλος, το Unsupported Answer είναι η υπολειμματική κατηγορία για μια τελική απάντηση που δεν υποστηρίζεται από το trajectory και δεν εξηγείται καλύτερα από τις άλλες πέντε αιτίες.
Αυτή η ταξινομία μπορεί να λειτουργήσει ως πρακτικό λεξιλόγιο ποιοτικού ελέγχου. Αντί μια ομάδα να καταγράφει απλώς «το AI έκανε λάθος», μπορεί να δηλώνει αν έλειψε η κάλυψη, αν αγνοήθηκε περιορισμός, αν δεν επαληθεύτηκε η πηγή ή αν μπερδεύτηκαν οντότητες. Η κατηγορία οδηγεί σε διαφορετικό corrective action.
Οι έξι ρίζες αποτυχίας που απαιτούν διαφορετικό repair
Βρέθηκαν υποψήφιοι ή σωστά στοιχεία, αλλά ο agent τα εγκατέλειψε, δεν τα ενημέρωσε ή δεσμεύτηκε πρόωρα σε μερική αντιστοίχιση.
Η κρίσιμη διαδρομή τεκμηρίωσης δεν αναζητήθηκε ή δεν επιθεωρήθηκε, οπότε η αναγκαία ένδειξη δεν μπήκε ποτέ στο frozen trace.
Ο επιλεγμένος υποψήφιος παραβιάζει σαφή όρο του ερωτήματος, παρότι το ίδιο το trajectory περιέχει την αντίφαση.
Snippet, τίτλος ή δευτερογενής αναφορά αντιμετωπίζεται ως απόδειξη χωρίς επιβεβαίωση του πρωτογενούς περιεχομένου.
Μια σωστή πληροφορία συνδέεται με λάθος πρόσωπο, εταιρεία, ρόλο, χρόνο ή σχέση και έτσι παράγει λάθος συμπέρασμα.
Η τελική απάντηση δεν υποστηρίζεται από το trajectory και καμία από τις άλλες πέντε αιτίες δεν εξηγεί καλύτερα την αστοχία.
Η ταξινομία αποκτά λειτουργική αξία όταν τα failure traces συλλέγονται με συνέπεια. Η προσέγγιση του core dump epidemiology για συστήματα AI εξηγεί πώς επαναλαμβανόμενα ίχνη αστοχίας μπορούν να γίνουν dataset για πρόληψη αντί να παραμένουν μεμονωμένα incidents.
Το SearchAuditor δεν ζητά από ένα μοντέλο να διαβάσει μία φορά όλη τη διαδρομή και να αποφανθεί. Εκτελεί τρεις συμπληρωματικούς ελέγχους. Ο holistic audit εξετάζει συνολικά το trajectory χωρίς προκαθορισμένη αποσύνθεση. Ο backward constraint audit μετατρέπει το αρχικό ερώτημα σε περιορισμούς και ακολουθεί προς τα πίσω κάθε μη τεκμηριωμένο constraint μέχρι το πρώτο σημείο όπου ο agent δεσμεύτηκε χωρίς επαλήθευση. Ο forward timeline audit δημιουργεί ένα ελάχιστο πλάνο που καλύπτει τις απαιτήσεις και περνά τα decision steps με χρονική σειρά, αναζητώντας το νωρίτερο σημείο που έθεσε τη διαδρομή αποτυχίας.
Τα τρία reports δεν αποφασίζουν με απλή πλειοψηφία. Ένας adjudicator συγκρίνει τις διαφωνίες τους με συγκεκριμένα αποσπάσματα από το trajectory, ένα συνοπτικό outline όλων των decision steps και παράθυρα evidence γύρω από τα προτεινόμενα σημεία. Η μειοψηφική διάγνωση μπορεί να υπερισχύσει αν στηρίζεται καλύτερα στα στοιχεία. Μετά την απόφαση για το κρίσιμο βήμα και τη ρίζα του προβλήματος, ένας ξεχωριστός synthesizer δημιουργεί οδηγίες επισκευής προσαρμοσμένες στην περίπτωση.
Τα ablation tests υποστηρίζουν αυτή τη σχεδιαστική επιλογή. Στο υποσύνολο των 300 περιπτώσεων, η αντικατάσταση των εξειδικευμένων οπτικών με τρία ίδια holistic audits μείωσε την απόδοση. Η αφαίρεση του forward timeline audit προκάλεσε τη μεγαλύτερη πτώση, ενώ η αντικατάσταση του evidence-grounded adjudication με ψηφοφορία επιδείνωσε επίσης τα αποτελέσματα. Η ποικιλία διαδικασιών, όχι απλώς η επανάληψη του ίδιου prompt, ήταν αυτή που πρόσθεσε αξία.
Η ανάγκη για verifier και συγκεκριμένη διάγνωση εμφανίζεται και σε διαφορετική τεχνική κλίμακα. Η Woodpecker Distillation για reasoning bugs δείχνει επίσης ότι μια στοχευμένη παρέμβαση έχει αξία μόνο όταν αξιολογείται με κατάλληλο κριτήριο και δεν συγχέεται με γενική θεραπεία για κάθε λάθος.
Με backbone το GPT-5.5, η ισχυρότερη baseline μέθοδος έφτασε end-to-end fully passed score 26,6%, ενώ το SearchAuditor έφτασε 32,3%. Στην ακριβή τοπικοποίηση του κρίσιμου βήματος, η καλύτερη διαμόρφωση του SearchAuditor πέτυχε 44,9%, και με το πιο ελαστικό tolerance span 58,7%. Η ακρίβεια στην αιτία παρέμεινε 54,8%. Με άλλα λόγια, το πλαίσιο βελτιώνει με συνέπεια τις baselines, αλλά ακόμη και η καλύτερη εκδοχή αποτυγχάνει σε περισσότερες από τις μισές ακριβείς τοπικοποιήσεις και σε περίπου δύο από τα τρία πλήρη audits.
Η εικόνα επαναλήφθηκε με Gemini-3.1-Pro και Claude-Opus-4.8: το SearchAuditor υπερείχε σε όλα τα αναφερόμενα metrics, όμως οι απόλυτες επιδόσεις παρέμειναν περιορισμένες. Η προσεκτική επιχειρηματική ανάγνωση δεν είναι «το auditing λύνει την αξιοπιστία», αλλά «το auditing μειώνει ένα μέρος του ρίσκου και κάνει τις αστοχίες πιο ορατές». Για αποφάσεις υψηλού αντίκτυπου, η ανθρώπινη επαλήθευση και οι σαφείς πηγές παραμένουν αναγκαίες.
Μόνο το 22,8% των αποτυχιών αποδόθηκε σε ανεπαρκή κάλυψη αναζήτησης. Στο υπόλοιπο 77,2%, το πρωτεύον πρόβλημα βρισκόταν στον τρόπο επεξεργασίας όσων είχαν ήδη ανακτηθεί. Ακόμη πιο χαρακτηριστικά, στο 25% όλων των αποτυχιών η σωστή απάντηση εμφανιζόταν αυτούσια μέσα στο retrieved content. Στο 83% αυτών των περιπτώσεων είχε εμφανιστεί πριν ή στο κρίσιμο βήμα.
Αυτό αλλάζει την προτεραιότητα για έναν οργανισμό που σχεδιάζει AI research workflows. Αν η default αντίδραση σε μια αστοχία είναι «δώσε στον agent περισσότερες αναζητήσεις», μπορεί να αυξηθούν το κόστος και το context χωρίς να διορθωθεί η πραγματική αιτία. Χρειάζονται μηχανισμοί διατήρησης υποψηφίων, πίνακες constraints, έλεγχοι entity matching και απαιτήσεις πρωτογενούς τεκμηρίωσης.
Η εργασία βρήκε επίσης ότι οι agents συνέχιζαν κατά μέσο όρο για 16,7 επιπλέον tool calls μετά το κρίσιμο λάθος. Συνολικά, το 47,1% των παραγόμενων tokens και το 45,4% των tool calls εμφανίστηκαν μετά την αποφασιστική αστοχία, χωρίς να την επισκευάσουν. Ένας mid-trajectory audit δεν αφορά λοιπόν μόνο την ποιότητα. Μπορεί, κατά την ερμηνεία των ευρημάτων, να γίνει και σημείο ελέγχου υπολογιστικού κόστους, σταματώντας μια πορεία που έχει ήδη εκτροχιαστεί.
Τι είχε ήδη συμβεί όταν ο AI search agent συνέχισε να ψάχνει
Οι μετρήσεις αφορούν αποκλειστικά το SearchAuditBench και τις 1.243 επιλεγμένες, offline-auditable αποτυχημένες διαδρομές· δεν είναι γενικό ποσοστό αποτυχίας για κάθε search agent.
Η πρωτεύουσα αστοχία αφορούσε την επεξεργασία όσων είχαν ήδη ανακτηθεί και όχι την απουσία της κρίσιμης ένδειξης.
Η σωστή απάντηση εμφανιζόταν αυτούσια μέσα στο retrieved content, αλλά η διαδρομή κατέληξε λανθασμένα.
Τόσες κλήσεις εκτελούνταν κατά μέσο όρο μετά το βήμα που είχε ήδη εγκαθιδρύσει την αποτυχία.
Σχεδόν οι μισοί generated tokens του corpus παράχθηκαν αφού είχε συμβεί το κρίσιμο σφάλμα, χωρίς να το επισκευάσουν.
Οι οκτώ agents είχαν πολύ διαφορετικά budgets εξερεύνησης: η διάμεσος κυμαινόταν από 5 έως 75 tool calls ανά αποτυχημένη διαδρομή. Όσο αυξανόταν η εξερεύνηση, μειωνόταν το ποσοστό των Search Coverage Gaps. Η εργασία αναφέρει ισχυρή αρνητική συσχέτιση Pearson, r = -0,88, ανάμεσα στο budget και τις αστοχίες κάλυψης. Οι sparse explorers αστοχούσαν συχνότερα επειδή δεν έψαχναν αρκετά, ενώ οι heavy explorers μετέφεραν το πρόβλημα προς τη διαχείριση υποψηφίων και την τήρηση constraints.
Αυτό δεν αποδεικνύει ένα καθολικό όριο για κάθε agent ή κάθε επιχειρηματική χρήση· πρόκειται για εύρημα του συγκεκριμένου corpus αποτυχημένων trajectories. Δείχνει όμως ένα σαφές μοτίβο: το test-time scaling της αναζήτησης έχει μειούμενη απόδοση όταν ο agent δεν μπορεί να οργανώσει το αυξανόμενο evidence. Η λύση δεν είναι απλώς μεγαλύτερο context window. Είναι καλύτερη δομή μέσα στο context.
Audit checkpoint ή ακόμη ένα ίδιο prompt;
Ο δεύτερος έλεγχος πρέπει να αλλάζει οπτική και να επιστρέφει στα evidence windows του trajectory.
Το SearchAuditor κέρδισε από τον συνδυασμό holistic, backward constraint και forward timeline audit. Στο ablation των 300 περιπτώσεων, τρία ίδια holistic passes και η απλή ψηφοφορία υστέρησαν από τις ετερογενείς οπτικές με evidence-grounded adjudication.
Σε έρευνα ανταγωνισμού, ένας agent μπορεί να συλλέξει σωστά features και pricing αλλά να τα αντιστοιχίσει σε λάθος πακέτο ή αγορά. Σε SEO research, μπορεί να εντοπίσει μια σχετική δήλωση σε snippet και να τη χρησιμοποιήσει χωρίς να διαβάσει την πρωτογενή σελίδα. Σε product discovery, μπορεί να αγνοήσει έναν σκληρό περιορισμό όπως διαθεσιμότητα, γεωγραφική κάλυψη ή συμβατότητα. Αυτά δεν είναι παραδείγματα που μετρήθηκαν ξεχωριστά στην εργασία· είναι πρακτικές εφαρμογές των έξι επαληθευμένων failure mechanisms.
Μια ασφαλέστερη ροή μπορεί να απαιτεί από τον agent να διατηρεί ρητά: το αρχικό ερώτημα, λίστα hard constraints, πίνακα υποψηφίων, source URLs, αποσπάσματα που στηρίζουν κάθε claim και unresolved contradictions. Πριν από την τελική απάντηση, ένας διαφορετικός audit pass μπορεί να ελέγχει αν κάθε συμπέρασμα έχει evidence chain, αν η πηγή είναι πρωτογενής όπου απαιτείται και αν οι οντότητες ταιριάζουν χρονικά και σημασιολογικά.
Η αρχιτεκτονική του SearchAuditor υποδεικνύει ακόμη ότι η ποικιλία των ελέγχων είναι προτιμότερη από τρία ίδια prompts. Ένας έλεγχος μπορεί να κοιτάζει constraints, ένας δεύτερος τη χρονική εξέλιξη και ένας τρίτος τη συνολική συνοχή. Η τελική κρίση πρέπει να επιστρέφει στα evidence windows και όχι να μετρά απλώς πόσοι auditors συμφωνούν.
Σε SEO workflows, ο ίδιος κίνδυνος εμφανίζεται όταν ένας agent προτείνει αλλαγές από snippets, λάθος αγορά ή ασύνδετα metrics. Ο οδηγός για το πώς οι AI agents αλλάζουν το SEO τοποθετεί human approval και μετρήσιμα KPIs πριν από τη δημοσίευση.
Οι ερευνητές δοκίμασαν τις οδηγίες επισκευής στο LiveBrowseComp, ένα ξεχωριστό benchmark 335 ερωτήσεων με πρόσφατα γεγονότα. Για το Kimi-K2.6, οι επισκευές του SearchAuditor διόρθωσαν το 17,37% των 213 επαληθεύσιμων αποτυχημένων runs και αύξησαν τη συνολική ακρίβεια από 34,03% σε 45,07%. Για το Quest-35B, διόρθωσαν το 10,33% των 300 failures και αύξησαν την ακρίβεια από 8,96% σε 18,21%.
Ένα γενικό hint του τύπου «ξανασκέψου την προσέγγισή σου» υστερούσε αισθητά, παρότι εισαγόταν στο ίδιο προβλεπόμενο κρίσιμο σημείο. Η συγκεκριμένη, diagnosis-conditioned επισκευή φαίνεται να ήταν ο καθοριστικός παράγοντας. Οι συγγραφείς επισημαίνουν επίσης μια ασυμμετρία: ένα resumed run κληρονομεί το προβληματικό prefix. Αν η οδηγία είναι λανθασμένη, μπορεί να αγκυρώσει ακόμη περισσότερο τον agent στη λανθασμένη λογική, ενώ ένα φρέσκο retry τουλάχιστον ξεφεύγει από αυτήν.
Το repair δεν είναι ασφαλές από μόνο του. Ένα resumed run κληρονομεί το προβληματικό prefix. Αν η διάγνωση είναι λανθασμένη, η οδηγία μπορεί να αγκυρώσει τον agent ακόμη περισσότερο στη λάθος πορεία· για αυτό χρειάζονται confidence thresholds, ανθρώπινο review και δυνατότητα fresh retry ή rollback.
Αν ένα αποτυχημένο run έχει ήδη γράψει μνήμη ή downstream κατάσταση, η σωστή απάντηση στο τέλος δεν αρκεί. Το semantic rollback για AI agents περιγράφει γιατί πρέπει να ανακαλούνται και οι συνέπειες που παρήγαγε η λανθασμένη διαδρομή.
Ένας ουσιαστικός audit pass δεν είναι γενικό «ξανασκέψου το». Μετατρέπει το ερώτημα, τους υποψηφίους και τις πηγές σε ελέγχους που μπορούν να επαναληφθούν πριν ένα AI search output επηρεάσει καμπάνια, προϊόν ή εμπορική απόφαση.
Τέσσερα βήματα για audit ενός AI search trajectory
Καταγράψτε ρητά ημερομηνία, χώρα, έκδοση προϊόντος, αγορά, διαθεσιμότητα και απαίτηση πρωτογενούς πηγής, ώστε ένας πειστικός υποψήφιος να μην περνά όταν παραβιάζει βασικό όρο.
Ο agent πρέπει να θυμάται τι βρήκε, τι επιβεβαιώθηκε, τι συγκρούεται με άλλο στοιχείο και γιατί απορρίφθηκε κάθε επιλογή, αντί να ακολουθεί απλώς το τελευταίο εντυπωσιακό εύρημα.
Ξεχωρίστε την ανάκτηση από την αξιολόγηση: άλλο το ότι βρέθηκε μια πληροφορία και άλλο το ότι διαβάστηκε η πρωτογενής σελίδα, ταιριάχτηκε στον σωστό οργανισμό και ισχύει για τη σωστή χρονική περίοδο.
Ο ελεγκτής πρέπει να εξετάζει constraints, χρονική εξέλιξη και συνοχή, να παραπέμπει σε συγκεκριμένα σημεία του trace και να προτείνει αλλαγή διαδικασίας, όχι μια νέα ατεκμηρίωτη τελική απάντηση.
Το SearchAuditor δεν υποστηρίζει ότι οι search agents έγιναν αυτομάτως αξιόπιστοι. Αντίθετα, ποσοτικοποιεί πόσο δύσκολο παραμένει ακόμη και για ισχυρά μοντέλα να εντοπίσουν το πρώτο κρίσιμο λάθος μέσα σε μια μεγάλη διαδρομή. Παράλληλα, δείχνει ότι οι αποτυχίες έχουν επαναλαμβανόμενη δομή και μπορούν να ταξινομηθούν, να ελεγχθούν και σε ορισμένες περιπτώσεις να επισκευαστούν.
Για μια ομάδα marketing ή e-commerce, το ζητούμενο δεν είναι να επιλέξει ανάμεσα σε «AI» και «χωρίς AI». Είναι να αποφασίσει πού χρειάζεται traceability, πού ένα αποτέλεσμα πρέπει να συνδέεται με πρωτογενή στοιχεία και πότε ένας δεύτερος έλεγχος πρέπει να σταματά τη ροή. Όσο οι agents αναλαμβάνουν μεγαλύτερες αλυσίδες έρευνας, η ποιότητα θα εξαρτάται λιγότερο από το πόσες σελίδες άνοιξαν και περισσότερο από το αν διαχειρίστηκαν σωστά τις υποψήφιες απαντήσεις, τους περιορισμούς και τις σχέσεις μεταξύ των στοιχείων.
Business Automation & AI by TWO DOTS
Σχεδιάστε AI workflows που ελέγχουν πηγές, constraints και κρίσιμες αποφάσεις.
Η TWO DOTS χαρτογραφεί search trajectories, evidence chains, approvals, observability και rollback paths, ώστε ένας agent να μη μετατρέπει μια μικρή αστοχία τεκμηρίωσης σε εμπορική απόφαση χωρίς έλεγχο.
Frequently Asked Questions (FAQs)
Είναι ένα πλαίσιο πολλαπλών οπτικών για τον offline έλεγχο αποτυχημένων trajectories από long-horizon search agents. Εντοπίζει το κρίσιμο βήμα, ταξινομεί τη βασική αιτία και παράγει συγκεκριμένη οδηγία επισκευής από εκείνο το σημείο και μετά.
Περιλαμβάνει 1.243 αποτυχημένες διαδρομές από οκτώ open-weight μοντέλα σε πέντε deep-search benchmarks. Κάθε περίπτωση έχει expert annotation για το κρίσιμο βήμα, μία από έξι αιτίες και reference repair με τρία έως πέντε επιμέρους κριτήρια.
Στο συγκεκριμένο corpus, το Candidate Mismanagement ήταν η συχνότερη κατηγορία με 27,2%. Ο agent είχε υποψήφιες απαντήσεις ή σχετικά στοιχεία, αλλά δεν τα συνέκρινε, δεν τα ενημέρωσε ή δεν τα διατήρησε σωστά.
Όχι στο corpus της μελέτης. Μόνο το 22,8% των failures αποδόθηκε σε Search Coverage Gap. Στο υπόλοιπο 77,2% το βασικό πρόβλημα αφορούσε τον τρόπο επεξεργασίας των ανακτημένων στοιχείων.
Η μεγαλύτερη εξερεύνηση μείωνε τις αστοχίες κάλυψης, αλλά μετέφερε το bottleneck προς τη διαχείριση υποψηφίων και την τήρηση constraints. Περισσότερα στοιχεία δεν βοηθούν όταν ο agent δεν μπορεί να τα οργανώσει και να τα αντιστοιχίσει αξιόπιστα.
Με GPT-5.5 backbone πέτυχε 32,3% end-to-end fully passed score, έναντι 26,6% για την ισχυρότερη baseline. Η βελτίωση είναι μετρήσιμη, αλλά η απόλυτη επίδοση δείχνει ότι η αυτόματη διάγνωση παραμένει δύσκολη.
Στο LiveBrowseComp, οι επισκευές του SearchAuditor διόρθωσαν 17,37% των επαληθεύσιμων failures του Kimi-K2.6 και 10,33% του Quest-35B. Δεν εγγυώνται ανάκαμψη, αλλά ξεπέρασαν τα unguided retries και τα γενικά hints στην πειραματική ρύθμιση.
Να μην αξιολογεί μόνο την τελική ευχέρεια του κειμένου. Χρειάζεται καταγραφή constraints, υποψηφίων, πηγών και evidence chains, καθώς και ανεξάρτητος audit pass πριν από αποφάσεις υψηλού αντίκτυπου.
Sources
