Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το CAS προσαρμόζει το retrieval των AI search agents και βαθμονομεί την εκπαίδευσή τους. Τι έδειξαν επτά QA datasets και πώς στήνεται ασφαλές pilot.
Το CAS δείχνει ότι οι AI search agents χρειάζονται διαφορετικό έλεγχο για το πόσα τεκμήρια ανακτούν και διαφορετικό για το ποιες συμπεριφορές ενισχύουν στην εκπαίδευση. Με APS και ACI έφτασε μέσο Exact Match 0,464 σε επτά QA datasets, αλλά το αποτέλεσμα προέρχεται από ελεγχόμενο setup και δεν είναι καθολική εγγύηση. Για επιχειρησιακό RAG, το ουσιαστικό μοτίβο είναι calibrated retrieval, μέτρηση θορύβου, ξεχωριστό answer confidence και ανθρώπινη διαδρομή όταν το evidence δεν αρκεί.
Ένας AI agent μπορεί να κάνει αναζήτηση, να ανοίγει πηγές και να επιστρέφει μια πειστική απάντηση. Αυτό όμως δεν σημαίνει ότι αναζήτησε σωστά. Μπορεί να πήρε πολύ λίγα έγγραφα και να έχασε το κρίσιμο στοιχείο, να πήρε πάρα πολλά και να μπερδεύτηκε από τον θόρυβο ή να συνέχισε να χρησιμοποιεί εργαλεία επειδή δεν «ήξερε» πότε είχε αρκετή τεκμηρίωση. Το paper CAS: Conformalized Agentic Search via Adaptive Retrieval and Policy Weighting επιχειρεί να αντιμετωπίσει αυτό το πρόβλημα με έναν μηχανισμό που δεν βασίζεται απλώς σε ένα ακόμη prompt.
Οι ερευνητές εισάγουν το conformal prediction, μια στατιστική προσέγγιση ποσοτικοποίησης αβεβαιότητας, σε δύο διαφορετικά σημεία του search agent. Στο retrieval, το Adaptive Prediction Set ή APS αποφασίζει δυναμικά πόσα αποτελέσματα πρέπει να περάσουν στο context. Στην εκπαίδευση, το Adaptive Conformal Inference ή ACI υποβαθμίζει την επιρροή trajectories χαμηλής εμπιστοσύνης μέσα στο GRPO. Η βασική ιδέα είναι πρακτική: δεν αρκεί να ανταμείβεις τη σωστή τελική απάντηση. Πρέπει να ελέγχεις και την ποιότητα της πληροφορίας που μπαίνει, αλλά και πόσο αξιόπιστη ήταν η διαδρομή που οδήγησε στην απάντηση.
Πολλά RAG συστήματα και agentic search συστήματα κρατούν τα πρώτα K αποτελέσματα μιας αναζήτησης. Η ρύθμιση είναι απλή και προβλέψιμη από πλευράς κόστους, αλλά αντιμετωπίζει όλες τις ερωτήσεις σαν να έχουν την ίδια δυσκολία. Μια σαφής, μονοσήμαντη ερώτηση μπορεί να χρειάζεται ένα ή δύο καλά έγγραφα. Μια multi-hop ερώτηση, όπου η απάντηση προκύπτει από διαδοχικές συνδέσεις, μπορεί να χρειάζεται μεγαλύτερο σύνολο αποδείξεων.
Το πρόβλημα εμφανίζεται και στις δύο κατευθύνσεις. Αν το K είναι μικρό, το σύστημα μπορεί να κόψει το έγγραφο που περιέχει το κρίσιμο γεγονός. Αν είναι μεγάλο, μπορεί να γεμίσει το context με ονόματα, ημερομηνίες ή έννοιες που μοιάζουν σχετικές αλλά δεν είναι. Το μοντέλο τότε δεν έχει απλώς «περισσότερη γνώση». Έχει περισσότερα σημεία στα οποία μπορεί να στηρίξει μια λάθος σύνδεση.
Για μια επιχείρηση, αυτό μεταφράζεται σε πραγματικό σχεδιαστικό ρίσκο. Ένα bot υποστήριξης, ένας βοηθός πωλήσεων ή ένα εργαλείο υβριδικής έρευνας αγοράς δεν πρέπει να ανακτά μηχανικά το ίδιο πλήθος chunks για κάθε αίτημα. Το CAS δεν αποδεικνύει ότι η δική του λύση λειτουργεί ήδη σε τέτοιες παραγωγικές εφαρμογές, αλλά τεκμηριώνει καθαρά γιατί η στατική επιλογή context αξίζει να αντιμετωπίζεται ως υπόθεση που πρέπει να ελεγχθεί.
Το conformal prediction δημιουργεί σύνολα προβλέψεων με προκαθορισμένο στόχο κάλυψης. Αν ο χρήστης ορίσει ποσοστό σφάλματος α, η τυπική διατύπωση στοχεύει σε οριακή κάλυψη τουλάχιστον 1-α, υπό τις απαιτούμενες υποθέσεις βαθμονόμησης. Αντί να ζητά από το μοντέλο να δηλώσει με μια αυθαίρετη κλίμακα πόσο σίγουρο είναι, χρησιμοποιεί scores μη συμμόρφωσης και ένα calibration set για να υπολογίσει κατώφλι.
Η λέξη «οριακή» έχει σημασία. Η εγγύηση αφορά τη συμπεριφορά σε ένα σύνολο περιπτώσεων, όχι βεβαιότητα για κάθε μεμονωμένο query. Επίσης, το κλασικό conformal prediction στηρίζεται σε ανταλλαξιμότητα των δεδομένων. Στο reinforcement learning η πολιτική αλλάζει συνεχώς, άρα η κατανομή των νέων trajectories δεν μένει σταθερή. Γι’ αυτό το CAS δεν χρησιμοποιεί έναν μόνο στατικό μηχανισμό παντού.
Το paper συνδυάζει δύο υλοποιήσεις: APS για το retrieval και ACI για τη ροή εκπαίδευσης. Αυτή η διάκριση είναι ουσιαστικότερη από την ορολογία. Το πρώτο ελέγχει ποια εξωτερική πληροφορία φτάνει στο μοντέλο. Το δεύτερο ελέγχει ποια συμπεριφορά ενισχύεται όταν το μοντέλο εκπαιδεύεται από ανταμοιβές.
Στην πλευρά της αναζήτησης, το σύστημα λαμβάνει τα αρχικά έγγραφα και μετατρέπει τα retrieval scores σε πιθανότητες μέσω softmax. Έπειτα προσθέτει αποτελέσματα κατά σειρά μέχρι η σωρευτική πιθανότητα να ξεπεράσει το βαθμονομημένο κατώφλι. Ένα query με καθαρό κορυφαίο αποτέλεσμα μπορεί να πάρει μικρό σύνολο. Ένα αμφίβολο query, όπου η πιθανότητα μοιράζεται σε περισσότερα έγγραφα, μπορεί να πάρει μεγαλύτερο.
Στο προεπιλεγμένο πείραμα, το APS significance level ήταν 0,20 και η ανάκτηση περιοριζόταν από ένα έως πέντε έγγραφα. Το calibration set του APS περιείχε 239 queries. Προέκυψε από 150 αρχικές ερωτήσεις, όπου ένα ισχυρό εξωτερικό μοντέλο, το DeepSeek-V3.2, χρησιμοποιήθηκε τόσο για decomposition των multi-hop ερωτήσεων όσο και για εντοπισμό των εγγράφων που υποστήριζαν τη σωστή απάντηση.
Η ευαισθησία της ρύθμισης φαίνεται στα αποτελέσματα. Με α=0,20 ανακτήθηκαν κατά μέσο όρο 3,4 έγγραφα. Με α=0,35 ο μέσος όρος έπεσε στα 2,4, ενώ με α=0,05 ανέβηκε στα 4,8. Η τελευταία ρύθμιση αντιστοιχεί σε στόχο οριακής κάλυψης 95%, αλλά στο συγκεκριμένο πείραμα η επιπλέον πληροφορία έβλαψε σοβαρά τις multi-hop επιδόσεις. Περισσότερη κάλυψη δεν σήμαινε αυτόματα καλύτερη λογική επεξεργασία.
Η δεύτερη πλευρά του CAS αφορά την εκπαίδευση. Οι authors χρησιμοποιούν το Negative Log-Likelihood των tokens μέσα στην τελική απάντηση ως score μη συμμόρφωσης. Το ACI παρακολουθεί ένα κινούμενο calibration window και προσαρμόζει δυναμικά το κατώφλι ώστε η συχνότητα χαμηλής εμπιστοσύνης να κινείται προς τον στόχο. Η μέθοδος χρησιμοποιεί εξομάλυνση των πρόσφατων σφαλμάτων επειδή το RL δημιουργεί μη στατική ροή δεδομένων.
Μέσα στο GRPO, κάθε trajectory έχει πλεονέκτημα που προκύπτει από τη σχετική ανταμοιβή του στην ομάδα. Αν μια trajectory πετύχει σωστή απάντηση αλλά εμφανίζει χαμηλή εμπιστοσύνη, το θετικό learning signal μειώνεται με συντελεστή η=0,5. Με άλλα λόγια, το σύστημα προσπαθεί να μην μάθει υπερβολικά από ένα τυχερό αποτέλεσμα. Αντίθετα, μια απάντηση που είναι λανθασμένη ενώ το μοντέλο εμφανίζεται βέβαιο δέχεται την πλήρη αρνητική επίδραση.
Αυτό είναι διαφορετικό από ένα απλό confidence badge στο interface. Η εμπιστοσύνη δεν εμφανίζεται μόνο αφού ολοκληρωθεί η απάντηση. Επηρεάζει το ποια trajectories θα διαμορφώσουν την ίδια την policy. Η μελέτη υποστηρίζει επίσης ότι ο μηχανισμός περιορίζει δύο αντίθετες αστοχίες: την υπερβολική βεβαιότητα που οδηγεί σε hallucinations και την άσκοπη αβεβαιότητα που οδηγεί σε επαναλαμβανόμενες αναζητήσεις.
Η αξιολόγηση καλύπτει επτά open-domain question answering datasets: NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue και Bamboogle. Για την εκπαίδευση χρησιμοποιήθηκε μίγμα από τα training splits των NQ και HotpotQA. Τα backbones ήταν Qwen2.5-3B-Instruct και Qwen3-8B, ενώ το retrieval βασίστηκε στον dense retriever E5 και σε Wikipedia dump του 2018.
Το σύστημα έπαιρνε 512 prompts ανά training step, δημιουργούσε ομάδα πέντε trajectories ανά prompt και επέτρεπε έως τέσσερις γύρους αλληλεπίδρασης με την αναζήτηση. Η αξιολόγηση έγινε με Exact Match, ένα αυστηρό metric που μετρά αν η τελική απάντηση ταιριάζει στην αναμενόμενη. Οι baselines περιλάμβαναν direct inference, chain-of-thought, κλασικό RAG, IRCoT, Search-o1, supervised fine-tuning, RL χωρίς search, rejection sampling, Search-R1 και Search-R2.
Οι συγκεκριμένες τεχνικές λεπτομέρειες περιορίζουν και τη γενίκευση των συμπερασμάτων. Το CAS αξιολογείται σε ένα ελεγχόμενο QA περιβάλλον με συγκεκριμένο retriever, knowledge base, μοντέλα και metric. Δεν δοκιμάζεται εδώ σε ανοιχτό web με μεταβαλλόμενες σελίδες, σε proprietary knowledge base, σε customer support με AI agents ή σε επιχειρησιακές αποφάσεις όπου μια μερικώς σωστή απάντηση μπορεί να έχει διαφορετικό κόστος από μια απόλυτα λανθασμένη.
Στον Qwen3-8B, το CAS πέτυχε μέσο Exact Match 0,464 στα επτά datasets. Το Search-R2 είχε 0,446 και το Search-R1 0,400. Στον Qwen2.5-3B-Instruct, το CAS έφτασε 0,401 έναντι 0,336 του Search-R1. Η απόλυτη βελτίωση στον μικρότερο backbone ήταν 0,065 συνολικά, με 0,047 στο general QA και 0,079 στο multi-hop QA.
Στον 8B backbone, η διαφορά από το Search-R1 ήταν 0,064 συνολικά και 0,078 στο multi-hop QA. Απέναντι στο ισχυρότερο Search-R2, η συνολική διαφορά ήταν 0,018, ενώ στο multi-hop QA ήταν 0,032. Στο general QA η διαφορά από το Search-R2 ήταν μόλις 0,001. Άρα το ισχυρότερο σήμα του paper δεν είναι μια ομοιόμορφη υπεροχή σε κάθε κατηγορία, αλλά η βελτίωση στα πιο σύνθετα multi-step ερωτήματα.
Το ablation ενισχύει τον ισχυρισμό ότι χρειάζονται και οι δύο μηχανισμοί. Στον 3B backbone, η πλήρης μέθοδος είχε 0,401. Χωρίς ACI έπεσε στο 0,384 και χωρίς APS στο 0,389. Σύμφωνα με την ανάλυση των authors, η αφαίρεση του ACI συνδέθηκε με περισσότερες και πιο ασταθείς κλήσεις εργαλείων, ενώ η αφαίρεση του APS επανέφερε fixed top-3 context και αύξησε είτε τον θόρυβο είτε την έλλειψη στοιχείων.
Τέσσερα επαληθευμένα μεγέθη του CAS
Οι τιμές προέρχονται από ελεγχόμενα open-domain QA πειράματα της προδημοσίευσης· δεν αποτελούν πρόβλεψη παραγωγικής απόδοσης.
Ένα από τα πιο χρήσιμα ευρήματα για ομάδες προϊόντος είναι ότι η «ασφαλέστερη» ρύθμιση δεν ήταν η καλύτερη παντού. Με α APS ίσο με 0,05, το σύστημα στόχευε σε 95% οριακή κάλυψη και ανακτούσε 4,8 έγγραφα κατά μέσο όρο. Το general QA βελτιώθηκε ελαφρά σε σχέση με το default, αλλά το multi-hop QA έπεσε από 0,328 σε 0,234. Το πρόσθετο context περιείχε θόρυβο που δυσκόλευε τη σύνθετη συλλογιστική.
Από την άλλη, η επιθετική περικοπή με α=0,35 έδινε 2,4 έγγραφα κατά μέσο όρο και συνολικό score 0,372. Δεν υπήρχε αρκετή υποστήριξη για ορισμένα ερωτήματα. Το default α=0,20, με 3,4 έγγραφα, έδωσε το καλύτερο συνολικό αποτέλεσμα 0,401 στο συγκεκριμένο sensitivity test.
Παρόμοιο trade-off υπήρχε στο ACI. Στόχος ρ=0,4 χαρακτήριζε περίπου 40% των trajectories ως χαμηλής εμπιστοσύνης και αποδυνάμωνε υπερβολικά το learning signal. Στόχος ρ=0,1 επηρέαζε μόνο περίπου 10% και δεν παρείχε αρκετή καθοδήγηση. Η μεσαία ρύθμιση 0,25 χρησιμοποιήθηκε ως default. Για μια πραγματική επιχείρηση, το μάθημα είναι ότι οι παράμετροι αξιοπιστίας χρειάζονται validation στο δικό της workload, όχι αντιγραφή από ένα paper.
Fixed Top-K
Σταθερό πλήθος chunks και προβλέψιμο budget, αλλά ίδιο context για εύκολα και σύνθετα queries. Μπορεί να κόψει evidence ή να εισαγάγει θόρυβο.
APS retrieval
Προσαρμόζει το μέγεθος του prediction set στα retrieval scores και σε calibrated threshold. Θέλει αξιόπιστο relevance ground truth και επαναβαθμονόμηση.
ACI training
Μεταβάλλει το βάρος χαμηλής εμπιστοσύνης trajectories μέσα στο GRPO. Δεν αποδεικνύει ότι το reasoning path ή κάθε τελική απάντηση είναι σωστά.
Η πρώτη πρακτική συνέπεια είναι να μετράμε την αναζήτηση ως ξεχωριστό υποσύστημα, όπως δείχνει και η ανάλυση αστοχιών των AI search agents. Η τελική ακρίβεια δεν αποκαλύπτει αν το μοντέλο βρήκε τα σωστά τεκμήρια με μία κλήση, αν έκανε πολλές περιττές αναζητήσεις ή αν έφτασε σωστά από τύχη. Χρειάζονται behavioral metrics για AI agents: evidence coverage, context size, search-call count και συμπεριφορά ανά κατηγορία δυσκολίας.
Η δεύτερη είναι να διαχωρίζουμε την αβεβαιότητα retrieval από την αβεβαιότητα απάντησης. Ένα ισχυρό document score δεν εγγυάται ότι ο agent συνέθεσε σωστά τα στοιχεία. Αντίστροφα, μια γλωσσικά καθαρή απάντηση δεν αποδεικνύει ότι το context περιείχε επαρκή τεκμηρίωση. Το CAS είναι ενδιαφέρον ακριβώς επειδή τοποθετεί διαφορετικό έλεγχο πριν από το reasoning και διαφορετικό έλεγχο μέσα στην εκπαίδευση.
Η τρίτη είναι να αντιμετωπίζουμε το κόστος εργαλείων ως δείκτη ποιότητας και όχι μόνο ως λογαριασμό API. Μια πτώση στις κλήσεις μπορεί να σημαίνει μεγαλύτερη αποτελεσματικότητα, αλλά μπορεί επίσης να σημαίνει ότι το μοντέλο σταμάτησε να ψάχνει. Στο παράρτημα, οι authors αναφέρουν ότι thinking mode οδήγησε το μοντέλο να λύνει πολλές single-hop ερωτήσεις εσωτερικά και τελικά να παύει την ενεργή αναζήτηση, κάνοντας την εκπαίδευση ακατάλληλη για τον σκοπό του search-integrated task. Η σωστή μέτρηση πρέπει να συνδέει κλήσεις, ακρίβεια και τεκμηρίωση.
Οι authors αναγνωρίζουν τρεις βασικούς περιορισμούς. Πρώτον, τα πειράματα εστιάζουν σε γενικά open-domain QA tasks. Δεν έχει επιβεβαιωθεί η εφαρμογή σε εξειδικευμένους επαγγελματικούς τομείς. Ένα σύστημα για νομική έρευνα, ιατρική τεκμηρίωση, οικονομικές αποφάσεις ή enterprise support θα χρειαστεί νέα βαθμονόμηση και αξιολόγηση με δικά του κριτήρια.
Δεύτερον, η κατασκευή του APS calibration set εξαρτάται από ισχυρό εξωτερικό teacher model. Το DeepSeek-V3.2 κάνει decomposition και λειτουργεί ως relevance judge. Αν ο teacher κάνει συστηματικά λάθη, αυτά μπορούν να επηρεάσουν το κατώφλι και την έννοια του «σωστού» εγγράφου. Η αυτοματοποίηση λοιπόν δεν αφαιρεί την ανάγκη για αξιόπιστη διαδικασία δημιουργίας ground truth.
Τρίτον, οι στατιστικές εγγυήσεις αφορούν κυρίως το outcome και όχι τα ενδιάμεσα βήματα reasoning. Ένας agent μπορεί να φτάσει στη σωστή απάντηση μέσα από προβληματική λογική ή να χρησιμοποιήσει ανεπαρκώς αιτιολογημένες ενδιάμεσες συνδέσεις. Το paper προτείνει ως επόμενο πεδίο την επαληθεύσιμη αξιοπιστία της διαδικασίας, όχι μόνο του τελικού αποτελέσματος.
Μια ομάδα που θέλει να εξετάσει παρόμοια λογική μπορεί να ξεκινήσει χωρίς να ισχυριστεί ότι έχει ήδη «λύσει» την αξιοπιστία. Πρώτα χρειάζεται dataset από πραγματικά ερωτήματα, με ελεγμένες πηγές και σημειωμένα έγγραφα που επαρκούν για κάθε απάντηση. Έπειτα πρέπει να χωρίσει τα queries σε κατηγορίες δυσκολίας και να συγκρίνει fixed Top-K με προσαρμοζόμενο retrieval, κρατώντας σταθερό το υπόλοιπο pipeline.
Η αξιολόγηση πρέπει να καταγράφει τουλάχιστον την κάλυψη σωστών τεκμηρίων, τον θόρυβο στο context, τις κλήσεις εργαλείων, την τελική ακρίβεια και τις περιπτώσεις όπου το σύστημα έπρεπε να αρνηθεί απάντηση. Για e-commerce ή marketing workflows χρειάζεται και business-specific εξέταση: αν η απάντηση χρησιμοποιεί σωστό product data, αν αποφεύγει μη διαθέσιμες υποσχέσεις και αν διακρίνει επαληθευμένα facts από recommendation.
Τέλος, το calibration δεν πρέπει να αντιμετωπίζεται ως εφάπαξ βήμα. Τα προϊόντα, οι πολιτικές, τα έγγραφα και οι αναζητήσεις αλλάζουν. Η λογική του ACI είναι σχετική επειδή αναγνωρίζει τη μεταβολή της ροής. Ακόμη και χωρίς πλήρη υλοποίηση του CAS, μια επιχείρηση μπορεί να υιοθετήσει την αρχή: παρακολούθηση drift και uncertainty, περιοδική επαναβαθμονόμηση και χωριστός έλεγχος retrieval και generation.
Από το fixed Top-K σε ελεγχόμενο adaptive retrieval pilot
Χωρίστε product search, support, research και compliance queries. Καταγράψτε πότε η έλλειψη evidence, ο θόρυβος ή μια βέβαιη λανθασμένη απάντηση έχει διαφορετική επιχειρησιακή συνέπεια.
Συνδέστε αντιπροσωπευτικά queries με τα ελάχιστα επαρκή έγγραφα, κρατώντας εκδόσεις, ημερομηνίες και δικαιώματα πρόσβασης. Η βαθμονόμηση είναι τόσο αξιόπιστη όσο το relevance set της.
Κρατήστε σταθερό retriever, model και prompts. Μετρήστε evidence recall, μη σχετικό context, τελικό accuracy, search calls, latency και περιπτώσεις όπου το σύστημα έπρεπε να σταματήσει.
Δοκιμάστε διαφορετικούς στόχους κάλυψης και όρια context ανά κατηγορία query. Μην αντιγράψετε α=0,20 ή εύρος 1–5 χωρίς να δείτε πώς αλλάζουν τα δικά σας multi-hop και long-tail cases.
Καταγράψτε αν το σωστό evidence βρέθηκε, αν πέρασε στο context και αν χρησιμοποιήθηκε σωστά. Η καλή βαθμολογία εγγράφου δεν πιστοποιεί τη σύνθεση της απάντησης.
Βάλτε adversarial, stale και ελλιπή queries. Ο agent πρέπει να ζητά διευκρίνιση ή έγκριση όταν η τεκμηρίωση δεν επαρκεί, όχι να γεμίζει το κενό με πειστική πρόζα.
Ελέγχετε coverage, noise, calls και failure modes μετά από αλλαγές σε catalog, corpus, retriever ή model. Κρατήστε versioned thresholds και γρήγορη επιστροφή στο ασφαλές baseline.
Απόφαση αρχιτεκτονικής
Χρησιμοποιήστε retrieval calibration για το evidence set, answer evaluation για τη σύνθεση και governance για provenance, permissions, abstention και ανθρώπινη έγκριση. Συνδέστε τα σε κοινό failure log, αλλά μην τα συμπτύσσετε σε έναν αριθμό που κρύβει πού γεννήθηκε το λάθος.
Το CAS μετακινεί τη συζήτηση από το πόσο συχνά ένας agent χρησιμοποιεί search προς το αν η ποσότητα και η ποιότητα της αναζήτησης είναι κατάλληλες για το συγκεκριμένο query. Τα πειράματα δείχνουν βελτιώσεις σε επτά QA datasets και πιο καθαρό όφελος στα multi-hop tasks. Δείχνουν επίσης ότι η υπερβολική κάλυψη μπορεί να μετατραπεί σε θόρυβο και ότι η υπερβολική τιμωρία χαμηλής εμπιστοσύνης μπορεί να αποδυναμώσει την εκπαίδευση.
Για επαγγελματίες που σχεδιάζουν AI workflows, το πιο σημαντικό συμπέρασμα δεν είναι να αντιγράψουν τις τιμές 0,20 ή 0,25. Είναι να πάψουν να αντιμετωπίζουν το retrieval ως σταθερό σωλήνα και την confidence ως διακοσμητικό score. Η αξιοπιστία χρειάζεται μετρήσιμη κάλυψη, έλεγχο θορύβου, βαθμονόμηση και παρακολούθηση του τρόπου με τον οποίο η εκπαίδευση ενισχύει ή αποθαρρύνει συγκεκριμένες συμπεριφορές.
Από το retrieval στο ελεγχόμενο αποτέλεσμα
Η TWO DOTS χαρτογραφεί corpus, permissions, adaptive retrieval, evaluation sets, abstention, monitoring και ανθρώπινα approvals, ώστε κάθε RAG ή agentic workflow να δείχνει τι βρήκε, τι αγνόησε και πότε χρειάζεται παρέμβαση.
Συχνές ερωτήσεις
Το CAS είναι ερευνητικό πλαίσιο που συνδυάζει Adaptive Prediction Sets στο retrieval και Adaptive Conformal Inference στην εκπαίδευση με GRPO, ώστε το μέγεθος του context και το βάρος των trajectories να επηρεάζονται από βαθμονομημένη αβεβαιότητα.
Επειδή επιστρέφει ίδιο πλήθος αποτελεσμάτων σε εύκολα και δύσκολα queries. Έτσι μπορεί να κόψει κρίσιμο τεκμήριο όταν το K είναι μικρό ή να προσθέσει θόρυβο όταν είναι μεγάλο.
Το APS λειτουργεί πριν από το reasoning και προσαρμόζει πόσα έγγραφα περνούν στο context. Το ACI λειτουργεί στην εκπαίδευση και μειώνει το θετικό learning signal για trajectories που καταλήγουν σωστά αλλά εμφανίζουν χαμηλή εμπιστοσύνη.
Στον Qwen3-8B, το CAS είχε μέσο Exact Match 0,464 στα επτά datasets, έναντι 0,446 του Search-R2 και 0,400 του Search-R1. Η μεγαλύτερη διαφορά από το Search-R1 εμφανίστηκε στα multi-hop tasks, με +0,078.
Στο sensitivity test, η ρύθμιση α=0,05 ανέβασε τον μέσο αριθμό εγγράφων σε 4,8 αλλά έριξε το multi-hop Exact Match από 0,328 σε 0,234. Η πρόσθετη κάλυψη έφερε αρκετό θόρυβο ώστε να δυσκολέψει τη σύνθεση πολλών βημάτων.
Όχι. Οι εγγυήσεις είναι οριακές ή μακροχρόνιες υπό συγκεκριμένες υποθέσεις και αφορούν τη βαθμονόμηση του συνόλου, όχι βεβαιότητα ορθότητας για κάθε απάντηση ούτε εγγύηση για τα ενδιάμεσα reasoning steps.
Όχι χωρίς δικό της validation. Οι τιμές α=0,20 και ρ=0,25 προέκυψαν από συγκεκριμένα QA datasets, μοντέλα, E5 retriever και Wikipedia του 2018. Proprietary γνώση και διαφορετικό κόστος λάθους χρειάζονται νέα βαθμονόμηση.
Ένα αντιπροσωπευτικό set πραγματικών queries με ελεγμένα τεκμήρια, baseline fixed Top-K και παράλληλη μέτρηση evidence coverage, context noise, search calls, τελικής ακρίβειας, abstention και χρόνου ανθρώπινης επαλήθευσης.
