With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Το DirEAG βαθμονομεί δηλώσεις confidence ενός LLM, συνδυάζει πολλαπλά τεκμήρια και κρατά null state για ασφαλή αποχή.
Το DirEAG δεν αντιμετωπίζει το «95% βεβαιότητα» ενός LLM ως έτοιμη πιθανότητα. Συνδυάζει πέντε answer-confidence observations, διορθώνει τη μεροληψία κάθε steering prompt, κρατά ρητό null state για την περίπτωση όπου όλες οι υποψήφιες απαντήσεις είναι λάθος και βαθμονομεί ξανά το τελικό score. Τα αποτελέσματα σε τρία μοντέλα και τρία μαθηματικά benchmarks είναι ενθαρρυντικά, αλλά δεν αποτελούν έτοιμη εγγύηση για production workflows χωρίς δικά τους labeled outcomes και ανθρώπινα gates.
Αν ένα μοντέλο AI δηλώνει ότι είναι 95% βέβαιο, πόσο συχνά έχει πράγματι δίκιο; Η ερώτηση βρίσκεται στον πυρήνα κάθε σοβαρής επιχειρηματικής χρήσης της τεχνητής νοημοσύνης. Μια απάντηση δεν γίνεται αξιοποιήσιμη επειδή συνοδεύεται από εντυπωσιακό αριθμό. Ο αριθμός πρέπει να αντιστοιχεί με συνέπεια στην πραγματική πιθανότητα ορθότητας για το συγκεκριμένο task και workload.
Η προδημοσίευση DirEAG των Haorui Xu, Yuzhou Zhu και Liyuan Gao εξετάζει ακριβώς αυτό το πρόβλημα σε mathematical reasoning. Αντί να εμπιστεύεται μία δήλωση confidence, ρωτά το ίδιο black-box μοντέλο με πέντε confidence-steering prompts. Έπειτα μετατρέπει τις απαντήσεις και τα self-reported scores σε βαθμονομημένα τεκμήρια, τα συγκεντρώνει με κατανομή Dirichlet και εφαρμόζει δεύτερο calibration στην τελική πιθανότητα.
Το πιο χρήσιμο στοιχείο για μια ομάδα που περνά AI agents από demo σε παραγωγή είναι ο ρητός null state: η δυνατότητα να αναγνωριστεί ότι ίσως καμία από τις διαθέσιμες απαντήσεις δεν είναι σωστή. Αυτή η αρχή δεν αρκεί από μόνη της για ασφαλή αυτοματοποίηση, αλλά διορθώνει ένα κρίσιμο σχεδιαστικό σφάλμα: την υποχρεωτική επιλογή ακόμη και όταν τα τεκμήρια δεν επαρκούν.
Τα language models μπορούν να παράγουν μια αριθμητική απάντηση και να δηλώσουν πόσο σίγουρα είναι γι’ αυτή. Η verbalized confidence είναι διαθέσιμη ακόμη και όταν δεν έχουμε πρόσβαση στα token probabilities. Αυτό την κάνει ελκυστική για black-box εφαρμογές, αλλά όχι αυτόματα αξιόπιστη.
Ένα prompt που ζητά από το μοντέλο να είναι επιφυλακτικό μπορεί να μετακινήσει όλη την κλίμακα προς χαμηλότερες τιμές. Ένα prompt που το ενθαρρύνει να εμφανιστεί πολύ βέβαιο μπορεί να παράγει υψηλότερα scores για παρόμοια ικανότητα. Η κλίμακα αλλάζει επίσης ανά μοντέλο και dataset. Άρα το «80%» δεν έχει αναγκαστικά την ίδια εμπειρική σημασία σε δύο prompts ή δύο εργασίες.
Αυτό είναι το πρόβλημα της βαθμονόμησης. Αν εκατό προβλέψεις δηλώνονται με confidence 80%, ένα καλά βαθμονομημένο σύστημα θα πρέπει να είναι σωστό περίπου στις ογδόντα. Η calibration δεν ταυτίζεται με την accuracy: ένα μοντέλο μπορεί να επιλέγει συχνά σωστή απάντηση αλλά να υπερεκτιμά τη βεβαιότητά του.
Πολλές black-box μέθοδοι παράγουν αρκετές απαντήσεις και μετρούν πόσες φορές επαναλαμβάνεται κάθε αποτέλεσμα ή υπολογίζουν entropy στη διανομή των outputs. Η self-consistency και οι συγγενικές προσεγγίσεις δίνουν χρήσιμο σήμα για τη μεταβλητότητα του μοντέλου, όπως και οι τεχνικές ελεγχόμενης αβεβαιότητας που συζητάμε στο CAS για AI search agents.
Ωστόσο, η συχνότητα δεν αξιοποιεί το αριθμητικό περιεχόμενο της δήλωσης confidence. Πέντε όμοιες απαντήσεις με χαμηλή αυτοπεποίθηση δεν είναι απαραίτητα ισοδύναμες με πέντε όμοιες απαντήσεις υψηλής αυτοπεποίθησης. Στην αντίθετη κατεύθυνση, ο απλός μέσος όρος των scores υποθέτει ότι οι κλίμακες είναι ήδη συγκρίσιμες και ότι δεν υπάρχει prompt-dependent bias.
Το DirEAG αντιμετωπίζει τα πολλαπλά observations ως στατιστικό calibration problem. Δεν πετά τη verbalized confidence, αλλά ούτε την παίρνει κυριολεκτικά. Μαθαίνει από calibration examples πώς πρέπει να επηρεάζει κάθε score την υποστήριξη μιας υποψήφιας απάντησης.
Ένα self-reported score
Είναι εύκολο να ληφθεί από black-box LLM, αλλά η κλίμακά του μετακινείται με το prompt, το μοντέλο και το dataset. Δεν είναι έτοιμη πιθανότητα ορθότητας.
Συμφωνία ή entropy
Αξιοποιεί την επανάληψη και τη διαφωνία μεταξύ samples, όμως χάνει το αριθμητικό σήμα του confidence και δεν εγγυάται βαθμονομημένη κλίμακα.
DirEAG aggregation
Διορθώνει κάθε steering scale, ζυγίζει το evidence, κρατά null state και βαθμονομεί ξανά τον νικητή. Χρειάζεται labeled calibration data.
Για κάθε μαθηματικό πρόβλημα, το μοντέλο ερωτάται με πέντε confidence-steering prompts, από πιο επιφυλακτικά έως πιο βέβαια. Κάθε εκτέλεση επιστρέφει ζεύγος αριθμητικής απάντησης και δηλωμένου confidence. Οι διαφορετικές απαντήσεις σχηματίζουν ένα πεπερασμένο candidate set.
Πριν από τη συγκέντρωση, κάθε raw score περνά από monotonic calibration transform τύπου Platt. Η μετατροπή έχει bias ειδικό για κάθε steering level και κοινή θετική κλίση. Έτσι διορθώνει την κλίμακα χωρίς να αντιστρέφει τη σειρά: μέσα στο ίδιο level, ένα υψηλότερο raw confidence παραμένει τουλάχιστον τόσο ισχυρό μετά το calibration.
Οι παράμετροι είναι λίγοι και κοινές για τα παραδείγματα της ίδιας calibration setting. Η μέθοδος δεν αλλάζει ούτε κάνει fine-tune το βασικό LLM. Η εκμάθηση γίνεται στο επίπεδο της συγκέντρωσης των observations, μια χρήσιμη διάκριση όταν η ομάδα δεν ελέγχει τα βάρη του μοντέλου.
Το DirEAG αναθέτει μη αρνητική συγκέντρωση σε κάθε υποψήφια απάντηση. Όταν ένα steering level επιστρέφει μια συγκεκριμένη απάντηση, προσθέτει τεκμήριο ανάλογο με το calibrated confidence και ένα learned reliability weight του level. Η επανάληψη έχει σημασία, αλλά όχι ως απλή ψήφος: η ισχύς της εξαρτάται από την αξιοπιστία του prompt και τη βαθμονομημένη βεβαιότητα.
Η κατανομή Dirichlet περιγράφει πιθανότητες πάνω σε μεταβλητό αριθμό κατηγορικών states. Μετά τη συσσώρευση, ο posterior mean δίνει τη σχετική υποστήριξη για κάθε candidate. Η τελική απάντηση επιλέγεται από την υποψήφια με τη μεγαλύτερη posterior probability.
Η αναπαράσταση διαχωρίζει δύο έννοιες που συχνά μπερδεύονται: πόσο ισχυρά υποστηρίζεται μια επιλογή σε σχέση με τις άλλες διαθέσιμες και πόσο πιθανό είναι να είναι πραγματικά σωστή. Η πρώτη προκύπτει από την evidence aggregation. Η δεύτερη χρειάζεται ξεχωριστή εμπειρική βαθμονόμηση μετά την επιλογή.
Αν το σύστημα μοίραζε όλη τη διαθέσιμη πιθανότητα μόνο στις απαντήσεις που παρήχθησαν, κάποια θα κέρδιζε αναγκαστικά ακόμη και όταν όλες ήταν λάθος. Το DirEAG προσθέτει null state, ο οποίος αντιπροσωπεύει την απουσία της σωστής απάντησης από το candidate set.
Ο null state παίρνει prior mass, βασική συγκέντρωση και πρόσθετο uncertainty evidence όταν τα calibrated confidence scores είναι χαμηλά. Έτσι η αδύναμη υποστήριξη δεν αναδιανέμεται τεχνητά υπέρ μιας διαθέσιμης απάντησης. Στα diagnostics του paper, η μέση πιθανότητα του null state ήταν συστηματικά υψηλότερη όταν η σωστή απάντηση έλειπε από τα generated candidates από ό,τι στις σωστές τελικές προβλέψεις.
Για ένα business workflow, η αναλογία είναι σχεδιαστική ερμηνεία και όχι πειραματικό αποτέλεσμα της μελέτης. Ένας product recommender, support agent ή classifier χρειάζεται επιλογή «ανεπαρκή στοιχεία / ανθρώπινος έλεγχος». Αν το interface επιβάλλει πάντα μία κατηγορία, δημιουργεί ψευδή βεβαιότητα από τον ίδιο του τον σχεδιασμό.
Η posterior mass του επιλεγμένου candidate είναι ενδοπαραδειγματική μέτρηση: δείχνει πόσο ισχυρή είναι η επιλογή απέναντι στις άλλες απαντήσεις και στον null state. Οι calibration metrics ζητούν κάτι διαφορετικό: ανάμεσα σε πολλές προβλέψεις με παρόμοιο score, ποιο ποσοστό είναι πράγματι σωστό;
Η επιλογή του μέγιστου και η προσεγγιστική φύση του evidence model σημαίνουν ότι τα δύο μεγέθη δεν συμπίπτουν αναγκαστικά. Γι’ αυτό οι ερευνητές εφαρμόζουν δεύτερη Platt-style mapping πάνω στην posterior mass του νικητή. Η χαρτογράφηση προσαρμόζεται σε held-out calibration split και μετατρέπει το aggregated score σε binary correctness probability.
Οι ablations δείχνουν ότι τα στάδια κάνουν διαφορετική δουλειά. Το confidence evidence μπορεί να αλλάξει το candidate scoring και μερικές φορές την επιλογή. Χωρίς το τελευταίο calibration, όμως, το raw posterior είχε υψηλό ECE και Brier score σε αρκετές ρυθμίσεις. Η τελική monotonic mapping διορθώνει την κλίμακα χωρίς να αλλάζει τον επιλεγμένο candidate.
Η μελέτη χρησιμοποιεί τρία instruction-tuned open-weight models μέτριας κλίμακας: Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 και Gemma-2-9B-it. Τα benchmarks είναι GSM8K, SVAMP και GSM-Hard. Η επιλογή κρατά το task σε αριθμητικό reasoning, όπου η τελική ορθότητα ελέγχεται με εξαγωγή και ακριβή σύγκριση της αριθμητικής απάντησης.
Οι συγκρίσεις περιλαμβάνουν vanilla verbalized confidence, mean confidence, self-consistency, answer-entropy confidence, Top-K prompting και SteerConf. Όπου ήταν εφικτό, οι μέθοδοι ευθυγραμμίστηκαν σε πέντε observations: DirEAG, mean confidence και SteerConf μοιράζονται τα ίδια πέντε answer-confidence pairs, ενώ self-consistency και entropy χρησιμοποιούν πέντε vanilla samples.
Η αξιολόγηση περιλαμβάνει accuracy, Expected Calibration Error, Brier score, AUROC, PR-P και PR-N. Το ECE χρησιμοποιεί δέκα bins ίσου πλάτους. Τα evaluated examples αποκλείονται από το fitting των παραμέτρων και από την τελική Platt calibration· για SVAMP και GSM-Hard χρησιμοποιείται five-fold cross-fitting.
Τέσσερα τεκμηριωμένα σημεία από τα αποτελέσματα
Οι δύο πρώτες τιμές είναι συγκεκριμένα model–dataset παραδείγματα. Τα ranges προέρχονται από το diagnostic και δεν είναι γενική πρόβλεψη για άλλα workloads.
Στο SVAMP με Qwen2.5-7B, το ECE είναι 0,0176 για το DirEAG, έναντι 0,0477 για mean confidence και 0,0315 για SteerConf. Στο GSM-Hard με Mistral-7B, το ECE είναι 0,0387, έναντι 0,1738 και 0,1886 αντίστοιχα. Συνολικά, το paper αναφέρει χαμηλότερο ECE από direct confidence averaging και SteerConf-style aggregation στις περισσότερες ρυθμίσεις.
Η εικόνα δεν είναι «κερδίζει παντού». Στο GSM8K με Qwen2.5-7B, η self-consistency έχει accuracy 0,9265 και ECE 0,0170, ενώ το DirEAG 0,8908 και 0,0280. Σε άλλα blocks, διαφορετικές μέθοδοι παραμένουν ανταγωνιστικές σε AUROC ή PR-N. Η σωστή ανάγνωση είναι ότι η μέθοδος βελτιώνει συχνά την αξιοποίηση και τη βαθμονόμηση verbalized confidence, όχι ότι υπερέχει καθολικά σε κάθε metric.
Το diagnostic απέναντι σε constant base-rate predictor είναι επίσης σημαντικό. Το DirEAG είχε χαμηλότερο Brier score και στα εννέα settings, με απόλυτη μείωση 0,021 έως 0,086, και AUROC gain 0,229 έως 0,362. Αυτό δείχνει ότι τα observations περιέχουν instance-level πληροφορία και δεν αναπαράγουν απλώς τη μέση accuracy του dataset.
Η πρακτική αξία δεν είναι να αντιγραφούν μηχανικά οι εξισώσεις. Είναι να διαχωριστούν τέσσερα επίπεδα: παραγωγή πολλαπλών observations, διόρθωση συστηματικών biases, συγκέντρωση τεκμηρίων με ρητή δυνατότητα αποχής και τελική βαθμονόμηση πάνω σε πραγματικά labeled outcomes. Η διάκριση evidence από τελική πιθανότητα συμπληρώνει την ανάγκη για ελεγχόμενη σύνθεση πολλών AI σημάτων.
Σε e-commerce ή customer support, ένα μοντέλο μπορεί να εκτιμά πρόθεση μηνύματος, κατηγορία επιστροφής ή καταλληλότητα προϊόντος. Διαφορετικά prompts ή samples μπορούν να λειτουργήσουν ως σήματα, αλλά χρειάζονται αξιολόγηση ανά prompt και workload. Ένα self-reported «90%» δεν ισοδυναμεί με SLA ποιότητας ούτε υποκαθιστά το audit trail για αποφάσεις AI.
Η accuracy απαντά «πόσο συχνά πέτυχε;». Η calibration απαντά «όταν δήλωσε συγκεκριμένη βεβαιότητα, πόσο αξιόπιστη ήταν αυτή η δήλωση;». Το behavioral testing για AI agents πρέπει να μετρά και τα δύο, επειδή ένα threshold αυτοματισμού είναι ασφαλές μόνο όταν το score έχει ελεγχθεί στο ίδιο είδος δεδομένων και κόστους σφάλματος.
Κανόνας παραγωγικής απόφασης
Μόνο όταν το confidence bucket έχει επαληθευτεί σε labeled outcomes του ίδιου workload, το null ή abstain path οδηγεί σε σαφές human handoff, ECE και Brier παραμένουν εντός συμφωνημένων ορίων μετά από drift checks και οι ενέργειες υψηλού αντίκτυπου διατηρούν ανθρώπινη έγκριση. Έλλειψη τεκμηρίου σημαίνει αποχή, όχι αναγκαστική επιλογή.
Το DirEAG είναι research method, όχι plug-and-play policy engine. Ένα χρήσιμο pilot ξεκινά από μία απόφαση με γνωστό ground truth και μετρήσιμο κόστος λάθους. Για παράδειγμα, σε AI agents για customer support μπορεί να βαθμονομείται η ταξινόμηση αιτήματος, ενώ η αποστολή απάντησης και κάθε αλλαγή λογαριασμού μένουν πίσω από human gate.
Από το confidence score σε ελεγχόμενο production threshold
Ξεκινήστε με bounded task, όπως ταξινόμηση intent ή product match. Καταγράψτε χωριστά το κόστος false positive, false negative και αποχής πριν συζητήσετε threshold.
Συλλέξτε αντιπροσωπευτικά cases, ορίστε σαφή verifier και επιλύστε τις διαφωνίες reviewers. Τα training examples δεν πρέπει να επανεμφανίζονται στο held-out calibration και test split.
Χρησιμοποιήστε σταθερές prompt παραλλαγές ή samples και αποθηκεύστε απάντηση, raw confidence, prompt version και outcome. Μην αντιμετωπίζετε συσχετισμένες διατυπώσεις ως πλήρως ανεξάρτητα τεκμήρια.
Μετρήστε πώς μετακινείται η κλίμακα ανά prompt, μοντέλο και κατηγορία task. Διατηρήστε τη monotonic σειρά, αλλά διορθώστε systematic overconfidence ή underconfidence.
Ορίστε τι συμβαίνει όταν λείπει κατάλληλος candidate, τα observations διαφωνούν ή το calibrated evidence είναι ασθενές. Το αποτέλεσμα πρέπει να οδηγεί σε human review και όχι σε αυθαίρετη επιλογή.
Μετρήστε accuracy, ECE, Brier, AUROC και ποσοστό handoff χωρίς αυτόματη επίδραση σε πελάτες. Ελέγξτε τα thresholds ανά business cost και ενσωματώστε τα στο agentic AI security stack.
Κρατήστε model version, prompt version, confidence bucket, τελικό outcome και reviewer override. Όταν αλλάζει το workload ή υποβαθμίζεται η calibration, περιορίστε την αυτονομία και επαναλάβετε το fitting.
Οι συγγραφείς περιορίζουν ρητά τη μελέτη σε numerical mathematical reasoning. Δεν καλύπτει open-ended generation, dialogue, proof-oriented reasoning, multimodal tasks ή domains όπου η ισοδυναμία των απαντήσεων απαιτεί semantic judgment. Σε τέτοιες περιπτώσεις χρειάζονται task-specific verification και διαφορετικοί ορισμοί candidate states.
Τα πειράματα χρησιμοποιούν moderate-scale open-weight models και όχι τα νεότερα frontier models. Οι ερευνητές εξηγούν ότι πολύ ισχυρά μοντέλα μπορεί να κάνουν ελάχιστα λάθη στα συνηθισμένα arithmetic benchmarks, γεγονός που δυσκολεύει failure-aware calibration analysis. Προτείνουν αξιολόγηση σε δυσκολότερα benchmarks με αρκετές σωστές και λάθος προβλέψεις.
Η μέθοδος απαιτεί calibration examples με γνωστή ορθότητα. Επιχειρησιακά, αυτό σημαίνει curated validation set, αξιόπιστο verifier και παρακολούθηση μετατόπισης δεδομένων. Το NIST AI RMF τονίζει τη συνεχή μέτρηση, την τεκμηρίωση και τους σαφείς ρόλους ανθρώπινης εποπτείας· το DirEAG δίνει ένα τεχνικό μοτίβο για confidence aggregation, όχι ολόκληρο πλαίσιο governance.
Το DirEAG αντιμετωπίζει τη confidence ως μετρήσιμο αλλά scale-dependent σήμα. Κρατά τη σειρά των scores μέσα σε κάθε steering level, μαθαίνει διαφορές αξιοπιστίας, συσσωρεύει evidence πάνω στις απαντήσεις και αφήνει χώρο για το ενδεχόμενο να μην υπάρχει σωστή επιλογή.
Για μια επιχείρηση, το μήνυμα είναι συγκεκριμένο: μην αφήνετε ένα LLM να μετατρέπει την αυτοπεποίθησή του απευθείας σε εξουσία δράσης. Μετρήστε τη σχέση κάθε score με πραγματικά outcomes, στο ίδιο task και στα ίδια δεδομένα, και σχεδιάστε από πριν τι σημαίνει αποχή. Ένα αξιόπιστο workflow δεν επιδιώκει μόνο αποφασιστικές απαντήσεις· γνωρίζει πότε το evidence αρκεί και πότε χρειάζεται άνθρωπος.
Από το confidence score σε ασφαλές action
Η TWO DOTS χαρτογραφεί labeled outcomes, confidence thresholds, abstain paths, audit trail, drift monitoring και human approval, ώστε ένα AI workflow να ενεργεί μόνο όταν η βεβαιότητά του έχει επιχειρησιακό νόημα.
Frequently Asked Questions (FAQs)
Το DirEAG είναι μέθοδος Dirichlet Evidence Aggregation που συνδυάζει πολλαπλές απαντήσεις και δηλώσεις confidence ενός fixed black-box LLM, ώστε να επιλέγει candidate και να παράγει βαθμονομημένη πιθανότητα ορθότητας.
Διαφορετικά prompts, μοντέλα και datasets μπορούν να μετακινούν συστηματικά την κλίμακα της δηλωμένης βεβαιότητας. Ο απλός μέσος όρος δεν μαθαίνει αυτές τις αποκλίσεις ούτε την αξιοπιστία κάθε steering level.
Εκφράζει την πιθανότητα ότι η σωστή απάντηση λείπει από το σύνολο των generated candidates. Χωρίς αυτόν, το σύστημα θα μοίραζε όλη την πιθανότητα ανάμεσα σε διαθέσιμες αλλά πιθανώς λανθασμένες επιλογές.
Όχι. Η μέθοδος λειτουργεί post hoc πάνω σε answer-confidence observations ενός fixed black-box model και μαθαίνει μικρό αριθμό παραμέτρων για calibration, reliability weighting και aggregation.
Στα Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 και Gemma-2-9B-it, πάνω στα μαθηματικά benchmarks GSM8K, SVAMP και GSM-Hard.
Όχι. Accuracy και calibration μετρούν διαφορετικές ιδιότητες. Τα αποτελέσματα περιλαμβάνουν περιπτώσεις όπου άλλη μέθοδος έχει υψηλότερη accuracy ή χαμηλότερο ECE, ενώ το DirEAG βελτιώνει συχνά συγκεκριμένες calibration metrics.
Όχι χωρίς νέα επικύρωση. Η έρευνα αφορά αριθμητικό reasoning. Κάθε επιχειρησιακό domain χρειάζεται δικούς του candidates, verifier, labeled calibration set, drift monitoring και πολιτική ανθρώπινης παρέμβασης.
Η αυτοδηλωμένη βεβαιότητα δεν πρέπει να χρησιμοποιείται ως έτοιμη πιθανότητα ή άδεια δράσης. Χρειάζονται πραγματικά outcomes, ρητή δυνατότητα αποχής και thresholds που έχουν επικυρωθεί στο ίδιο workload.
