Forts de plus de 20 ans d'expérience, nous transformons votre présence numérique. Nous sommes spécialisés dans la création de sites web et de boutiques en ligne, le référencement naturel (SEO) et le marketing numérique, les logiciels ERP et les automatisations intelligentes qui permettent à votre entreprise de prendre son envol.
Adresse :
154, rue Egnatia, Thessalonique 546 36
Téléphone :
+30 231 231 4095
E-mail :
[email protected]
Prêts pour la prochaine étape ?;
Το FaithSieve συνδυάζει EdgeUnits, Lean και σημασιολογικό έλεγχο για να εντοπίζει το πρώτο λάθος σε AI μαθηματικές αποδείξεις, με σαφή όρια και υψηλό κόστος.
Η σύντομη απάντηση: το FaithSieve προσπαθεί να βρει όχι απλώς αν μια μαθηματική απόδειξη είναι λανθασμένη, αλλά το πρώτο βήμα όπου παύει να είναι αξιόπιστη. Διασπά την απόδειξη σε τοπικές μεταβάσεις, μετατρέπει τις κρίσιμες μεταβάσεις σε συγκεκριμένες υποχρεώσεις, χρησιμοποιεί SymPy ή Lean για έλεγχο και δέχεται το τυπικό τεκμήριο μόνο όταν παραμένει πιστό στον αρχικό ισχυρισμό. Στα δύο expert-verified benchmarks της εργασίας βελτίωσε τον ακριβή εντοπισμό του πρώτου λάθους, με σημαντικό όμως υπολογιστικό κόστος και χωρίς να καταργεί την ανάγκη ανθρώπινης κρίσης.
Ένα μαθηματικό επιχείρημα μπορεί να καταλήγει στη σωστή απάντηση και παρ’ όλα αυτά να έχει «σπάσει» αρκετά βήματα νωρίτερα. Οι αποδείξεις σε φυσική γλώσσα μπορεί να παραλείπουν προϋποθέσεις, να κάνουν άλματα, να χρησιμοποιούν σιωπηρές υποθέσεις ή να συνεχίζουν πειστικά μετά από ένα πρώιμο σφάλμα. Ένας άμεσος AI κριτής βλέπει το πρόβλημα και όλα τα αριθμημένα βήματα και επιστρέφει είτε «σωστό» είτε τη θέση του πρώτου λάθους. Η διαδικασία είναι απλή, αλλά στηρίζεται κυρίως σε μία συνολική γλωσσική κρίση.
Le travail FaithSieve: Fine-Grained Evaluation of Math Proofs with Faithful Formal Evidence ξεχωρίζει δύο μετρήσεις. Η binary accuracy ελέγχει αν το σύστημα διακρίνει σωστές από λανθασμένες αποδείξεις. Η exact accuracy απαιτεί κάτι αυστηρότερο: να βρεθεί ακριβώς το πρώτο εσφαλμένο βήμα ή να δοθεί η ετικέτα «correct» όταν η απόδειξη είναι σωστή. Η δεύτερη μέτρηση είναι πιο χρήσιμη όταν ο στόχος δεν είναι μόνο η απόρριψη μιας απάντησης, αλλά η ανατροφοδότηση και η διόρθωσή της.
Το ίδιο μοτίβο εμφανίζεται σε επιχειρησιακούς agents. Ένα τελικό αποτέλεσμα μπορεί να φαίνεται αποδεκτό, ενώ η πρώτη λανθασμένη κλήση εργαλείου έχει ήδη αλλοιώσει το state που χρησιμοποιούν όλα τα επόμενα βήματα. Η ανάλυση για το γιατί ένα πρώτο λάθος στο tool calling χαλάει όλη την αλυσίδα δείχνει γιατί το σημείο έναρξης της αστοχίας είναι συχνά πιο σημαντικό από το τελευταίο εμφανές σύμπτωμα.
Το Lean μπορεί να επαληθεύσει μια τυπική μαθηματική πρόταση, αλλά δεν γνωρίζει από μόνο του αν αυτή είναι ακριβώς η πρόταση που εξέφραζε το αρχικό βήμα. Αν μια φυσική απόδειξη ισχυρίζεται πρώτα ότι από το Α προκύπτει το Β και στη συνέχεια ότι από το Β προκύπτει το Γ, η απόδειξη του Α→Γ δεν πιστοποιεί καθεμία από τις δύο τοπικές μεταβάσεις. Ένας ικανός prover μπορεί να βρει συντομότερο δρόμο και να αφήσει ανέλεγκτο το προβληματικό ενδιάμεσο βήμα.
Γι’ αυτό το FaithSieve δεν δίνει ολόκληρη την απόδειξη στο Lean ως ένα ενιαίο αντικείμενο. Διασπά τα χονδροειδή αριθμημένα βήματα σε μικρότερες μεταβάσεις και διατηρεί το τοπικό πλαίσιο: διαθέσιμες υποθέσεις, τρέχοντα στόχο, κλάδους περιπτώσεων, νέους ισχυρισμούς και σχέση με το αρχικό βήμα. Η τοπικότητα δεν είναι απλώς τεχνική βελτιστοποίηση. Είναι προϋπόθεση για να γνωρίζουμε τι ακριβώς πιστοποιήθηκε.
Η μέθοδος κατασκευάζει ένα δέντρο καταστάσεων απόδειξης. Κάθε κόμβος περιγράφει τις διαθέσιμες παραδοχές και τον τρέχοντα υποστόχο. Κάθε ακμή αποτυπώνει μια τοπική λογική μετάβαση, όπως παραγωγή νέου γεγονότος, αντικατάσταση, μείωση στόχου, διαχωρισμό περιπτώσεων, εισαγωγή λήμματος ή επιλογή μάρτυρα. Αυτές οι ακμές ονομάζονται EdgeUnits και γίνονται οι βασικές μονάδες ελέγχου.
Η διάσπαση πρέπει να είναι πιστή, όχι «διορθωτική». Το μοντέλο οφείλει να διατηρεί συμπεράσματα, εμβέλεια μεταβλητών, συγκεκριμένους μάρτυρες, αριθμητικούς υπολογισμούς και διατυπώσεις κλάδων όπως εμφανίζονται στην αρχική απόδειξη. Αν η προεπεξεργασία εξομαλύνει ένα άβολο ή λανθασμένο σημείο, ο ελεγκτής θα εξετάσει μια βελτιωμένη εκδοχή αντί για το πραγματικό αντικείμενο.
Αυτό παραμένει ευαίσθητο σημείο του ίδιου του pipeline. Σε ανθρώπινο audit 50 logs διάσπασης, το τελικό συμφωνημένο αποτέλεσμα ήταν διατήρηση του πρώτου λάθους σε 43 από τις 50 αποδείξεις. Το ποσοστό δείχνει ότι η δομή βοηθά, αλλά η μετατροπή φυσικής γλώσσας σε λεπτομερείς μονάδες δεν είναι αλάνθαστη.
Το δέντρο μπορεί να περιέχει πολύ περισσότερες EdgeUnits από τα αρχικά βήματα. Επειδή η τυπική επαλήθευση είναι ακριβή, το FaithSieve εκτελεί πρώτα ένα ελαφρύτερο Suspicion Search. Για κάθε μετάβαση αξιολογεί το πριν και το μετά, τον στόχο, τον κλάδο και τον τύπο της λογικής πράξης. Στα πειράματα, πάνω από το 80% των βαθμών υποψίας βρισκόταν στα δύο άκρα 0–0,2 και 0,8–1,0, ενώ ως σχετικά ύποπτες θεωρήθηκαν οι ακμές με score πάνω από 0,6.
Το σύστημα δεν επιλέγει απλώς τη μετάβαση με τη μεγαλύτερη βαθμολογία. Επιλέγει την πρώτη ύποπτη μονάδα και εξετάζει ένα μικρό προηγούμενο παράθυρο, επειδή ένα σφάλμα μπορεί να γίνει ορατό μόνο όταν η συνέπειά του εμφανιστεί αργότερα. Στις πειραματικές ρυθμίσεις το audit window ήταν έξι: η ύποπτη μονάδα μαζί με έως έξι προηγούμενες λεπτομερείς μονάδες.
Η λογική είναι οικονομία ελέγχου, όχι παράλειψη ευθύνης. Ένας φθηνός ανιχνευτής προτεραιοποιεί τις μεταβάσεις και ο ακριβότερος prover παράγει ισχυρότερο τεκμήριο μόνο εκεί όπου υπάρχει ουσιαστική υποψία. Σε παραγωγικό περιβάλλον, η ίδια αρχή απαιτεί να καταγράφεται ποιος μηχανισμός έδωσε το risk score και ποια βήματα τελικά δεν ελέγχθηκαν τυπικά.
Μια EdgeUnit περιγράφει τι άλλαξε, αλλά δεν είναι ακόμη μια πρόταση που μπορεί να ελέγξει ένας prover. Το FaithSieve μετατρέπει κάθε επιλεγμένη μετάβαση σε τυποποιημένη υποχρέωση. Οι κατηγορίες περιλαμβάνουν νέο παραγόμενο γεγονός, ισοδύναμη αντικατάσταση, μείωση στόχου, συνδυασμό νέου γεγονότος και μείωσης, κάλυψη περιπτώσεων, απόρριψη αδύνατου κλάδου, έλεγχο μάρτυρα και γενική λογική συνεπαγωγή.
Η διάκριση έχει πρακτική σημασία. Όταν μια μετάβαση ταυτόχρονα εισάγει νέο γεγονός και αλλάζει τον στόχο, το νέο γεγονός δεν επιτρέπεται να χρησιμοποιηθεί ως προϋπόθεση πριν ελεγχθεί. Η μέθοδος δημιουργεί δύο υποχρεώσεις: πρώτα αν ο νέος ισχυρισμός ακολουθεί από το προηγούμενο πλαίσιο και έπειτα αν η αλλαγή στόχου δικαιολογείται με τον ισχυρισμό διαθέσιμο.
Σε ένα επιχειρησιακό workflow, το αντίστοιχο λάθος είναι να χρησιμοποιείται μια απόφαση ως δεδομένο στην ίδια στιγμή που υποτίθεται ότι αξιολογείται. Για παράδειγμα, ένα fraud score δεν πρέπει να θεωρείται επιβεβαιωμένο evidence μέσα στο βήμα που παράγει το ίδιο score. Η σειρά εξαρτήσεων πρέπει να είναι ρητή, ώστε κάθε απόφαση να μπορεί να ελεγχθεί χωρίς κυκλική αιτιολόγηση.
Το δεύτερο κεντρικό πρόβλημα είναι η σημασιολογική απόκλιση. Κατά την αυτόματη μετατροπή από φυσική γλώσσα σε Lean μπορεί να χαθεί μια υπόθεση, να αλλάξει ένα αντικείμενο, να αντιστραφεί η φορά μιας συνεπαγωγής, να αλλάξει η σειρά ποσοδεικτών ή να αποδυναμωθεί το συμπέρασμα. Τότε το Lean μπορεί να αποδείξει άψογα μια πρόταση που δεν αντιστοιχεί πλέον στον αρχικό ισχυρισμό.
Το FaithSieve εισάγει βαθμολογία πιστότητας που συνδυάζει τη διατήρηση των προϋποθέσεων, τη διατήρηση του συμπεράσματος και μια ολιστική σημασιολογική αξιολόγηση. Η τελευταία εξετάζει πέντε όψεις: πιστότητα της ίδιας μετάβασης, των αντικειμένων και μαρτύρων, της κατεύθυνσης, των λογικών ρόλων και της συντακτικής επιφάνειας. Η κατεύθυνση, η στοίχιση ρόλων και η πιστότητα του συμπεράσματος είναι κρίσιμες. Ένας υψηλός μέσος όρος δεν «σβήνει» την απόδειξη του αντιστρόφου ή την υιοθέτηση του ζητούμενου ως υπόθεσης.
Κανόνας πιστότητας
Μην αποδέχεστε τεκμήριο πριν ελέγξετε ότι απαντά στην αρχική ερώτηση
Η τεχνική εγκυρότητα και η σημασιολογική συνάφεια είναι δύο διαφορετικοί έλεγχοι. Ένα proof, test ή policy check αποκτά αξία μόνο όταν οι προϋποθέσεις, τα αντικείμενα, η κατεύθυνση και το συμπέρασμα παραμένουν ευθυγραμμισμένα με την πραγματική απόφαση που πρέπει να ληφθεί.
Για καθαρά αριθμητικές ισότητες και συγκρίσεις χωρίς μεταβλητές ή φυσικογλωσσική εξήγηση, χρησιμοποιείται ένας ελαφρύς έλεγχος με SymPy. Για τις υπόλοιπες υποχρεώσεις παράγεται δήλωση Lean, διορθώνονται πιθανά προβλήματα σύνταξης ή τύπων, εφαρμόζεται η σημασιολογική πύλη και μόνο τότε ξεκινά η αναζήτηση τυπικής απόδειξης. Αν υπάρχει υποψία λάθους, ο agent μπορεί να επιχειρήσει την άρνηση της πρότασης ή να αναζητήσει αντιπαράδειγμα.
Το αποτέλεσμα για κάθε τοπική υποχρέωση είναι passed, refuted ή inconclusive. Η αποτυχία αναζήτησης απόδειξης δεν βαφτίζεται μαθηματικό σφάλμα, επειδή μπορεί να οφείλεται σε timeout, βιβλιοθήκες, compiler errors ή δυσκολία αναπαράστασης. Στο τέλος, τα τοπικά τεκμήρια επιστρέφουν στα αρχικά αριθμημένα βήματα και το σύστημα επιλέγει το πρώτο σημείο με αξιόπιστη αρνητική ένδειξη.
Η κατηγορία inconclusive είναι ουσιώδης για ασφαλή αυτοματοποίηση. Εμποδίζει το σύστημα να μετατρέπει την έλλειψη αποδείξεων σε βεβαιότητα. Σε customer support, οικονομικές εγκρίσεις ή ρυθμιζόμενο περιεχόμενο, ένα τέτοιο αποτέλεσμα πρέπει να οδηγεί σε human handoff και όχι σε αυθαίρετο pass ή block.
Οι ερευνητές δημιούργησαν δύο σύνολα δεδομένων. Το ProofLoc-Olympiad περιλαμβάνει 350 προβλήματα άλγεβρας και θεωρίας αριθμών. Το ProofLoc-University περιλαμβάνει 200 προβλήματα από τοπολογία, γραμμική άλγεβρα, αφηρημένη άλγεβρα, πραγματική ανάλυση, κυρτή ανάλυση και κυρτή βελτιστοποίηση. Οι υποψήφιες αποδείξεις παράχθηκαν από GPT-4o και επισημάνθηκαν από ειδικούς ως προς την ορθότητα και το πρώτο λανθασμένο χονδροειδές βήμα.
Με backbone GPT-5.4, το FaithSieve πέτυχε 81,43% exact accuracy στο Olympiad, έναντι 72,29% του άμεσου κριτή, και 93,71% binary accuracy έναντι 88,29%. Στο University πέτυχε 84,50% exact έναντι 75,00% και 92,50% binary έναντι 87,00%. Τα ποσοστά αφορούν αυτά τα συγκεκριμένα benchmarks και τις περιγραφόμενες ρυθμίσεις. Δεν αποτελούν γενική πιστοποίηση για κάθε μαθηματικό πεδίο ή κάθε επιχειρησιακό workflow.
Η εικόνα της αξιολόγησης FaithSieve
Αποτελέσματα της πρωτογενούς εργασίας σε expert-verified benchmarks, όχι πρόβλεψη παραγωγικής απόδοσης.
Η εικόνα διαφέρει ανά γνωστικό αντικείμενο. Στο University, η exact accuracy ήταν 100% στη γραμμική άλγεβρα, 97,5% στην αφηρημένη άλγεβρα, 80% στην τοπολογία, την πραγματική ανάλυση και την κυρτή βελτιστοποίηση, και 60% στην κυρτή ανάλυση. Οι συγγραφείς δίνουν Wilson 95% confidence intervals, τα οποία παραμένουν ευρέα σε κατηγορίες με μόνο 20 έως 40 παραδείγματα.
Οι αφαιρετικές δοκιμές αποκαλύπτουν ποια συστατικά συνεισφέρουν. Στο Olympiad με GPT-5.4, η πλήρης μέθοδος έφτασε 81,43% exact accuracy. Η εκδοχή χωρίς τοπικές EdgeUnits έπεσε στο 60,86%, ενώ η εκδοχή χωρίς σημασιολογική πύλη στο 70,86%. Η εκδοχή με EdgeUnits αλλά μόνο φυσικογλωσσικό έλεγχο, χωρίς Lean και αριθμητικά τεκμήρια, έφτασε 73,43%.
Τα αποτελέσματα υποστηρίζουν δύο ξεχωριστές θέσεις της μελέτης: η διάσπαση σε τοπικά, ελέγξιμα αντικείμενα έχει μεγάλη αξία, αλλά η τυπική επιτυχία πρέπει να φιλτράρεται ως προς το νόημα. Χωρίς τη σημασιολογική πύλη, μια τεχνικά έγκυρη αλλά μετατοπισμένη δήλωση μπορεί να μολύνει την τελική απόφαση.
Βλέπει το πρόβλημα και ολόκληρη την απόδειξη, έπειτα προβλέπει «correct» ή το πρώτο λάθος σε ένα πέρασμα. Είναι φθηνότερος και απλούστερος, αλλά η κρίση του δεν συνοδεύεται από τοπικό, τυπικό τεκμήριο.
Διασπά τη διαδρομή, προτεραιοποιεί ύποπτες μεταβάσεις, δημιουργεί typed obligations και δέχεται Lean evidence μόνο μετά από semantic alignment. Προσφέρει πλουσιότερο audit trail με πολύ υψηλότερο κόστος.
Το εύρημα συνδέεται άμεσα με τους περιορισμούς που έχουν οι LLM judges όταν αξιολογούν σύνθετη συμπεριφορά AI agents. Περισσότερη ισχύς μοντέλου δεν αντικαθιστά αναγκαστικά την αποσύνθεση του προβλήματος, το κατάλληλο εργαλείο ελέγχου και την καταγραφή του evidence.
Η βελτίωση δεν είναι δωρεάν. Σε σταθερή αξιολόγηση 50 προβλημάτων, η καταγεγραμμένη μέση κατανάλωση για GPT-5.4 ήταν 910,74 tokens ανά πρόβλημα για Direct@1 και 124.970,56 για FaithSieve, δηλαδή 137,22 φορές μεγαλύτερη. Για Qwen3.5-9B, η αναλογία ήταν 152,11 φορές. Η εργασία δείχνει επίσης ότι η διάθεση αντίστοιχου budget σε επαναλαμβανόμενες φυσικογλωσσικές κρίσεις δεν αναπαρήγαγε το ίδιο κέρδος, όμως αυτό δεν κάνει την προτεινόμενη μέθοδο φθηνή.
Υπάρχουν ακόμη περιορισμοί κάλυψης και αξιοπιστίας. Η παραγωγή δήλωσης, η επιδιόρθωση compile errors, η αναζήτηση απόδειξης και η κανονικοποίηση τεκμηρίων μπορεί να αποτύχουν ή να λήξουν χρονικά. Ασυμφωνίες ανάμεσα στις έννοιες της φυσικής γλώσσας και στους ορισμούς του mathlib μπορεί να μετατρέψουν έναν ελέγξιμο ισχυρισμό σε αβέβαιο αποτέλεσμα. Η γεωμετρία και η συνδυαστική απαιτούν διαγράμματα, κατασκευές ή ειδικές κωδικοποιήσεις που δεν καλύπτονται επαρκώς από τα συγκεκριμένα benchmarks.
Ως προσεκτική επιχειρηματική ερμηνεία, το FaithSieve προσφέρει μοτίβο σχεδιασμού για κρίσιμες διαδικασίες: διάσπαση εργασίας, ταξινόμηση ρίσκου, επιλογή των σημείων που αξίζουν ακριβό έλεγχο, παραγωγή τεκμηρίου, έλεγχος ότι το τεκμήριο αφορά πράγματι τον αρχικό ισχυρισμό και σαφής διατήρηση της αβεβαιότητας. Δεν αποδεικνύει ότι η ίδια επίδοση μεταφέρεται σε άλλο domain. Δείχνει όμως γιατί μια αλυσίδα επαλήθευσης χρειάζεται περισσότερα από έναν δεύτερο LLM κριτή.
Για ομάδες προϊόντος και AI governance, η ουσιώδης ερώτηση είναι αν ο reviewer μπορεί να δει ποια μικρή απόφαση ελέγχθηκε, με ποιο τεκμήριο, ποιο ήταν το πλαίσιο και τι έμεινε αβέβαιο. Ένα «verified» badge χωρίς αυτή την αλυσίδα μπορεί να δημιουργεί ψευδή ασφάλεια. Η εργασία παρουσιάζει το FaithSieve ως βοήθημα audit, όχι ως αυτόματο αντικαταστάτη της ανθρώπινης μαθηματικής κρίσης.
Η πρακτική διακυβέρνηση ενός AI agent στο runtime χρειάζεται ακριβώς αυτή τη διάκριση: άλλο το policy, άλλο το trace της πραγματικής εκτέλεσης και άλλο η απόδειξη ότι το trace παραμένει ευθυγραμμισμένο με την απόφαση που ζητήθηκε. Οι ελεγχόμενες Knowledge Cards μπορούν αντίστοιχα να κρατούν ορατές τις πηγές, τα όρια και την έκδοση μιας γνώσης, χωρίς να μετατρέπουν την τεκμηρίωση σε αλάθητο αποτέλεσμα.
Η μεταφορά του μοτίβου εκτός μαθηματικών πρέπει να ξεκινά από το πραγματικό workflow και το κόστος αστοχίας. Δεν χρειάζεται κάθε βήμα Lean. Χρειάζεται όμως κάθε κρίσιμη απόφαση να συνδέεται με κατάλληλο evidence και σαφή διαδρομή escalation.
Επτά βήματα από το τελικό label στο ελέγξιμο evidence
Διατυπώστε το αντικείμενο της απόφασης, τις επιτρεπτές προϋποθέσεις και το αποδεκτό αποτέλεσμα. Μια γενική ερώτηση όπως «είναι σωστό;» δεν αρκεί για τοπικό audit.
Καταγράψτε input, προηγούμενες εγκρίσεις, εργαλεία, αλλαγές κατάστασης και output κάθε βήματος. Το σημείο ελέγχου πρέπει να είναι μικρότερο από ολόκληρη τη διαδικασία.
Χρησιμοποιήστε domain rules, thresholds και anomaly signals για προτεραιοποίηση, χωρίς να παρουσιάζετε το risk score ως τελική απόδειξη.
Επιλέξτε deterministic rule, database constraint, unit test, policy engine, εξωτερική επιβεβαίωση ή ανθρώπινο review ανάλογα με τον ισχυρισμό. Ένας LLM judge δεν είναι καθολικός ελεγκτής.
Συγκρίνετε οντότητες, προϋποθέσεις, κατεύθυνση και συμπέρασμα πριν δεχθείτε ένα pass. Αλλαγή wording ή schema μπορεί να έχει αλλάξει το ίδιο το ερώτημα.
Timeout, έλλειψη δεδομένων ή αδυναμία επαλήθευσης δεν σημαίνουν ούτε σωστό ούτε λάθος. Συνδέστε τα με human handoff και καταγεγραμμένη αιτιολόγηση.
Παρακολουθήστε false passes, false blocks, λάθος localization, χρόνο review και κόστος ανά ελεγμένη υπόθεση. Ενημερώστε το test set όταν εμφανίζονται νέα failure modes.
Η μέθοδος έχει δυνητική αξία για AI proof assistants, εκπαιδευτική ανατροφοδότηση και ποιοτικό έλεγχο παραγόμενων αποδείξεων, επειδή επιχειρεί να δείξει πού έγινε η πρώτη ουσιαστική αστοχία. Στα υπολειπόμενα σφάλματα του FaithSieve, το μεγαλύτερο μέρος αφορούσε λανθασμένη τοποθέτηση του πρώτου λάθους και όχι απλή σύγχυση σωστού/λανθασμένου: 43 από τα 65 exact errors στο Olympiad και 16 από τα 31 στο University ανήκαν σε αυτή την κατηγορία.
Αυτό προσγειώνει τον ενθουσιασμό. Ακόμη και με τυπικά τεκμήρια, η ακριβής χαρτογράφηση από τοπικές μεταβάσεις πίσω στα βήματα της φυσικής απόδειξης παραμένει δύσκολη. Η υπεύθυνη χρήση απαιτεί να εμφανίζονται χωριστά η σημασιολογική πιστότητα, η κατάσταση τυπικής επαλήθευσης και η τελική πρόβλεψη. Το inconclusive δεν σημαίνει λάθος και ένα επιτυχημένο Lean proof πιστοποιεί μόνο το συγκεκριμένο ζεύγος φυσικής και τυπικής πρότασης.
Η ποιοτική ανατροφοδότηση πρέπει να είναι διορθώσιμη: να δείχνει ποια μετάβαση αμφισβητείται, ποια προϋπόθεση λείπει, ποιο evidence χρησιμοποιήθηκε και τι θα χρειαζόταν για να αλλάξει η απόφαση. Έτσι το audit δεν καταλήγει σε ένα αδιαφανές score, αλλά σε συγκεκριμένη εργασία για τον άνθρωπο ή το σύστημα που θα επανεξετάσει το βήμα.
Το FaithSieve μετακινεί την αξιολόγηση από το «ρώτησε ένα ισχυρότερο μοντέλο» προς το «οργάνωσε το πρόβλημα σε ελέγξιμες υποχρεώσεις και απαίτησε πιστό τεκμήριο». Στα δύο expert-verified benchmarks βελτίωσε τόσο την ταξινόμηση όσο και τον ακριβή εντοπισμό του πρώτου σφάλματος, με σημαντικό όμως κόστος και σαφή όρια πεδίου.
Για τους ανθρώπους που σχεδιάζουν AI προϊόντα, το διαχρονικό μήνυμα είναι η ιχνηλασιμότητα. Όταν η απάντηση έχει συνέπειες, η ποιότητα δεν κρίνεται μόνο από την αυτοπεποίθηση ή το τελικό label. Κρίνεται από το αν κάθε κρίσιμο βήμα μπορεί να συνδεθεί με το σωστό πλαίσιο, το κατάλληλο αποδεικτικό μέσο και μια ειλικρινή δήλωση αβεβαιότητας.
Αυτοματισμοί επιχειρήσεων & AI
Σχεδιάστε AI workflows που δείχνουν πού και γιατί απέτυχε μια απόφαση
Η TWO DOTS μπορεί να χαρτογραφήσει state, risk checkpoints, deterministic verifiers, audit logs και human handoff για επιχειρησιακούς AI αυτοματισμούς, ώστε ένα pass ή block να συνοδεύεται από ελέγξιμο evidence.
Foire aux questions (FAQ)
Είναι ερευνητικό πλαίσιο που διασπά αποδείξεις φυσικής γλώσσας σε τοπικές μονάδες, δημιουργεί συγκεκριμένες υποχρεώσεις και χρησιμοποιεί SymPy, Lean και σημασιολογικό έλεγχο για να εντοπίσει το πρώτο μη αξιόπιστο βήμα.
Επειδή μια απόδειξη μπορεί να φτάσει στο σωστό αποτέλεσμα μετά από λογικό άλμα, λανθασμένη υπόθεση ή μη δικαιολογημένη μετάβαση. Για διορθώσιμη ανατροφοδότηση χρειάζεται να βρεθεί το πρώτο σημείο όπου χαλάει η διαδρομή.
Είναι τοπικές μεταβάσεις ανάμεσα σε καταστάσεις απόδειξης. Καθεμία διατηρεί το πριν και το μετά, τις διαθέσιμες υποθέσεις, τον στόχο, τον κλάδο και τον τύπο της λογικής ενέργειας.
Με backbone GPT-5.4, πέτυχε 81,43% exact accuracy στο ProofLoc-Olympiad και 84,50% στο ProofLoc-University, έναντι 72,29% και 75,00% του αντίστοιχου direct judge.
Επειδή το Lean πιστοποιεί τη δήλωση που του δόθηκε. Αν η αυτόματη τυποποίηση άλλαξε υπόθεση, αντικείμενο, ποσοδείκτη, κατεύθυνση ή συμπέρασμα, η απόδειξη μπορεί να είναι έγκυρη αλλά άσχετη με τον αρχικό ισχυρισμό.
Passed σημαίνει ότι βρέθηκε έγκυρο τεκμήριο για μια πιστή τοπική δήλωση, refuted ότι επαληθεύτηκε η άρνηση ή αντιπαράδειγμα, και inconclusive ότι τα διαθέσιμα στοιχεία δεν αρκούν για ασφαλή απόφαση.
Όχι. Στη δημοσιευμένη δοκιμή κόστους 50 προβλημάτων, η μέση κατανάλωση tokens ήταν 137,22 φορές μεγαλύτερη από Direct@1 για GPT-5.4 και 152,11 φορές για Qwen3.5-9B.
Να σπάει τις κρίσιμες AI αποφάσεις σε ελέγξιμα βήματα, να ταιριάζει κάθε βήμα με κατάλληλο verifier, να ελέγχει την πιστότητα του evidence και να διατηρεί ρητή έξοδο inconclusive με ανθρώπινο handoff.
