Forts de plus de 20 ans d'expérience, nous transformons votre présence numérique. Nous sommes spécialisés dans la création de sites web et de boutiques en ligne, le référencement naturel (SEO) et le marketing numérique, les logiciels ERP et les automatisations intelligentes qui permettent à votre entreprise de prendre son envol.
Adresse :
154, rue Egnatia, Thessalonique 546 36
Téléphone :
+30 231 231 4095
E-mail :
[email protected]
Prêts pour la prochaine étape ?;
Το CDRL μετατρέπει την αιτία μιας αποτυχίας σε επαναχρησιμοποιήσιμο constraint. Τι έδειξε το benchmark και πότε το μοτίβο βοηθά ασφαλή AI workflows.
Το CDRL δεν μαθαίνει μόνο ότι απέτυχε: χρησιμοποιεί symbolic certificate για να απομονώσει τον συνδυασμό αποφάσεων που προκάλεσε την αποτυχία και να τον μετατρέψει σε hard constraint. Στην προδημοσίευση για neutrino flavor model discovery πέτυχε έως 1,95× υψηλότερο valid-model rate και έως 6,33× υψηλότερο neutrino-model rate, αξιολογώντας έως 4× λιγότερους candidates. Για επιχειρησιακά AI agents, το μοτίβο έχει αξία μόνο όταν ο verifier είναι αξιόπιστος, τα constraints είναι versioned και οι αμφίσημες κρίσεις παραμένουν soft signals με ανθρώπινη εποπτεία.
Τι θα συνέβαινε αν ένα σύστημα τεχνητής νοημοσύνης δεν μάθαινε απλώς ότι μια απάντηση είναι λάθος, αλλά καταλάβαινε ποιο ακριβώς σύνολο επιλογών την έκανε αδύνατη και απέκλειε ολόκληρη την ίδια κατηγορία λαθών; Αυτή είναι η βασική ιδέα του Certification-Driven Reinforcement Learning, μιας νευρο-συμβολικής μεθόδου που παρουσιάστηκε τον Αύγουστο του 2026 για την αναζήτηση μοντέλων γεύσης νετρίνων.
Το πεδίο εφαρμογής είναι ακραίο: ο χώρος υποψήφιων θεωριών ξεπερνά τα 1026 μοντέλα και κάθε πλήρης αξιολόγηση απαιτεί συμβολικούς και αριθμητικούς υπολογισμούς. Η εξαντλητική αναζήτηση δεν είναι πρακτική. Το CDRL συνδυάζει policy-value network, Monte Carlo Tree Search, SAT constraints και certificates αποτυχίας, ώστε κάθε αποτυχημένη δοκιμή να αφήνει πίσω της επαναχρησιμοποιήσιμη γνώση.
Η επιχειρηματική αξία δεν βρίσκεται στη φυσική των νετρίνων καθαυτή. Βρίσκεται στο αρχιτεκτονικό μοτίβο: όταν η επαλήθευση είναι ακριβή και οι κανόνες μπορούν να εκφραστούν με ακρίβεια, το feedback μπορεί να αλλάζει όχι μόνο το τι προτιμά το μοντέλο αλλά και το τι επιτρέπεται να ξαναδοκιμάσει.
Στο κλασικό reinforcement learning, ένας agent κατασκευάζει μια λύση και λαμβάνει έναν αριθμό ως reward. Ο αριθμός μπορεί να δείξει ότι η λύση ήταν κακή, δεν λέει όμως ποια από τις δεκάδες αποφάσεις προκάλεσε το πρόβλημα. Η policy αλλάζει λίγο μέσω gradient update, αλλά η ίδια ή μια ισοδύναμη αδιέξοδη διαδρομή παραμένει διαθέσιμη.
Σε έναν μεγάλο συνδυαστικό χώρο αυτή η έλλειψη εξήγησης κοστίζει. Ο agent μπορεί να επιστρέφει σε παραλλαγές της ίδιας άκυρης ιδέας και να ξοδεύει ξανά την ακριβή διαδικασία επαλήθευσης. Η διάκριση συνδέεται άμεσα με την επαλήθευση πολιτικών reinforcement learning: άλλο είναι να μετράς μια έκβαση και άλλο να αποδεικνύεις γιατί μια κατάσταση δεν πρέπει να είναι προσβάσιμη.
Το CDRL αντιμετωπίζει την αποτυχία ως δομημένη πληροφορία. Ένας εξωτερικός verifier δεν επιστρέφει μόνο «αποτυχία», αλλά certificate που κατονομάζει τις αναθέσεις οι οποίες παραβίασαν τον περιορισμό. Το scalar reward αλλάζει την πιθανότητα μιας επιλογής. Το certificate γίνεται conflict clause και αλλάζει τον ίδιο τον χώρο αναζήτησης.
Το Καθιερωμένο Πρότυπο περιγράφει με μεγάλη ακρίβεια τα θεμελιώδη σωματίδια και τις αλληλεπιδράσεις τους, αλλά στην αρχική του μορφή προβλέπει νετρίνα χωρίς μάζα, ενώ τα πειράματα δείχνουν ότι έχουν μάζα. Μία κατεύθυνση μοντελοποίησης προσθέτει δεξιόστροφα νετρίνα και scalar particles που ονομάζονται flavons, μαζί με συμμετρίες που περιορίζουν τη δομή των αλληλεπιδράσεων.
Κάθε υποψήφια θεωρία περιλαμβάνει επιλογές για σωματίδια, μη αναγώγιμες αναπαραστάσεις συμμετρίας, αβελιανά φορτία και vacuum expectation values. Από αυτές παράγεται Lagrangian, εξάγονται mass matrices, γίνεται αριθμητικό fitting και η πρόβλεψη συγκρίνεται με πειραματικά observables. Μικρές αλλαγές στις αναθέσεις μπορούν να οδηγήσουν σε εντελώς διαφορετικό αποτέλεσμα.
Οι authors ορίζουν ως neutrino model μια structurally valid λύση με χ2 έως 10 και έως 7 ελεύθερες παραμέτρους. Δεν αρκεί μια λύση να είναι τυπικά έγκυρη. Πρέπει να συμφωνεί με τα δεδομένα χωρίς να γίνεται υπερβολικά περίπλοκη. Αυτό κάνει το πρόβλημα κατάλληλο για CDRL: έχει διακριτές επιλογές, σαφείς constraints και ακριβό terminal verifier.
Ο agent κατασκευάζει κάθε μοντέλο διαδοχικά, block προς block. Μια policy-value network προτείνει την επόμενη ανάθεση και εκτιμά την αξία της κατάστασης. Το Monte Carlo Tree Search ισορροπεί exploration και exploitation, ενώ ένας SAT-based referee ελέγχει σε κάθε κόμβο ποιες ενέργειες παραμένουν νόμιμες.
Αν το μοντέλο περάσει την αξιολόγηση, η διαδρομή και το reward αποθηκεύονται στο replay buffer. Αν αποτύχει, ο certificate analyzer εντοπίζει τις υπεύθυνες αναθέσεις και τις μετατρέπει σε clause σε conjunctive normal form. Το clause μπαίνει σε κοινή βάση constraints και εφαρμόζεται στις επόμενες αναζητήσεις.
Όταν ο agent εξετάζει μια νέα κίνηση, τα literals της προστίθενται στον solver. Αν η διάδοση οδηγήσει σε conflict, η κίνηση αφαιρείται από το legal-action mask πριν την κατατάξει το neural network. Έτσι, το learning προτείνει, η συμβολική λογική αποκλείει και το MCTS σχεδιάζει πάνω στον χώρο που απομένει. Είναι η ίδια αρχή που κάνει χρήσιμες τις αποδείξεις και τους ελέγχους εγκυρότητας σε AI-assisted software: η έξοδος του μοντέλου δεν εκτελείται επειδή απλώς φαίνεται πειστική.
Το πρώτο certificate αφορά ανεπαρκή rank. Το σύστημα αφαιρεί προσωρινά τον αβελιανό τομέα και εξετάζει μόνο τις μη αβελιανές αναπαραστάσεις και την επιλογή VEV. Αν η mass matrix παραμένει rank-deficient για κάθε πιθανό charge assignment, τότε κανένα αβελιανό φορτίο δεν μπορεί να σώσει τη συγκεκριμένη δομή. Το clause αποκλείει αυτόν τον συνδυασμό representations και VEV, όχι όλες τις εναλλακτικές VEV.
Το δεύτερο certificate εντοπίζει reducible αβελιανές συμμετρίες. Αν όλα τα φορτία ενός μοντέλου Zₙ έχουν κοινό διαιρέτη, το μοντέλο είναι ισοδύναμο με μοντέλο μικρότερης ομάδας Zₙ/d. Η μέθοδος ελέγχει τη σχέση και προς τις δύο κατευθύνσεις, ώστε να μην ξοδεύει χρόνο σε διαφορετικές γραφές της ίδιας φυσικής.
Το τρίτο αξιοποιεί την αυτομορφία αντιστροφής φορτίων. Η αντικατάσταση κάθε φορτίου q από −q modulo N διατηρεί τον selection rule, άρα η αντεστραμμένη ανάθεση δεν χρειάζεται να εξεταστεί ως ξεχωριστή θεωρία. Οι authors σημειώνουν ότι αυτομορφίες υψηλότερης τάξης αποτελούν μελλοντική επέκταση, όχι μέρος των πειραμάτων.
Scalar reward
Μετρά πόσο καλή ήταν η τελική λύση και μετακινεί σταδιακά την policy. Δεν απομονώνει από μόνο του ποια προηγούμενη ανάθεση δημιούργησε το conflict.
Failure certificate
Κατονομάζει ένα αποδεδειγμένα άκυρο μοτίβο αναθέσεων και το μετατρέπει σε clause που το BCP αποκλείει σε κάθε επόμενη αναζήτηση.
Human or statistical rule
Κατευθύνει την αναζήτηση όταν το evidence είναι ενδεικτικό ή context-dependent. Παραμένει versioned soft bias και δεν αφαιρεί νόμιμες επιλογές.
L'évaluation a été réalisée dans les trois mêmes lieux qu'avec la méthode AMBer précédente : A4×Z4 contenant jusqu'à 5 flavones, A4×Zₙ pour N compris entre 2 et 10 et jusqu'à 5 flavones, et T19×Z4 contenant jusqu'à 6 flavones. Les espaces gagnent en richesse en termes de symétrie et de difficulté des combinaisons.
Les indicateurs clés étaient le pourcentage de modèles « structurally valid », le pourcentage de modèles de neutrinos viables et le nombre minimal de paramètres libres. La comparaison principale a été effectuée avec AMBer, qui utilisait un réseau neuronal profond et l'algorithme PPO. Ont également été inclus la recherche aléatoire, le « few-shot prompting » avec GPT-5.3, AlphaZero et des ablations sans composants spécifiques.
Le modèle de référence LLM comprenait une description du problème, un format et trois exemples « few-shot », mais ne comportait ni recherche, ni propagation SAT, ni raffinement itératif, ni retour d'information sur les certificats. Les sorties ont été traitées par le même pipeline physique et les résultats invalides ou non analysables ont été comptabilisés comme des échecs. Ce résultat ne démontre pas une insuffisance générale des LLM ; il montre simplement qu’une invite dépourvue d’outils et de boucle de rétroaction n’a pas pu se substituer à la recherche contrainte dans ce domaine spécifique.
Quatre dimensions vérifiées du CDRL
Les améliorations maximales proviennent des trois « theory spaces » testés dans la prépublication et ne constituent pas une prévision des performances opérationnelles.
Dans l'espace A4×Zₙ, le CDRL a obtenu 26,91 TP3T de modèles valides contre 13,791 TP3T pour l'AMBer, soit une amélioration de 1,95 fois. Le pourcentage de modèles de neutrinos était de 0,191 TP3T contre 0,031 TP3T, soit 6,33 fois plus élevé. Dans les deux autres domaines, les améliorations par rapport à AMBer ont également été positives : 1,44 et 1,65 fois pour les taux de validité, et 5 et 3 fois pour les taux de neutrinos, respectivement.
L'efficacité d'échantillonnage est plus facile à appréhender lorsque l'on examine les nombres de comptes. Dans A4×Z4, le CDRL a évalué 1 million de modèles et en a identifié 1 090, tandis que l'AMBer en a évalué 4 millions et en a identifié 683. Dans l'A4×Zₙ, les chiffres correspondants étaient de 1 million et 2 343 pour le CDRL, contre 4 millions et 1 394 pour l'AMBer.
Sur T19×Z4, le CDRL a évalué 6 millions de candidats et a identifié 7 019 modèles de neutrinos. L'AMBer a utilisé 24 millions d'évaluations pour en identifier 6 439. L'étude a également examiné la couverture : le CDRL a trouvé des modèles dans une distribution plus large de groupes Zₙ, sans que la récompense n'incite à privilégier les groupes d'ordre supérieur. Les certificats de réductibilité éliminaient les représentations équivalentes au lieu de les compter à nouveau.
La suppression de n'importe quel composant essentiel a entraîné une baisse des performances. Sans réseau neuronal ni MCTS, la découverte de modèles de neutrinos a pratiquement disparu. Sans certificats symboliques, la recherche a continué à fonctionner, mais à A4×Zₙ : le taux de validité est passé de 26,91 TP3T à 16,21 TP3T et le taux de neutrinos de 0,191 TP3T à 0,031 TP3T.
Sans partage de portefeuille, les performances ont diminué et la variance a augmenté. Dans l'implémentation complète, de nombreux workers effectuent indépendamment des parties d'auto-entraînement MCTS, mais partagent un tampon de relecture et une base mondiale de clauses de conflit. Un certificat trouvé par un worker est immédiatement appliqué aux autres, tandis que les évaluations terminales exactes sont stockées dans un cache commun. Ce schéma rappelle pourquoi le Contrôle de la concurrence dans les systèmes multi-agents Il faut un cadre commun assorti de règles claires en matière de communication.
Il n'existe donc pas d'algorithme « magique ». La puissance provient de la combinaison de l'apprentissage, de la planification, de la vérification symbolique et de la mémoire partagée. L'article montre également que les règles doivent avoir un poids différent : la validité d'une trace de raisonnement d'IA cela ne signifie pas qu'une heuristique est valable simplement parce qu'elle est apparue souvent.
Après l'apprentissage, les auteurs ont extrait des états à haut niveau de confiance à partir des traces MCTS et ont entraîné des arbres de décision peu profonds à différents stades d'avancement. À partir des chemins « racine-feuille », ils ont extrait 40 règles simples de la forme « si ces attributions précédentes sont valables, privilégie cette action suivante ».
Les règles ne sont pas devenues des contraintes strictes. Elles ont été utilisées comme biais souple rééquilibrant la politique avec β = 0,5, tandis que le masque de légalité reste le contrôle symbolique final. Dans des expériences à plus petite échelle, leur réutilisation a permis d'obtenir des taux de validité environ 1,5 à 2 fois plus élevés et une détection des modèles de neutrinos 2 à 3 fois plus importante dans les trois espaces. Les valeurs absolues de ces simulations à plus petite échelle ne sont pas directement comparables aux résultats à grande échelle.
L'article fait preuve de prudence : une règle peut sembler solide parce qu'elle a été déduite d'un sous-ensemble restreint et sélectif de trajectoires, et non parce qu'elle exprime une loi physique fondamentale. Ces 40 règles sont des hypothèses destinées à être examinées par l'homme, et non des découvertes scientifiques automatiques. Cette distinction est également cruciale pour la hygiène mémorielle des agents IA: la mémoire commune doit savoir ce qu'est une démonstration, ce qu'est une heuristique et quand celle-ci prend fin.
Le transfert vers des systèmes opérationnels est une extension analytique, et non un résultat testé dans l'article. Néanmoins, ce modèle est utile. Un workflow d'IA dédié à la tarification, à la conformité, à la configuration, à la logistique ou à la synthèse de code comporte souvent des contrôles déterministes. Si ceux-ci ne renvoient qu'un résultat ’ réussi/échoué », on passe à côté de la possibilité de transformer l'échec en contrainte réutilisable.
Un système de production peut distinguer quatre rôles : un composant génératif qui propose, un planificateur qui explore, un vérificateur qui renvoie des codes de raisonnement lisibles par machine ou des ensembles de conflits minimaux, et un magasin de contraintes qui n'applique que les règles approuvées. La mémoire commune ne stocke pas simplement de mauvaises réponses, mais des éléments versionnés concernant les catégories de situations qui les rendent invalides.
Dans le commerce électronique, par exemple, un certificat peut exclure une combinaison d’expédition, de stock et de contrainte réglementaire qui est objectivement impossible. Dans la génération de code, il peut provenir d’un compilateur, de tests ou d’un moteur de règles. Dans le service client, en revanche, une « mauvaise formulation » n’est souvent pas un fait avéré. Dans ce domaine, il faut recourir à des grilles d’évaluation, à l’échantillonnage et à tests comportementaux des agents IA, pas de clause irrévocable.
Le CDRL n'a de sens que lorsque le vérificateur est fiable et que la violation peut être attribuée à un sous-ensemble spécifique de décisions. Un certificat erroné ou trop général peut exclure des solutions valides à grande échelle, en particulier lorsqu’il est immédiatement distribué à de nombreux travailleurs.
Avant de devenir une contrainte stricte, un résultat doit être reproductible, minimal en termes d’attributions responsables, limité à une version spécifique de la règle et vérifié pour détecter les faux positifs. Lorsque la règle découle d’une préférence humaine, d’une corrélation statistique, d’une donnée externe instable ou d’un juge génératif, elle doit rester un signal souple jusqu’à ce qu’elle fasse l’objet d’une vérification indépendante.
Décision de contrôle
N'effectuez un « hard block » que lorsque le vérificateur contrôle une exigence déterministe, isole l'ensemble de conflits responsable minimal, reproduit le résultat lors d'un test indépendant et que la clause dispose d'une version, d'une portée, d'un propriétaire et d'une fonction de rollback. Sinon, conservez le résultat en tant que « soft bias » ou soumettez-le à une validation humaine.
Το σωστό πρώτο pilot δεν είναι ένας agent που αποφασίζει τα πάντα. Είναι ένα περιορισμένο workflow όπου η terminal αξιολόγηση είναι ακριβή, τα ίδια failure patterns επανεμφανίζονται και τουλάχιστον ένα μέρος της εγκυρότητας μπορεί να ελεγχθεί μηχανικά. Η παρακάτω διαδικασία εφαρμόζει το μάθημα του CDRL χωρίς να αντιγράφει τη φυσική ή το research code.
Από το pass/fail σε ελεγχόμενη μνήμη αποτυχίας
Περιορίστε το pilot σε μία ροή, όπως product configuration, invoice validation ή code-generation tests. Καταγράψτε την terminal αξιολόγηση και το επιχειρησιακό κόστος κάθε λάθους.
Ξεχωρίστε deterministic constraints από preferences. Schema, stock rule, compiler error και policy violation μπορούν να γίνουν certificates· tone, αισθητική και αμφίσημη πρόθεση χρειάζονται soft scoring ή ανθρώπινο review.
Ο verifier πρέπει να δίνει reason code, evidence, τις υπεύθυνες επιλογές και το μικρότερο conflict set που μπορεί να αναπαραχθεί. Μην αποθηκεύετε μόνο ένα γενικό failed=true.
Κρατήστε το reward για ποιότητα, κόστος ή προτίμηση και το certificate για αποδεδειγμένη αδυνατότητα. Το ένα ανακατατάσσει επιλογές· το άλλο αφαιρεί μόνο ό,τι ο verifier μπορεί να αποκλείσει με ασφάλεια.
Συνδέστε κάθε constraint με έκδοση πολιτικής, πηγή, owner, scope, test suite και ημερομηνία λήξης. Ένας κανόνας αποθέματος ή compliance δεν πρέπει να ζει περισσότερο από την απαίτηση που τον γέννησε.
Μετρήστε repeated failures, expensive validations που αποφεύχθηκαν, false positives, valid λύσεις που αποκλείστηκαν και χρόνο ανθρώπινης επανεξέτασης. Κρατήστε baseline χωρίς certificate pruning.
Ενεργοποιήστε πρώτα χαμηλού ρίσκου clauses, παρακολουθήστε drift και επιτρέψτε ανθρώπινο override. Όπως και στα terminal-agent συστήματα, η αξιοπιστία ανήκει σε ολόκληρο το harness, όχι μόνο στο μοντέλο.
Το πρώτο μάθημα είναι να μη συγχέεται το feedback με την εξήγηση. Ένα score μπορεί να εκπαιδεύσει προτιμήσεις, αλλά δεν εξαλείφει λογικά αδύνατες περιοχές. Το δεύτερο είναι ότι η μνήμη ενός agent μπορεί να αποθηκεύει constraints και equivalence classes, όχι μόνο παραδείγματα και embeddings.
Το τρίτο είναι ότι τα hard και soft signals πρέπει να έχουν διαφορετικό ρόλο. Τα certificates απαγορεύουν μόνο ό,τι αποδεδειγμένα παραβιάζει κανόνες. Οι κανόνες από decision trees κατευθύνουν την policy, επειδή η στατιστική τους ισχύς δεν αρκεί για οριστικό αποκλεισμό. Αυτή η διάκριση μειώνει τον κίνδυνο να μετατραπεί μια συσχέτιση σε αδικαιολόγητη απαγόρευση.
Το CDRL δεν αποδεικνύει ότι η AI μπορεί αυτόνομα να κάνει επιστήμη ή να αυτοματοποιήσει κάθε επιχείρηση. Δείχνει κάτι πιο συγκεκριμένο: σε έναν τεράστιο constrained χώρο, ένα σύστημα γίνεται αποτελεσματικότερο όταν μαθαίνει από τη δομή της αποτυχίας, κρατά διακριτούς τους ρόλους learning και verification και επιτρέπει στους ειδικούς να εξετάσουν τη γνώση που προέκυψε.
Από το failure log στον ελεγχόμενο αυτοματισμό
Η TWO DOTS χαρτογραφεί verifiers, reason codes, constraint stores, audit trail, human approvals και rollback, ώστε οι AI agents να μαθαίνουν από επαναλαμβανόμενες αστοχίες χωρίς να μετατρέπουν μια αμφίβολη κρίση σε μόνιμο αποκλεισμό.
Foire aux questions (FAQ)
Le CDRL est un cadre d'apprentissage par renforcement dans lequel un vérificateur symbolique externe renvoie un certificat indiquant les contraintes qui ont provoqué un échec. Ce certificat est converti en une contrainte réutilisable pour la recherche suivante.
La récompense négative modifie progressivement la probabilité d'un choix, sans toutefois l'interdire. Le certificat identifie le motif responsable et crée une clause stricte que la propagation des contraintes booléennes exclut de l'espace de recherche.
Dans l'espace A4×ZN, le CDRL a obtenu 26,91 TP3T de modèles valides contre 13,791 TP3T pour l'AMBer, et 0,191 TP3T de modèles de neutrinos contre 0,031 TP3T. Au total, il a enregistré un taux de validité jusqu’à 1,95 fois supérieur, un taux de neutrinos jusqu’à 6,33 fois supérieur et jusqu’à 4 fois moins d’évaluations.
Utilise un certificat de rang insuffisant pour les combinaisons de représentations et de VEV, un certificat réductible de symétrie abélienne et un certificat pour l'équivalence résultant de l'inversion des charges modulo N.
Non. Il s'agit de motifs post-hoc issus de trajectoires MCTS sélectionnées pour leur haut niveau de confiance. L'étude les a utilisés comme « soft bias » (biais souple), et non comme « hard constraints » (contraintes strictes), et souligne qu'ils nécessitent une interprétation physique et une validation indépendante.
Non. Cette étude a été testée dans le cadre de la découverte d'un modèle de saveurs de neutrinos. Pour les workflows métier, il s'agit d'un modèle architectural qui nécessite des règles claires et vérifiables par machine, un vérificateur fiable, des contraintes versionnées, des tests en parallèle et une supervision humaine.
Lorsque l'évaluation est subjective, que la règle change fréquemment, que la cause ne peut être isolée ou que le vérificateur génère des faux positifs inacceptables, le résultat doit rester un signal faible ou faire l'objet d'un examen humain.
Un workflow restreint avec une validation coûteuse mais répétitive, une base de référence claire, des codes de motif structurés, une mesure des faux positifs, un système de gestion des versions des clauses, une possibilité de dérogation manuelle et une fonctionnalité de retour en arrière rapide.
Sources d'information
