With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Η επαλήθευση reinforcement learning εξετάζει τι μπορούμε πραγματικά να εγγυηθούμε για έναν AI agent, από step-wise και multi-step ελέγχους έως preimage analysis και ανθρώπινη εποπτεία.
Η επαλήθευση μιας πολιτικής reinforcement learning δεν αποδεικνύει γενικά ότι ένας AI agent είναι «ασφαλής»· αποδεικνύει ή εκτιμά μια συγκεκριμένη ιδιότητα, σε δηλωμένη περιοχή εισόδων, χρονικό ορίζοντα και σύνολο παραδοχών. Η νέα επισκόπηση των Luca Marzari, Ezio Bartocci και Enrico Marchesini οργανώνει το πεδίο σε τρεις άξονες: τυπική ή πιθανοτική επαλήθευση, step-wise ή multi-step χρονικό πεδίο και ισχύς της παρεχόμενης εγγύησης.
Για μια επιχείρηση, το κρίσιμο συμπέρασμα είναι πρακτικό: πριν εμπιστευτεί έναν agent που εγκρίνει ενέργειες, κατανέμει πόρους ή αλλάζει την κατάσταση ενός workflow, πρέπει να ορίσει ακριβώς ποια ανεπιθύμητη συμπεριφορά θέλει να αποκλείσει. Η μέση επίδοση σε benchmarks και test episodes παραμένει χρήσιμη, αλλά δεν αντικαθιστά τον έλεγχο κρίσιμων τροχιών, σπάνιων καταστάσεων και περιοχών όπου απαιτείται ανθρώπινη παρέμβαση.
Όριο της εγγύησης: ακόμη και μια επιτυχής τυπική επαλήθευση ισχύει μόνο για το μοντέλο περιβάλλοντος, την περιοχή εισόδων, την ιδιότητα και τον χρονικό ορίζοντα που ελέγχθηκαν. Model mismatch, μη παρατηρήσιμη κατάσταση, αλλαγές μετά το deployment και αλληλεπιδράσεις με άλλα συστήματα χρειάζονται ξεχωριστό έλεγχο, παρακολούθηση και σαφή όρια ανθρώπινης εποπτείας.
Το reinforcement learning διαφέρει από μια απλή πρόβλεψη επειδή η έξοδος του μοντέλου γίνεται ενέργεια, η ενέργεια αλλάζει το περιβάλλον και το νέο περιβάλλον επηρεάζει την επόμενη απόφαση. Η πολιτική, συνήθως ένα βαθύ νευρωνικό δίκτυο, δεν δέχεται απλώς ανεξάρτητα δεδομένα. Δημιουργεί ενεργά την ακολουθία καταστάσεων που θα συναντήσει.
Αυτό σημαίνει ότι ένα μικρό σφάλμα μπορεί να μην είναι σημαντικό σε ένα μόνο βήμα, αλλά να αλλάξει την πορεία του συστήματος και να ενισχυθεί αργότερα. Μια πολιτική μπορεί να φαίνεται τοπικά ανθεκτική και όμως να οδηγήσει σε παραβίαση ασφάλειας μετά από πολλά βήματα. Η εμπειρική αξιολόγηση είναι απαραίτητη, αλλά δεν μπορεί από μόνη της να αποκλείσει όλες τις σπάνιες αποτυχίες, τις μετατοπίσεις κατανομής ή τις αλληλεπιδράσεις που εμφανίζονται μόνο σε κλειστό βρόχο.
Για μια επιχείρηση, το ζήτημα δεν περιορίζεται σε αυτόνομα οχήματα ή ενεργειακά συστήματα. Ένας agent που αλλάζει τιμές, εγκρίνει επιστροφές, κατανέμει διαφημιστικό budget ή ενεργοποιεί workflows επηρεάζει την επόμενη κατάσταση του συστήματος. Επομένως χρειάζεται σαφής ορισμός του τι απαγορεύεται, σε ποιο χρονικό ορίζοντα και με ποια μορφή βεβαιότητας.
Ο πρώτος άξονας είναι το παράδειγμα επαλήθευσης. Οι τυπικές μέθοδοι επιδιώκουν λογικά τεκμηριωμένες εγγυήσεις μέσα στις δηλωμένες παραδοχές. Οι πιθανοτικές μέθοδοι εκτιμούν ή φράσσουν την πιθανότητα παραβίασης, ώστε να κερδίσουν κλιμάκωση όταν η απόλυτη ανάλυση είναι πολύ ακριβή.
Τυπική ή πιθανοτική επαλήθευση πολιτικής RL;
Στόχος είναι να αποδειχθεί ότι η δηλωμένη ιδιότητα ισχύει για ολόκληρη την ελεγχόμενη περιοχή. Είναι κατάλληλη όταν το κόστος μιας μη εντοπισμένης παραβίασης είναι υψηλό και οι παραδοχές μπορούν να οριστούν με ακρίβεια.
Στόχος είναι να εκτιμηθεί ή να φραχθεί η πιθανότητα παραβίασης με δηλωμένο σφάλμα και επίπεδο εμπιστοσύνης. Κλιμακώνεται καλύτερα σε μεγάλους χώρους, χωρίς να μετατρέπεται σε απόλυτη απόδειξη.
Ο δεύτερος άξονας είναι ο χρονικός ορίζοντας. Η step-wise επαλήθευση εξετάζει μία αξιολόγηση της πολιτικής: για μια επιτρεπτή περιοχή εισόδων, μπορεί να επιλεγεί μη ασφαλής ενέργεια; Η multi-step επαλήθευση εξετάζει τροχιές και αλληλεπίδραση πολιτικής–περιβάλλοντος: μπορεί μια ακολουθία αποφάσεων να φτάσει σε μη ασφαλή κατάσταση;
Ο τρίτος άξονας είναι η ισχύς της εγγύησης. Άλλο είναι να βρεθεί ένα συγκεκριμένο αντιπαράδειγμα, άλλο να αποδειχθεί ότι μια ιδιότητα ισχύει σε μια περιοχή και άλλο να περιγραφεί ολόκληρο το σύνολο των εισόδων που οδηγούν σε κίνδυνο. Η σωστή επιλογή εξαρτάται από την απόφαση που θα ληφθεί μετά τον έλεγχο.
Στη step-wise επαλήθευση η πολιτική αναλύεται ως συνάρτηση από καταστάσεις σε ενέργειες. Ο ελεγκτής ορίζει ένα σύνολο επιτρεπτών εισόδων, όπως μια γειτονιά γύρω από την ονομαστική μέτρηση που καλύπτει θόρυβο αισθητήρα, και μια συνθήκη μη ασφαλούς εξόδου. Στο παράδειγμα της μελέτης, ένα σύστημα πλοήγησης βλέπει εμπόδιο μπροστά και πρέπει να μην επιλέξει κίνηση προς τα εμπρός, ακόμη κι αν οι μετρήσεις έχουν περιορισμένο θόρυβο.
Μία οικογένεια τεχνικών κωδικοποιεί το δίκτυο και την άρνηση της ιδιότητας ως λογικούς περιορισμούς. Αν ο solver βρει λύση, επιστρέφει αντιπαράδειγμα: μια συγκεκριμένη είσοδο που οδηγεί σε ανεπιθύμητη ενέργεια. Αυτό είναι ιδιαίτερα χρήσιμο για debugging, επειδή η ομάδα αποκτά αναπαραγώγιμο failure case.
Μια δεύτερη οικογένεια υπολογίζει συντηρητικά όρια για όλες τις πιθανές εξόδους μιας περιοχής εισόδων. Εργαλεία βασισμένα σε bound propagation, γραμμικές χαλαρώσεις, abstract interpretation και reachability μπορούν να δώσουν πιστοποιήσεις περιοχής. Όταν τα όρια είναι πολύ χαλαρά, χρησιμοποιείται branch-and-bound: η περιοχή χωρίζεται επαναληπτικά σε μικρότερα τμήματα, ώστε οι εκτιμήσεις να γίνουν ακριβέστερες. Το κόστος όμως μπορεί να αυξηθεί εκθετικά.
Οι πιθανοτικές μέθοδοι δεν απαιτούν η ιδιότητα να ισχύει για κάθε σημείο μιας περιοχής. Στόχος τους είναι να εκτιμήσουν την πιθανότητα μη ασφαλούς ενέργειας κάτω από αβεβαιότητα ή να δώσουν όριο υψηλής εμπιστοσύνης. Η μελέτη αναφέρει προσεγγίσεις όπως randomized smoothing, PROVEN και PT-LiRPA, επισημαίνοντας ότι διαφέρουν στις παραδοχές για τον θόρυβο και στη σχέση τους με πολιτικές RL.
Αυτό δεν σημαίνει ότι το «πιθανοτικό» είναι συνώνυμο του πρόχειρου. Σημαίνει ότι η εγγύηση έχει διαφορετική μορφή και πρέπει να διαβάζεται μαζί με τις παραδοχές της. Σε εφαρμογές μεγάλης κλίμακας, όπου πρέπει να ελεγχθούν πολλές καταστάσεις ή μεγάλα δίκτυα, μια καλά ορισμένη πιθανοτική εγγύηση μπορεί να είναι χρησιμότερη από μια απόλυτη μέθοδο που δεν ολοκληρώνεται πρακτικά.
Η επιχειρηματική απαίτηση πρέπει επομένως να δηλώνει το επιτρεπτό residual risk, την κατανομή αβεβαιότητας και το κόστος ενός false assurance. Χωρίς αυτά, μια πιθανότητα από μόνη της δεν αποτελεί επαρκή βάση απόφασης.
Η multi-step επαλήθευση ενσωματώνει τη δυναμική του περιβάλλοντος. Ρωτά αν οποιαδήποτε τροχιά από ένα αρχικό σύνολο καταστάσεων μπορεί να φτάσει σε μη ασφαλή κατάσταση. Αυτό είναι πλησιέστερο στη λειτουργία πραγματικών agents, αλλά απαιτεί μοντέλο ή συντηρητική προσέγγιση της δυναμικής και υποφέρει από διόγκωση του χώρου καταστάσεων όσο μεγαλώνει ο χρονικός ορίζοντας.
Οι ιδιότητες μεγάλης διάρκειας μπορούν να εκφραστούν με temporal logic. Ένα labeled Markov decision process συνδυάζεται με αυτόματο που αναπαριστά τη ζητούμενη χρονική ιδιότητα. Το γινόμενο αυτών των μοντέλων επιτρέπει ανάλυση τροχιών, αλλά μπορεί να γίνει εκθετικά μεγαλύτερο από το αρχικό σύστημα.
Μια άλλη κατεύθυνση είναι οι νευρο-συμβολικές πιστοποιήσεις, όπως control barrier functions και Lyapunov functions. Η πολιτική προτείνει ενέργεια και ένας μηχανισμός ασφάλειας την απορρίπτει ή την τροποποιεί όταν παραβιάζει τον περιορισμό. Οι πιστοποιήσεις μπορούν να παρέχουν ισχυρές εγγυήσεις όταν το μοντέλο είναι διαθέσιμο, αλλά αν η ίδια η συνάρτηση ασφάλειας μαθαίνεται από δεδομένα, τότε πρέπει επίσης να επαληθευτεί. Το βάρος δεν εξαφανίζεται· μεταφέρεται.
Η enumeration-based επαλήθευση αλλάζει την ερώτηση. Αντί για ένα δυαδικό «ασφαλές ή μη ασφαλές», αναζητά το σύνολο των εισόδων που οδηγούν σε μη ασφαλή έξοδο. Αυτό το preimage μπορεί να καθοδηγήσει στοχευμένη συλλογή δεδομένων, retraining, recovery policies ή μηχανισμούς shielding.
Η ακριβής απαρίθμηση είναι υπολογιστικά δύσκολη και το κόστος αυξάνεται γρήγορα με το βάθος του δικτύου και τη διάσταση της εισόδου. Οι προσεγγίσεις υπερπροσέγγισης δίνουν ένα συντηρητικό εξωτερικό όριο, ενώ συνδυασμοί υπερ- και υποπροσέγγισης ή πιθανοτικές μέθοδοι προσφέρουν πιο συμπαγείς αναπαραστάσεις.
Για μια ομάδα product ή operations, το preimage έχει ιδιαίτερη αξία επειδή μετατρέπει τον κίνδυνο σε λειτουργικό χάρτη. Δεν λέει απλώς ότι «ο agent ίσως κάνει λάθος», αλλά εντοπίζει περιοχές όπου χρειάζεται περιορισμός, ανθρώπινη έγκριση ή διαφορετική πολιτική.
Η μελέτη συγκρίνει εργαλεία σε benchmarks όπως ACAS Xu, VCAS, CartPole, LunarLander και Dubin’s rejoin. Το βασικό συμπέρασμα δεν είναι ότι υπάρχει ένας καθολικός νικητής. Οι μέθοδοι bound propagation και γραμμικής χαλάρωσης κλιμακώνονται καλύτερα σε επαναλαμβανόμενους step-wise ελέγχους, ενώ οι ακριβείς solvers προσφέρουν ισχυρότερη βεβαιότητα με υψηλότερο κόστος.
Για preimage analysis, οι ακριβείς μέθοδοι μπορούν να δημιουργούν πολύ κατακερματισμένες αναπαραστάσεις που καταναλώνουν χρόνο και μνήμη. Οι προσεγγιστικές και πιθανοτικές τεχνικές βελτιώνουν αισθητά την πρακτικότητα, αλλά η ομάδα πρέπει να αποδεχθεί και να τεκμηριώσει το σφάλμα προσέγγισης.
Στη multi-step επαλήθευση λείπουν ακόμη τυποποιημένα benchmarks αντίστοιχης ωριμότητας. Η έλλειψη αυτή αντανακλά τη δυσκολία να μοντελοποιηθούν με κοινό τρόπο δυναμική, αβεβαιότητα και χρονικές ιδιότητες. Άρα οι συγκρίσεις προμηθευτών ή εργαλείων χρειάζονται κοινά σενάρια, κοινές παραδοχές και σαφή όρια χρόνου.
Για τοπική ανθεκτικότητα ή ασφάλεια μιας ενέργειας, οι over-approximate reachability μέθοδοι είναι κατάλληλη αφετηρία. Για debugging, οι SAT-based solvers είναι χρήσιμοι επειδή επιστρέφουν αντιπαραδείγματα. Για μεγάλους χώρους και μαζικό έλεγχο, οι relaxation-based ή πιθανοτικές μέθοδοι συνήθως κλιμακώνονται καλύτερα.
Η σωστή σειρά της απόφασης
Μην ξεκινάτε από τον solver. Ξεκινήστε από την ανεπιθύμητη ενέργεια ή τροχιά που πρέπει να αποκλειστεί και από την επιχειρηματική απόφαση που θα ακολουθήσει το αποτέλεσμα.
Άλλο αποδεικτικό βάρος χρειάζεται ένα release gate, άλλο η αναζήτηση failure cases για retraining και άλλο η ενεργοποίηση human-in-the-loop. Η μέθοδος, ο χρονικός ορίζοντας και η αποδεκτή αβεβαιότητα πρέπει να υπηρετούν αυτή τη συγκεκριμένη χρήση.
Όταν η ανάγκη είναι να εντοπιστούν και να ποσοτικοποιηθούν επικίνδυνες περιοχές, χρειάζεται preimage ή enumeration analysis. Όταν η ιδιότητα αφορά μακροχρόνια συμπεριφορά σε πραγματική ανάπτυξη, απαιτείται multi-step ή νευρο-συμβολική προσέγγιση.
Η επιλογή πρέπει να ξεκινά από τη ζητούμενη απόφαση: θέλουμε να μπλοκάρουμε ένα release, να βρούμε failure cases, να ορίσουμε human-in-the-loop όρια ή να αποδείξουμε συμμόρφωση; Το εργαλείο έρχεται μετά την ιδιότητα και όχι το αντίστροφο.
Σε μερικώς παρατηρήσιμα περιβάλλοντα, recurrent neural networks διατηρούν κρυφή κατάσταση που συμπυκνώνει το ιστορικό. Η ασφάλεια μιας απόφασης εξαρτάται επομένως όχι μόνο από την τρέχουσα παρατήρηση, αλλά και από το ποια hidden states είναι εφικτά μέσα από πραγματικές ακολουθίες αλληλεπίδρασης.
Οι συνηθισμένες προσεγγίσεις υπερπροσεγγίζουν το σύνολο hidden states και μπορεί να συμπεριλάβουν καταστάσεις που δεν μπορούν ποτέ να προκύψουν. Έτσι εμφανίζονται πλαστά αντιπαραδείγματα ή υπερβολικά συντηρητικές εγγυήσεις. Η έρευνα αναδεικνύει την ανάγκη για μηχανισμό που να ξεχωρίζει τις πραγματοποιήσιμες ιστορίες χωρίς να τις απαριθμεί όλες.
Για conversational ή workflow agents, αυτό έχει άμεση σημασία. Ένας έλεγχος μόνο στο τελευταίο prompt δεν περιγράφει απαραίτητα τη συμπεριφορά που δημιουργεί το ιστορικό, η μνήμη, τα προηγούμενα tool calls και οι αλλαγές κατάστασης.
Στα multi-agent συστήματα η ασφάλεια προκύπτει από αλληλεπιδράσεις πολλών πολιτικών. Στο συνεργατικό μοντέλο με κεντρική εκπαίδευση και αποκεντρωμένη εκτέλεση, κάθε agent ενεργεί με τοπική παρατήρηση και δική του κρυφή κατάσταση. Ο κοινός χώρος καταστάσεων και ενεργειών αυξάνεται εκθετικά με τον αριθμό των agents.
Η ανεξάρτητη επαλήθευση ανά agent μπορεί να επιτρέψει παράλληλο έλεγχο, αλλά δεν είναι αυτονόητο ότι αρκεί για να εγγυηθεί ασφάλεια ομάδας. Η έμμεση συνεργασία μπορεί να είναι κωδικοποιημένη στις ιστορίες και στις recurrent καταστάσεις. Σε ανταγωνιστικά ή μικτά περιβάλλοντα προστίθεται και η ανάγκη μοντελοποίησης στρατηγικών αντιπάλων.
Σε επιχειρηματική αρχιτεκτονική, αυτό μεταφράζεται σε σαφή όρια δικαιωμάτων, κοινές invariants και έλεγχο των αλληλεπιδράσεων, όχι μόνο πιστοποίηση κάθε agent μεμονωμένα.
Πρώτη πρόκληση είναι η αβεβαιότητα του περιβάλλοντος. Πολλές μέθοδοι υποθέτουν γνωστή ή ακριβώς προσεγγισμένη δυναμική, ενώ τα πραγματικά συστήματα αντιμετωπίζουν model mismatch, διαταραχές και μη στασιμότητα. Η εγγύηση πρέπει να δηλώνει αν αφορά μόνο την πολιτική, ολόκληρο τον κλειστό βρόχο ή οικογένεια πιθανών περιβαλλόντων.
Δεύτερη είναι η μακροχρόνια συσσώρευση κινδύνου και τα σπάνια συμβάντα. Οι worst-case μέθοδοι μπορεί να γίνονται υπερβολικά συντηρητικές, ενώ οι δειγματοληπτικές μπορεί να μην παρατηρήσουν κρίσιμα γεγονότα χαμηλής πιθανότητας. Τρίτη είναι η επαλήθευση σύγχρονων αρχιτεκτονικών: attention και softmax δεν ταιριάζουν εύκολα στις piecewise-linear παραδοχές πολλών solvers, ενώ τα Transformers χειρίζονται ιστορίες μεταβλητού μήκους.
Το συμπέρασμα είναι ότι η πρόκληση δεν είναι μόνο υπολογιστική. Είναι εννοιολογική: πρέπει να οριστεί η ορθότητα με όρους αλληλεπίδρασης, χρόνου, μνήμης και αποκεντρωμένων αποφάσεων.
Η επαλήθευση δεν αντικαθιστά τα tests, την παρακολούθηση ή το human oversight. Τα συμπληρώνει με ρητές ιδιότητες και ελεγχόμενες παραδοχές. Ένα ώριμο πρόγραμμα ξεκινά με inventory αποφάσεων, ορίζει unsafe outputs και απαγορευμένες τροχιές, διαχωρίζει τους τοπικούς από τους χρονικούς ελέγχους και καταγράφει τι ακριβώς πιστοποιήθηκε.
Έξι βήματα για έλεγχο ενός επιχειρησιακού AI agent
Ξεχωρίστε τις ενέργειες που επηρεάζουν χρήματα, πρόσβαση, δεδομένα πελατών, περιεχόμενο ή φυσικό εξοπλισμό από τις αναστρέψιμες συστάσεις χαμηλού ρίσκου.
Μετατρέψτε το «να είναι ασφαλής» σε ελέγξιμες ιδιότητες, όπως μη υπέρβαση ορίου, μη εκτέλεση χωρίς έγκριση ή μη διαδοχική κλιμάκωση προνομίων.
Χρησιμοποιήστε step-wise έλεγχο για μεμονωμένη απόφαση και multi-step έλεγχο όταν το ρίσκο προκύπτει από συσσώρευση ενεργειών, μνήμη ή αλλαγές κατάστασης.
Καταγράψτε περιοχή εισόδων, αβεβαιότητα περιβάλλοντος, εκδόσεις μοντέλου και εργαλείων, επίπεδο εμπιστοσύνης και ό,τι μένει εκτός κάλυψης.
Ένα αντιπαράδειγμα πρέπει να οδηγεί σε reproducible test, ένα επικίνδυνο preimage σε περιορισμό λειτουργίας και μια ανεπαρκής εγγύηση σε human-in-the-loop gate.
Νέο policy checkpoint, system prompt, tool, workflow ή distribution shift μπορεί να ακυρώσει προηγούμενο τεκμήριο. Κρατήστε versioned evidence και συνεχή παρακολούθηση.
Αυτή η λογική συνδέεται με τη στοχευμένη διάγνωση αδύναμων ικανοτήτων ενός μοντέλου και με την απόδοση ευθύνης όταν ένας αυτοματισμός AI αποτυγχάνει. Η επαλήθευση πρέπει να παράγει τεκμήριο που οδηγεί σε συγκεκριμένη αλλαγή: περιορισμό δικαιωμάτων, νέο test, runtime shield, ανθρώπινη έγκριση ή ανασχεδιασμό της πολιτικής.
Χρειάζεται επίσης αντιστοίχιση του επιπέδου εγγύησης με τη σοβαρότητα της απόφασης. Μια σύσταση περιεχομένου και μια αυτόματη ενέργεια που επηρεάζει χρήματα, πρόσβαση ή φυσικό εξοπλισμό δεν απαιτούν την ίδια απόδειξη. Όσο αυξάνεται η συνέπεια ενός λάθους, τόσο περισσότερο βάρος αποκτούν οι συντηρητικές εγγυήσεις, οι μηχανισμοί runtime shielding και η δυνατότητα ανθρώπινης παρέμβασης.
Η πιο χρήσιμη αλλαγή νοοτροπίας είναι να πάψουμε να ρωτάμε απλώς «πόσο καλό είναι το μοντέλο;» και να ρωτάμε «ποια συμπεριφορά αποκλείσαμε, σε ποια περιοχή, για πόσο χρόνο και με ποια βεβαιότητα;». Αυτή είναι η γλώσσα που συνδέει την τεχνική αξιολόγηση με πραγματική επιχειρηματική διακυβέρνηση.
Αυτοματισμοί Επιχειρήσεων & AI από την TWO DOTS
Σχεδιάστε AI agents με ελέγξιμα όρια και σαφή ανθρώπινη εποπτεία.
Η TWO DOTS χαρτογραφεί κρίσιμες ενέργειες, ορίζει approval gates, οργανώνει versioned tests και συνδέει κάθε εύρημα με runtime safeguards και υπεύθυνη επιχειρησιακή λειτουργία.
Frequently Asked Questions (FAQs)
Είναι η συστηματική ανάλυση μιας εκπαιδευμένης πολιτικής ώστε να ελεγχθεί αν ικανοποιεί συγκεκριμένες ιδιότητες ασφάλειας, ανθεκτικότητας ή προσβασιμότητας μέσα σε δηλωμένες παραδοχές.
Τα tests παρέχουν εμπειρικά στοιχεία, αλλά δεν μπορούν να αποκλείσουν όλες τις σπάνιες καταστάσεις, τις μετατοπίσεις κατανομής ή τις αποτυχίες που εμφανίζονται μετά από μεγάλο ορίζοντα.
Η step-wise εξετάζει μία απόφαση της πολιτικής σε περιοχή εισόδων. Η multi-step εξετάζει την εξέλιξη ολόκληρων τροχιών μέσα από την αλληλεπίδραση πολιτικής και περιβάλλοντος.
Μπορεί να αναζητήσει συγκεκριμένη είσοδο που παραβιάζει την ιδιότητα και, όταν τη βρει, να επιστρέψει αντιπαράδειγμα χρήσιμο για debugging.
Είναι το σύνολο των εισόδων ή καταστάσεων που οδηγούν την πολιτική σε μη ασφαλή έξοδο. Η γνώση του βοηθά σε retraining, shielding και οριοθέτηση λειτουργίας.
Εξαρτάται από το ρίσκο, τις παραδοχές και την εφαρμογή. Πρέπει να δηλώνεται καθαρά τι πιθανότητα ή όριο εγγυώνται και σε ποια κατανομή αβεβαιότητας.
Επειδή η συμπεριφορά εξαρτάται από hidden states που προκύπτουν από ιστορίες αλληλεπίδρασης, και οι απλές προσεγγίσεις μπορεί να συμπεριλάβουν μη πραγματοποιήσιμες καταστάσεις.
Ορίζει πρώτα κρίσιμες αποφάσεις, unsafe states, χρονικό ορίζοντα και αποδεκτή ισχύ εγγύησης. Έπειτα επιλέγει solver, benchmark και runtime safeguards που αντιστοιχούν στο συγκεκριμένο ρίσκο.
