Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το CRATE ελέγχει έναν mobile AI agent ανά βήμα, ξεχωρίζει την επιτυχία από την ασφάλεια και οργανώνει evidence, audit και approval gates.
Το CRATE ελέγχει αν ένας mobile AI agent πέτυχε με ασφάλεια, μετατρέποντας κάθε βήμα σε σύντομο evidence record και κρίνοντας χωριστά την ολοκλήρωση από τον λειτουργικό κίνδυνο. Στην προδημοσίευση πέτυχε F1 0,833 σε 116 AndroidWorld trajectories, ενώ το CRATE-S έφτασε F1 0,697 σε 204 MobileRisk trajectories. Για production χρήση, όμως, τα αποτελέσματα χρειάζονται domain-specific ανθρώπινα labels, privacy-safe logs και σαφή approval gates.
Πώς ξέρεις ότι ένας AI agent ολοκλήρωσε πραγματικά μια εργασία στο κινητό και δεν έφτασε απλώς σε μια οθόνη που μοιάζει σωστή; Και ακόμη πιο σημαντικό: πώς ελέγχεις ότι δεν αποκάλυψε προσωπικά δεδομένα, δεν εκτέλεσε καταστροφική ενέργεια και δεν παρέκαμψε έναν κρίσιμο περιορισμό στη διαδρομή; Το paper για το CRATE προτείνει μια απάντηση που δεν αντιμετωπίζει ολόκληρη τη διαδρομή του agent ως ένα αδιαφανές πακέτο.
Το CRATE, από τα αρχικά Consequence Reasoning and Aggregation for Trajectory Evaluation, είναι ένα πλαίσιο VLM-as-judge δύο σταδίων. Πρώτα εξετάζει κάθε βήμα ξεχωριστά, εξάγει τα οπτικά στοιχεία που σχετίζονται με την εργασία και περιγράφει τη συνέπεια της ενέργειας. Έπειτα συγκεντρώνει αυτά τα σύντομα τεκμήρια και αποφασίζει αν ικανοποιήθηκαν όλες οι απαιτήσεις. Η επέκταση CRATE-S εφαρμόζει την ίδια λογική στην επιχειρησιακή ασφάλεια.
Για επιχειρήσεις που σχεδιάζουν AI workflows που περνούν από demo σε παραγωγή, customer-service agents ή αυτοματισμούς πάνω σε εφαρμογές, το ενδιαφέρον δεν περιορίζεται στα benchmarks Android. Η έρευνα αναδεικνύει μια αρχή διακυβέρνησης: η αξιολόγηση πρέπει να παρακολουθεί τη διαδικασία, όχι μόνο το αποτέλεσμα, και κάθε απόφαση πρέπει να συνδέεται με συγκεκριμένα, επαληθεύσιμα τεκμήρια.
Οι πρώτες offline μέθοδοι αξιολόγησης συνέκριναν τις προβλέψεις του agent με προκαθορισμένα ground truths. Είναι αναπαραγώγιμες, αλλά μπορούν να τιμωρήσουν μια διαφορετική, εξίσου έγκυρη διαδρομή. Οι online rule-based μέθοδοι ελέγχουν τις συνέπειες μέσα στο περιβάλλον, απαιτούν όμως εκτεταμένη χειροκίνητη κατασκευή κανόνων για κάθε task και δεν κλιμακώνονται εύκολα σε νέες εφαρμογές.
Οι model-based evaluators με vision-language models περιορίζουν αυτή την ανάγκη, όμως συνήθως φορτώνουν ολόκληρη τη μεγάλη ακολουθία screenshots και ενεργειών σε ένα πέρασμα, ένα από τα προβλήματα που πρέπει να λύνει το agent harness. Το paper ονομάζει το πρόβλημα context overload: ο evaluator πρέπει ταυτόχρονα να κατανοήσει πολλές εικόνες, αλλαγές κατάστασης, χρονικές σχέσεις και λεπτομέρειες της εντολής. Συχνά χρειάζεται ιδιόκτητο μοντέλο με πολύ μεγάλο context window.
Η τελική κατάσταση από μόνη της είναι επίσης ανεπαρκής. Μια οθόνη μπορεί να δείχνει ένα άρθρο ανοικτό, αλλά να μη βεβαιώνει ότι ο agent άνοιξε δύο άρθρα όπως ζητήθηκε. Μπορεί να δείχνει ένα μήνυμα έτοιμο, χωρίς να αποκαλύπτει αν στη διαδρομή επιλέχθηκε λάθος παραλήπτης. Η επιτυχία είναι ιδιότητα της ακολουθίας και των όρων του task, όχι μόνο του τελευταίου frame.
Μόνο τελική οθόνη
Είναι φθηνή σε context, αλλά δεν αποδεικνύει ποσότητες, σειρά ενεργειών ή προσωρινή έκθεση δεδομένων που συνέβη πριν από το τελευταίο frame.
Ολόκληρη raw trajectory
Διατηρεί screenshots και actions, όμως αναγκάζει τον evaluator να λύσει οπτικό θόρυβο, χρονικές σχέσεις και όλους τους όρους μέσα σε ένα φορτωμένο prompt.
CRATE evidence trail
Συμπιέζει κάθε screen-action pair σε task clue και συνέπεια, έπειτα ελέγχει κάθε ρητή συνθήκη. Παραμένει εξαρτημένο από την ακρίβεια του VLM.
Μια trajectory περιγράφεται από την εντολή, τη σειρά ενεργειών και τη σειρά screenshots. Για κάθε βήμα, το CRATE δίνει στο VLM την οθόνη πριν από την ενέργεια, την ίδια την ενέργεια και την αρχική εργασία. Το μοντέλο επιστρέφει δύο είδη κειμένου: τα ορατά στοιχεία που σχετίζονται με τον στόχο και μια ουδέτερη περιγραφή του άμεσου αποτελέσματος της ενέργειας.
Η επιλογή της προγενέστερης οθόνης και της ενέργειας, αντί του κλασικού triplet πριν–ενέργεια–μετά, μειώνει την επαναληπτική επεξεργασία μεταξύ καταστάσεων. Οι συγγραφείς βασίζονται στην ικανότητα του VLM να μοντελοποιεί τη συνέπεια της κυριολεκτικής ενέργειας. Επειδή κάθε ζεύγος αναλύεται ανεξάρτητα, το στάδιο προσφέρεται και για batched inference.
Το ουσιαστικό αποτέλεσμα είναι semantic compression. Άσχετα στοιχεία του UI φιλτράρονται και η μεγάλη οπτική τροχιά μετατρέπεται σε μικρότερη ακολουθία τεκμηρίων. Δεν εξαφανίζεται η χρονική αλυσίδα· γίνεται πιο πυκνή και ευκολότερη στην επεξεργασία από ένα μοντέλο μέτριου μεγέθους.
Στη συγκέντρωση επιπέδου trajectory, ο evaluator λαμβάνει την αρχική εντολή, όλα τα step-level τεκμήρια και την τελική οθόνη. Πρώτα καταγράφει κάθε αναγκαία συνθήκη που περιέχεται ρητά στην εντολή. Μετά ελέγχει μία προς μία αν υπάρχει άμεσο, σαφές και μη αμφίσημο στοιχείο ότι ικανοποιήθηκε.
Η οδηγία είναι συντηρητική: αν έστω μία συνθήκη λείπει ή παραμένει ασαφής, η εργασία χαρακτηρίζεται αποτυχημένη. Αυτό μειώνει τις αισιόδοξες υποθέσεις που εμφανίζονται όταν ένα μοντέλο προσπαθεί να συμπληρώσει τα κενά μιας μεγάλης ακατέργαστης trajectory. Η τελική κρίση είναι δυαδική, αλλά συνοδεύεται από αιτιολόγηση ευθυγραμμισμένη με τις απαιτήσεις.
Σε ένα παράδειγμα του paper, η εργασία απαιτούσε να ανοίξουν δύο άρθρα. Το CRATE αναγνώρισε από τα επιμέρους τεκμήρια ότι ανοίχτηκε μόνο ένα, ενώ το SPA-Bench δεν έλαβε σωστά υπόψη τον αριθμητικό περιορισμό και έδωσε false positive. Το παράδειγμα δείχνει γιατί η αξιολόγηση χρειάζεται condition coverage και όχι απλή οπτική ομοιότητα με έναν αναμενόμενο τελικό στόχο.
Ένας agent μπορεί να ολοκληρώσει μια εργασία και παρ’ όλα αυτά να λειτουργήσει επικίνδυνα, γι’ αυτό η αξιολόγηση πρέπει να συνδέεται με ένα agentic AI security stack. Οι συγγραφείς αναφέρουν ενέργειες όπως καταστροφικές αλλαγές, διαρροή ιδιωτικών πληροφοριών ή διάδοση επιβλαβούς περιεχομένου. Το CRATE-S εξετάζει αυτές τις λειτουργικές συνέπειες τόσο σε κάθε βήμα όσο και στο σύνολο της trajectory.
Στο safety mode παραλείπεται η περιγραφή του task, επειδή ο στόχος είναι task-agnostic έλεγχος της συμπεριφοράς και όχι κρίση για το αν η ίδια η εντολή ήταν ασφαλής. Κάθε βήμα παράγει οπτικά clues, περιγραφή συνέπειας και δυαδικό risk label. Η τελική συγκέντρωση αναζητά ρητά επαληθεύσιμους κινδύνους χωρίς να χρησιμοποιεί την τελική οθόνη ως μοναδικό κριτήριο.
Η λεπτομερής επισήμανση έχει πρακτική αξία. Δεν λέει μόνο ότι μια μεγάλη εκτέλεση ήταν επικίνδυνη, αλλά τοποθετεί τον κίνδυνο στο συγκεκριμένο σημείο όπου εμφανίστηκε. Αυτό μπορεί να βοηθήσει μια ομάδα να εντοπίσει αν χρειάζεται permission gate, ανθρώπινη έγκριση ή αλλαγή πολιτικής πριν από μια κατηγορία ενεργειών.
Για το task completion χρησιμοποιήθηκε το AndroidWorld με 116 trajectories από M3A agent που βασιζόταν στο Qwen2.5-VL-72B-Instruct. Οι rule-based ετικέτες περιλάμβαναν 27 επιτυχίες και 89 αποτυχίες. Για την ασφάλεια χρησιμοποιήθηκε το MobileRisk με 102 ασφαλείς και 102 μη ασφαλείς trajectories από mobile agent βασισμένο στο GPT-4o, με ανθρώπινη επισήμανση σε επίπεδο βήματος και συνολικής διαδρομής.
Οι ερευνητές δημιούργησαν επίσης το CRATEBench: 187 εργασίες σε 35 εφαρμογές και έξι domains. Οι 24 εφαρμογές ήταν δημοφιλείς στην Κίνα και οι 11 χρησιμοποιούνταν διεθνώς. Περίπου το 65% των tasks σχεδιάστηκε από ειδικούς και πέρασε τρεις γύρους εκτέλεσης και refinement, ενώ τα υπόλοιπα προσαρμόστηκαν από προηγούμενη εργασία.
Για μια υποομάδα 62 tasks, το UI-TARS-7B εκτέλεσε τις εντολές σε φυσική κινητή συσκευή, ώστε οι trajectories να περιλαμβάνουν πραγματικά patterns από rendering, latency και δυναμικό UI. Η χειροκίνητη επαλήθευση έδωσε 24 επιτυχίες και 38 αποτυχίες. Έτσι το πλαίσιο δεν αξιολογήθηκε μόνο σε emulator ή τεχνητές στατικές περιπτώσεις.
Το εύρος της αξιολόγησης σε τέσσερις αριθμούς
Οι μετρήσεις προέρχονται από τα datasets της προδημοσίευσης και περιγράφουν το benchmark, όχι αναμενόμενη επιχειρησιακή απόδοση.
Με Qwen2.5-VL ως evaluator, το CRATE πέτυχε στο AndroidWorld accuracy 0,930 και F1-score 0,833. Στην ίδια ρύθμιση, το SPA-Bench είχε F1 0,623, το A3 με final-state evaluation 0,773 και το A3 με essential-state evaluation 0,638. Οι συγγραφείς περιγράφουν την επίδοση ως βελτίωση 20% έναντι SPA-Bench.
Στο CRATEBench με Qwen2.5-VL, το CRATE έφτασε accuracy 0,839 και F1 0,815. Με GPT-4o evaluator, οι αντίστοιχες τιμές ήταν 0,806 και 0,760. Το CRATE είχε την υψηλότερη accuracy και το υψηλότερο F1 μεταξύ των συγκρινόμενων μεθόδων και με τα δύο evaluator backbones στα δύο task-completion benchmarks.
Η επιλογή evaluator επηρέασε το προφίλ σφαλμάτων. Στις περισσότερες ρυθμίσεις το GPT-4o εμφανίστηκε πιο συντηρητικό, με υψηλότερη precision και χαμηλότερη recall. Το Qwen2.5-VL απέδωσε καλύτερα όταν λάμβανε τα συμπιεσμένα τεκμήρια του CRATE, ενώ το GPT-4o βοήθησε περισσότερο το SPA-Bench που διαχειριζόταν πιο σύνθετο και εμπλεγμένο context. Αυτό αποτελεί εύρημα των συγκεκριμένων πειραμάτων, όχι καθολική κατάταξη των μοντέλων.
Στο MobileRisk, το CRATE-S με Qwen2.5-VL πέτυχε trajectory-level accuracy 0,711, F1 0,697, precision 0,731 και recall 0,667. Ο step-level score ήταν 28,8, έναντι 23,5 για το OS-Sentinel. Με GPT-4o, το CRATE-S είχε F1 0,702 και recall 0,902, ενώ ο step-level score ήταν 27,1 έναντι 25,7 του OS-Sentinel.
Η βασική VLM-only μέθοδος με Qwen2.5-VL είχε recall μόλις 0,245, ενώ ο rule-based evaluator περιοριζόταν από τους άκαμπτους προκαθορισμένους κανόνες. Το OS-Sentinel βελτίωνε τη recall συνδυάζοντας rule-based και VLM αποφάσεις με λογικό OR, αλλά θυσίαζε precision. Το CRATE-S επιχείρησε να πετύχει καλύτερη ισορροπία μέσω ρητής αιτιολόγησης της συνέπειας κάθε ενέργειας.
Η μέτρηση χρόνου εντοπισμού χρησιμοποιεί penalty window πέντε βημάτων: η βαθμολογία είναι μέγιστη όταν το πρώτο μη ασφαλές βήμα εντοπίζεται ακριβώς και μειώνεται γραμμικά όσο η πρόβλεψη απομακρύνεται. Άρα η αξιολόγηση δεν επιβραβεύει μόνο τη σωστή γενική ετικέτα, αλλά και την έγκαιρη τοποθέτηση του κινδύνου.
Στο CRATEBench, η πλήρης μέθοδος με Qwen2.5-VL είχε F1 0,815. Χωρίς step-level reasoning, όταν οι ακατέργαστες οθόνες και ενέργειες περνούσαν απευθείας στην τελική συγκέντρωση, το F1 έπεσε σε 0,649. Η recall έγινε 1,000 αλλά η precision έπεσε σε 0,480: ένα μοτίβο υπερβολικά αισιόδοξων κρίσεων μέσα σε υπερφορτωμένο context.
Όταν αφαιρέθηκε κάθε step-level πληροφορία και διατηρήθηκε μόνο η τελική οθόνη, το Qwen2.5-VL ανέκτησε accuracy 0,822, αλλά το F1 έμεινε στο 0,731. Η μείωση του θορύβου βοήθησε την precision, όμως χάθηκαν πληροφορίες για τη δυναμική της εκτέλεσης. Με GPT-4o, το final-state-only F1 ήταν 0,611 έναντι 0,760 της πλήρους μεθόδου.
Το δίδαγμα δεν είναι απλώς «λιγότερο context». Η αποτελεσματική συμπίεση πρέπει να διατηρεί την αιτιώδη και χρονική πληροφορία που χρειάζεται η απόφαση. Ένα πολύ μεγάλο raw context μπορεί να μπερδέψει τον evaluator, ενώ ένα υπερβολικά μικρό snapshot αφαιρεί τις αποδείξεις. Το CRATE αναζητά το ενδιάμεσο επίπεδο: σύντομα αλλά συγκεκριμένα step records.
Μια εταιρεία που χρησιμοποιεί agents σε CRM, ηλεκτρονικό εμπόριο ή customer support μπορεί να μεταφράσει την αρχιτεκτονική σε τρία επίπεδα ελέγχου και να τα εντάξει σε ένα ευρύτερο πλαίσιο behavioral certification. Πρώτον, να ορίζει πριν από την εκτέλεση τις ρητές συνθήκες επιτυχίας. Δεύτερον, να καταγράφει για κάθε tool call ή UI action την παρατηρούμενη κατάσταση, την ενέργεια και τη συνέπειά της. Τρίτον, να ζητά τελική κρίση μόνο πάνω σε αυτά τα επιλεγμένα τεκμήρια και στο τελικό state.
Για ενέργειες υψηλότερου ρίσκου, το ίδιο log μπορεί να τροφοδοτεί ξεχωριστό safety evaluator. Η ολοκλήρωση και η ασφάλεια χρειάζονται διαφορετικές ερωτήσεις: «έγινε αυτό που ζητήθηκε;» και «έγινε χωρίς απαγορευμένη ή επικίνδυνη ενέργεια;». Η μία απάντηση δεν συνεπάγεται την άλλη.
Οι μετρικές πρέπει επίσης να ξεπερνούν το συνολικό success rate, όπως συμβαίνει σε ένα ολοκληρωμένο πρόγραμμα behavioral testing για AI agents. Precision, recall, false positives, false negatives και χρόνος εντοπισμού κινδύνου έχουν διαφορετικό επιχειρηματικό κόστος. Σε μια ροή όπου μια ψευδής επιτυχία μπορεί να οδηγήσει σε λανθασμένη αποστολή ή αλλαγή δεδομένων, η conservative policy του CRATE είναι ιδιαίτερα σχετική.
Κανόνας παραγωγικής απόφασης
Μόνο όταν κάθε ρητή συνθήκη του task συνδέεται με συγκεκριμένο step evidence, ο ξεχωριστός safety evaluator δεν εντοπίζει απαγορευμένη ενέργεια, τα false positives και false negatives μένουν εντός συμφωνημένων ορίων και υπάρχει human approval για irreversible ή sensitive actions. Αμφίβολο evidence σημαίνει fail, handoff ή ασφαλές rollback.
Το CRATE είναι research framework, όχι έτοιμη άδεια παραγωγικής λειτουργίας. Ένα χρήσιμο pilot μεταφέρει τη λογική του σε περιορισμένο workflow, κρατά ξεχωριστά success και safety labels και συγκρίνει την αυτόματη κρίση με ανθρώπινη αναφορά πριν επηρεάσει πραγματικούς λογαριασμούς ή δεδομένα.
Από το trajectory log σε ελέγξιμο production gate
Ξεκινήστε με μία επαναλαμβανόμενη εργασία χαμηλού ρίσκου, όπως ταξινόμηση αιτήματος ή προετοιμασία απάντησης. Για customer-support agents, κρατήστε την αποστολή και κάθε αλλαγή λογαριασμού πίσω από ανθρώπινο gate.
Μετατρέψτε την εντολή σε ελέγξιμες συνθήκες: σωστό αντικείμενο, σωστή ποσότητα, σωστή σειρά, επιβεβαιωμένη τελική κατάσταση και ρητές απαγορεύσεις για δεδομένα, παραλήπτες και destructive actions.
Για κάθε UI action αποθηκεύστε την προγενέστερη κατάσταση, τα action parameters, το σχετικό visual clue και την αναμενόμενη συνέπεια. Αποφύγετε αδιάκριτη διατήρηση ολόκληρων οθονών όταν αρκεί redacted evidence.
Χρησιμοποιήστε διαφορετική ερώτηση, label και threshold για ολοκλήρωση και λειτουργικό κίνδυνο. Ένα task μπορεί να πετύχει και ταυτόχρονα να απαιτεί block επειδή αποκάλυψε δεδομένα ή παρέκαμψε approval.
Δώστε αντιπροσωπευτικές trajectories σε δύο reviewers, καταγράψτε διαφωνίες και δημιουργήστε adjudicated labels για success conditions, πρώτο risky step και severity. Χωρίς reference set δεν γνωρίζετε τι σημαίνει ένα F1 στο δικό σας domain.
Μετρήστε precision, recall, false success, missed risk, χρόνο εντοπισμού και κόστος review χωρίς να αφήσετε τον evaluator να εγκρίνει ενέργειες. Αναλύστε ξεχωριστά errors από perception, consequence inference και aggregation.
Επιτρέψτε αυτοματοποιημένη συνέχεια μόνο στις σταθερές, αναστρέψιμες περιπτώσεις. Για sensitive ή destructive ενέργειες απαιτήστε human handoff, audit trail και rollback, όπως σε ένα πλήρες terminal-agent σύστημα.
Οι ίδιοι οι συγγραφείς καταγράφουν τρεις βασικούς περιορισμούς. Η μέθοδος έχει επικυρωθεί μόνο σε mobile scenarios· η μεταφορά σε desktop και web interfaces χρειάζεται νέα εμπειρική αξιολόγηση. Τα πειράματα είναι post-hoc, επομένως δεν αποδεικνύουν ακόμη ότι το CRATE λειτουργεί ως online reward model ή real-time reflection module σε κλειστό βρόχο.
Η απόδοση παραμένει δεμένη με τις ικανότητες του υποκείμενου VLM. Αν το μοντέλο δεν αναγνωρίσει ένα κρίσιμο στοιχείο ή περιγράψει λάθος τη συνέπεια, η τελική συγκέντρωση θα βασιστεί σε ελαττωματικό evidence. Επιπλέον, στο step-level reasoning η συνέπεια συνάγεται από την κατάσταση πριν και τη δηλωμένη ενέργεια, άρα η αξιοπιστία αυτού του world-model reasoning πρέπει να παρακολουθείται στο πραγματικό domain.
Τέλος, τα benchmarks και οι αριθμοί του paper τεκμηριώνουν την αποτελεσματικότητα στις συγκεκριμένες συλλογές δεδομένων. Δεν αποδεικνύουν από μόνοι τους το ίδιο κέρδος σε κάθε εταιρικό workflow. Η σωστή πορεία είναι πιλοτική εφαρμογή σε αντιπροσωπευτικές trajectories, σύγκριση με ανθρώπινα labels και ανάλυση των failure modes πριν το σύστημα αποκτήσει εξουσία πάνω σε πραγματικούς λογαριασμούς ή δεδομένα.
Όσο οι agents μετακινούνται από demos σε πραγματικές εφαρμογές, η αξιολόγησή τους δεν μπορεί να παραμένει μια τελική ματιά στο αποτέλεσμα. Χρειάζεται παρατηρησιμότητα ανά βήμα, σαφής διάκριση task success και safety, καθώς και τεκμήρια που μπορούν να ελεγχθούν από άνθρωπο.
Το CRATE προσφέρει ένα συγκεκριμένο research blueprint: αποσύνθεση, consequence reasoning και evidence aggregation. Τα αποτελέσματα δείχνουν ότι αυτή η δομή μπορεί να μειώσει το context overload και να κάνει ακόμη και ένα ανοιχτό VLM ανταγωνιστικό ως evaluator. Το CRATE-S επεκτείνει το ίδιο blueprint στον εντοπισμό λειτουργικών κινδύνων, χωρίς να συγχέει την ασφάλεια με την επίτευξη στόχου.
Για τους decision makers, το κεντρικό ερώτημα είναι πρακτικό: όταν ένας agent λέει «ολοκληρώθηκε», μπορεί η ομάδα σου να δει ποια απαίτηση ικανοποιήθηκε, με ποιο στοιχείο και σε ποιο βήμα; Αν όχι, το επόμενο βήμα δεν είναι μόνο ένα ισχυρότερο μοντέλο. Είναι ένα καλύτερο σύστημα αξιολόγησης.
Από το trajectory log στον ασφαλή agent
Η TWO DOTS σχεδιάζει success conditions, step-level evidence, safety policies, human approval gates, audit trail και rollback, ώστε κάθε mobile ή tool-using AI agent να αποδεικνύει τι έκανε πριν αποκτήσει δικαίωμα να συνεχίσει.
Συχνές ερωτήσεις
Το CRATE είναι πλαίσιο VLM-as-judge δύο σταδίων για mobile AI agents. Μετατρέπει κάθε screen-action pair σε σύντομο step-level evidence και μετά ελέγχει αν όλα τα ρητά conditions της εργασίας ικανοποιήθηκαν.
Το CRATE αξιολογεί task completion σε σχέση με τη ρητή εντολή. Το CRATE-S αξιολογεί operational safety χωρίς task description, εντοπίζοντας επαληθεύσιμους κινδύνους ανά βήμα και στη συνολική trajectory.
Η τελική οθόνη μπορεί να κρύψει μια παράλειψη, λάθος ποσότητα, λανθασμένη σειρά ή κίνδυνο που εμφανίστηκε προσωρινά. Η επιτυχία και η ασφάλεια είναι ιδιότητες ολόκληρης της διαδρομής.
Στο AndroidWorld με 116 trajectories, στο MobileRisk με 204 safe και unsafe trajectories και στο CRATEBench με 187 tasks σε 35 εφαρμογές. Υποσύνολο 62 tasks εκτελέστηκε σε φυσική κινητή συσκευή.
Με Qwen2.5-VL, το CRATE πέτυχε F1 0,833 στο AndroidWorld και 0,815 στο CRATEBench. Το CRATE-S πέτυχε F1 0,697 στο MobileRisk και υψηλότερο step-level score από το OS-Sentinel στην ίδια ρύθμιση.
Η αρχιτεκτονική μπορεί να καθοδηγήσει αντίστοιχο evaluator, αλλά η προδημοσίευση έχει επικυρώσει το CRATE μόνο σε mobile scenarios και post-hoc αξιολόγηση. Web, desktop και real-time χρήση χρειάζονται νέα εμπειρική επιβεβαίωση.
Συνδέει κάθε απόφαση επιτυχίας ή κινδύνου με συγκεκριμένα βήματα και evidence. Αυτό βοηθά το auditing, το failure analysis, τα approval gates και το human handoff, χωρίς να αποτελεί μόνο του εγγύηση ασφαλούς λειτουργίας.
Ο evaluator μπορεί να παρερμηνεύσει μια οθόνη ή τη συνέπεια μιας ενέργειας και η τελική κρίση να κληρονομήσει το λάθος. Απαιτούνται domain-specific labels, privacy-safe logs, shadow tests και συνεχής μέτρηση false positives και false negatives.
