Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το Who&When Pro δείχνει γιατί οι AI agents βρίσκουν ευκολότερα το λάθος βήμα από τη ρίζα της αποτυχίας και τι αλλάζει σε QA και observability.
Όταν ένας AI agent αποτυγχάνει, η ευθύνη δεν ανήκει αυτόματα στο μοντέλο ή στο τελευταίο βήμα που φαίνεται λάθος. Πρέπει να εντοπιστούν χωριστά ο agent ή το component που παρήγαγε το πρώτο αποφασιστικό σφάλμα, η χρονική στιγμή της απόκλισης και η πραγματική αιτία: αντίληψη, συλλογισμός, σχεδιασμός, ενέργεια, επαλήθευση ή συντονισμός.
Αυτή η διάκριση είναι κρίσιμη για επιχειρηματικούς αυτοματισμούς σε marketing, e-commerce, customer support και εσωτερικές λειτουργίες. Μια τελική απάντηση μπορεί να μοιάζει πειστική, ενώ η ρίζα του προβλήματος βρίσκεται πολύ νωρίτερα: σε λανθασμένη παρατήρηση, κακό πλάνο, λάθος παράμετρο εργαλείου, προβληματικό handoff ή ελλιπή επαλήθευση. Αν η ομάδα διορθώσει μόνο το τελευταίο σύμπτωμα, η ίδια αστοχία θα επιστρέψει με διαφορετική μορφή.
Η σωστή μονάδα ανάλυσης είναι η ολόκληρη αλυσίδα εκτέλεσης και όχι μόνο η τελική απόκριση. Σε ένα single-agent workflow μπορεί να αστοχήσουν η ανάκτηση δεδομένων, το μοντέλο, ένα εργαλείο, ένας κανόνας ή το validation layer. Σε multi-agent σύστημα προστίθενται ο orchestrator, η ανάθεση ρόλων, τα μηνύματα μεταξύ agents και η αποδοχή μιας μη επαληθευμένης απάντησης.
Το «ποιος» επομένως δεν είναι ερώτηση επίρριψης ευθυνών σε άνθρωπο ή προμηθευτή. Είναι τεχνική υπόθεση για το component που παρήγαγε το πρώτο σφάλμα ικανό να αλλάξει την έκβαση. Η επιχειρηματική ευθύνη παραμένει στον owner της ροής, ο οποίος ορίζει δεδομένα, δικαιώματα, acceptance criteria, fallback και πότε χρειάζεται ανθρώπινη έγκριση. Η ίδια λογική ισχύει είτε αξιολογείτε έναν web agent σε σύνθετες εργασίες είτε έναν agent που ενημερώνει CRM και παραγγελίες.
Δύο επίπεδα ευθύνης που δεν πρέπει να συγχέονται
Εντοπίζει τον agent ή το component, το πρώτο αποφασιστικό βήμα και την οικογένεια του σφάλματος μέσα στο trace.
Ορίζει owner, επιτρεπτές ενέργειες, όρια ρίσκου, σημεία ανθρώπινης έγκρισης, διαδικασία incident και κριτήριο επαναφοράς.
Το Who&When Pro είναι benchmark για automated failure attribution σε agentic systems. Περιλαμβάνει 12.326 αποτυχημένες διαδρομές από 26 source benchmarks, εννέα κατηγορίες εργασιών, 15 agent frameworks και τρεις μορφές εισόδου: κείμενο, εικόνα και βίντεο. Οι ερευνητές οργανώνουν τα σφάλματα σε 18 επιμέρους modes και έξι ευρύτερες οικογένειες.
Κάθε trace έχει κατά μέσο όρο 7,5 βήματα και 1.139 λέξεις, ενώ το μέγιστο μήκος φτάνει τα 50 βήματα. Η αξιολόγηση δεν ζητά απλώς να αποφασίσει ένα μοντέλο αν η τελική απάντηση είναι σωστή. Μετρά τέσσερα διαφορετικά πράγματα: τον υπεύθυνο agent στα multi-agent traces, το ακριβές πρώτο αποφασιστικό βήμα, τον τύπο σφάλματος με macro-F1 και το joint ποσοστό όπου όλα είναι ταυτόχρονα σωστά.
Αυτό έχει ιδιαίτερη σημασία για παραγωγικά workflows. Το να αναγνωρίσει ένας κριτής ότι «η αυτοματοποίηση απέτυχε» δεν βοηθά την επισκευή. Χρειάζεται να ξεχωρίσει αν η απόκλιση ξεκίνησε πριν από μια κλήση εργαλείου, μέσα στις παραμέτρους της, στην ερμηνεία του αποτελέσματος ή σε μεταγενέστερη απόφαση να αγνοηθεί ένας έλεγχος.
Η βασική καινοτομία του benchmark είναι η κατασκευή αποτυχιών με ελεγχόμενη αιτία. Οι δημιουργοί ξεκινούν από επιτυχημένη διαδρομή, αναπαράγουν ακριβώς το σωστό prefix και εισάγουν ένα λάθος σε συγκεκριμένο βήμα. Στη συνέχεια κάνουν warm start από αυτό το σημείο και αφήνουν τον agent να συνεχίσει. Αν η συνέχεια αποτύχει, η μοναδική ελεγχόμενη αλλαγή δίνει golden label για agent και αποφασιστικό βήμα.
Για στατικές κλήσεις, όπως ανάκτηση ιστοσελίδων, χρησιμοποιείται deterministic cache ώστε οι παρατηρήσεις πριν από το σφάλμα να μένουν ίδιες. Σε stateful περιβάλλοντα, όπως browser sessions, η κατάσταση αναπαράγεται με ελέγχους πιστότητας. Ακολουθεί post-hoc filtering ώστε να απομακρύνονται traces όπου το λάθος αποκαλύπτει τεχνητά τη διαδικασία, η σωστή απάντηση είναι ήδη υπερβολικά εμφανής ή δεν υπάρχει καθαρό αποφασιστικό σημείο.
Σε ανθρώπινο έλεγχο 100 traces, τρεις annotators ενέκριναν το 94% των labels βήματος και το 90% των labels agent και οικογένειας σφάλματος. Μόνο το 2% κρίθηκε από την πλειοψηφία ότι δεν είχε σαφές αποφασιστικό λάθος, ενώ το Fleiss’ kappa για την οικογένεια σφάλματος ήταν 0,73. Αυτή η επικύρωση στηρίζει την ποιότητα των labels, χωρίς να μετατρέπει το benchmark σε πλήρες υποκατάστατο πραγματικών production incidents.
Αντίληψη: λανθασμένη ανάγνωση κειμένου ή εικόνας και κακό spatial grounding. Συλλογισμός: hallucination, λογικό ή αριθμητικό λάθος και παρερμηνεία του στόχου. Σχεδιασμός: αναποτελεσματική στρατηγική ή σταδιακή απόκλιση από την αρχική εργασία.
Ενέργεια: λάθος παράμετρος εργαλείου, ανύπαρκτη ή ακατάλληλη ενέργεια, προβληματική μορφή εξόδου, πρόωρος τερματισμός και επαναληπτικός βρόχος. Επαλήθευση: απώλεια context ή ανεπαρκής έλεγχος ενός ενδιάμεσου αποτελέσματος. Συντονισμός: λανθασμένη ανάθεση, αστοχία επικοινωνίας ή υπερβολική εμπιστοσύνη στην απάντηση άλλου agent.
Κανόνας διάγνωσης
Μην ονομάζετε κάθε αστοχία «hallucination» ή «reasoning error».
Πρώτα εντοπίστε το πρώτο βήμα που θα άλλαζε την έκβαση αν διορθωνόταν. Έπειτα ελέγξτε αν το πρόβλημα γεννήθηκε στην αντίληψη, στο πλάνο, στην ενέργεια, στην επαλήθευση ή στο handoff. Η σωστή κατηγορία οδηγεί σε διαφορετική επισκευή.
Ένα λάθος stock update σε e-shop, για παράδειγμα, μπορεί να ξεκινά από παλιό ERP snapshot, από φίλτρο που εξαιρεί μια αποθήκη, από λάθος tool argument ή από απουσία τελικού reconciliation. Η ορατή συνέπεια είναι ίδια, αλλά η κατάλληλη παρέμβαση αλλάζει πλήρως. Αντίστοιχα, ένα CRM workflow χρειάζεται και τεχνικά guardrails και τους ελέγχους δεδομένων που περιγράφει η πρακτική του CRM compliance.
Στα αποτελέσματα δέκα μοντέλων, η καλύτερη επίδοση στον ακριβή εντοπισμό βήματος για κειμενικά traces έφτασε το 73,9%. Η καλύτερη ταξινόμηση τύπου σφάλματος στο ίδιο modality έφτασε μόλις το 22,2% macro-F1. Κανένα μοντέλο δεν κυριάρχησε σε όλες τις μορφές εισόδου και σε όλες τις μετρικές.
Τα βασικά author-reported μεγέθη του Who&When Pro
Οι τιμές προέρχονται από το arXiv v1 και περιγράφουν το συγκεκριμένο benchmark, όχι εγγυημένη απόδοση σε production αυτοματισμούς.
Ελεγχόμενες αποτυχημένες διαδρομές με golden labels για αποφασιστικό agent και βήμα.
Κάλυψη εννέα κατηγοριών εργασιών σε κείμενο, εικόνα και βίντεο.
Ακριβής αντιστοίχιση του πρώτου αποφασιστικού βήματος στην ισχυρότερη επίδοση του πίνακα.
Η ταξινόμηση της αιτίας παραμένει πολύ δυσκολότερη από τον χρονικό εντοπισμό.
Η διαφορά δείχνει ότι το «βλέπω πού χάλασε η ροή» δεν ισοδυναμεί με το «κατανοώ γιατί χάλασε». Ένα μοντέλο μπορεί να πλησιάσει το σωστό βήμα, αλλά να βαφτίσει το πρόβλημα κακό συλλογισμό ενώ η ρίζα ήταν ανεπαρκής επαλήθευση ή λανθασμένος σχεδιασμός. Το paper παρατηρεί επίσης ότι η step accuracy πέφτει από 94% σε traces κάτω από 3K tokens σε 50% όταν το trace ξεπερνά τα 12K tokens, για τα τέσσερα αντιπροσωπευτικά μοντέλα της σχετικής ανάλυσης.
Το ίδιο μοτίβο εξηγεί γιατί ένα σύστημα μπορεί να ξέρει τη σωστή απάντηση αλλά να μην ενεργοποιεί τη σωστή ακολουθία ελέγχου, ένα όριο που συναντάται και σε μελέτες για τη συλλογιστική συμπεριφορά μοντέλων. Στο debugging, η γνώση του στόχου βοηθά να φανεί η απόκλιση, αλλά δεν αποδεικνύει από μόνη της το root cause.
Η μέση ακρίβεια εντοπισμού βήματος ήταν υψηλότερη στο κείμενο, περίπου 69%, και έπεσε στα image και video traces, όπου το πολυτροπικό context κάνει δυσκολότερη τη χρονική τοποθέτηση της απόκλισης. Η ταξινόμηση error mode ακολούθησε αντίθετη τάση: περίπου 17% στο κείμενο και 37% στο βίντεο, επειδή τα οπτικά και συμπεριφορικά ίχνη δίνουν ισχυρότερα διαγνωστικά σημάδια.
Για μια e-commerce ομάδα αυτό σημαίνει ότι agent που αναλύει screenshots, φωτογραφίες προϊόντων ή βίντεο δεν πρέπει να αξιολογείται μόνο με τα tests ενός text chatbot. Το trace χρειάζεται να κρατά ποιο asset είδε, ποια περιοχή ή χρονικό σημείο χρησιμοποίησε, ποια ενέργεια αποφάσισε και ποιο αποτέλεσμα επέστρεψε το εργαλείο. Ένα mobile node ή browser agent, όπως στο μοντέλο του OpenClaw Gateway, απαιτεί επιπλέον σαφή ταυτότητα συσκευής, δικαιώματα και έλεγχο handoff.
Η σωστή απάντηση αναφοράς επίσης δεν λύνει αυτόματα τη διάγνωση. Μπορεί να βοηθήσει τον κριτή να αναγνωρίσει ότι το τελικό αποτέλεσμα είναι λάθος, αλλά να τραβήξει την προσοχή προς την τελευταία απόκλιση και να τον κάνει να προσπεράσει το αρχικό root cause. Για αυτό τα acceptance tests πρέπει να συνδυάζονται με trace review και όχι να το αντικαθιστούν.
Ένα παραγωγικό trace χρειάζεται κοινό correlation ID για ολόκληρο το workflow και ξεχωριστό span για κάθε agent, model invocation, retrieval και tool call. Σε κάθε βήμα καταγράψτε timestamp, component και version, είσοδο ή ασφαλές hash/σύνοψη, απόφαση, tool arguments, αποτέλεσμα, status, retry, latency, κόστος, checkpoint επαλήθευσης και τον λόγο τερματισμού ή handoff.
Οι semantic conventions του OpenTelemetry προσφέρουν κοινή ονοματολογία για agent identity, workflow, operation, tool call και evaluation. Αυτό βοηθά τη συσχέτιση traces μεταξύ frameworks, αλλά δεν σημαίνει ότι πρέπει να αποθηκεύεται αδιακρίτως ολόκληρο το prompt ή κάθε tool result. Τα ίδια τα conventions προειδοποιούν ότι arguments, αποτελέσματα και messages μπορεί να περιέχουν προσωπικά ή ευαίσθητα δεδομένα.
Για marketing agents, συνδέστε κάθε ισχυρισμό με την πηγή του και καταγράψτε ποιος έλεγχος έγινε πριν από δημοσίευση. Για e-commerce agents, κρατήστε φίλτρα προϊόντων, stock checks, κανόνες τιμολόγησης και μεταβολές καλαθιού. Για customer support, διαχωρίστε ανάκτηση πολιτικής, κατανόηση αιτήματος, προτεινόμενη λύση και τελική επιβεβαίωση. Το NIST AI RMF προτείνει αντίστοιχα τεκμηρίωση προέλευσης δεδομένων, data flows, decision criteria και συνδυασμό ανθρώπινης εποπτείας με αυτοματοποιημένη αξιολόγηση.
Το QA πρέπει να ξεκινά πριν από την επιλογή του judge. Η ομάδα χρειάζεται σαφή εργασία, ιδιοκτήτη, error taxonomy και γνωστό fallback. Έπειτα δοκιμάζει όχι μόνο την κανονική ροή αλλά και ελλιπή δεδομένα, καθυστερημένα εργαλεία, αντιφατικές πηγές, λανθασμένα permissions, αποτυχημένα handoffs και την περίπτωση όπου ο agent οφείλει να σταματήσει.
Από το pass/fail σε αιτιώδη διάγνωση
Καταγράψτε το επιθυμητό αποτέλεσμα, τις απαγορευμένες ενέργειες και πότε απαιτείται ανθρώπινη έγκριση ή άμεσο rollback.
Δώστε σταθερή ταυτότητα σε κάθε component, version και εξωτερική εξάρτηση ώστε το trace να δείχνει ποιος παρήγαγε κάθε ενέργεια.
Ξεχωρίστε αντίληψη, συλλογισμό, σχεδιασμό, ενέργεια, επαλήθευση και συντονισμό αντί να ονομάζετε όλες τις αστοχίες hallucination.
Κρατήστε inputs, αποφάσεις, tool calls, outputs και checkpoints με redaction και retention policy ανάλογα με το επιχειρηματικό ρίσκο.
Ελέγξτε ποια ελάχιστη διόρθωση σε agent και βήμα θα άλλαζε την έκβαση και μην σταματάτε στο τελευταίο ορατό σύμπτωμα.
Διορθώστε τη σωστή βαθμίδα, προσθέστε το trace στο test set και παρακολουθήστε αν η αλλαγή μειώνει το ίδιο failure mode χωρίς νέα παρενέργεια.
Δεν υπάρχει ένα attribution protocol που κερδίζει παντού. Το all-at-once βλέπει ολόκληρη τη διαδρομή, το step-by-step εξετάζει διαδοχικά τα βήματα και η binary search περιορίζει την περιοχή αναζήτησης. Στο Who&When Pro το full-trajectory attribution είναι συνολικά ισχυρό, αλλά η επιλογή στην πράξη πρέπει να ζυγίζει ακρίβεια, μήκος trace, latency, κόστος και δυνατότητα ανθρώπινου review.
Η μεγαλύτερη επιχειρηματική αξία δεν είναι ένα ακόμη leaderboard. Είναι η δυνατότητα να μετατρέπονται οι αποτυχίες σε δομημένο feedback. Αν γνωρίζετε ότι το πρόβλημα ήταν perception, planning, action ή verification, μπορείτε να επιλέξετε στοχευμένη παρέμβαση: καλύτερο OCR, διαφορετικό planner, αυστηρό schema εργαλείου, validation checkpoint, σαφέστερο handoff ή ανθρώπινη έγκριση.
Το Who&When Pro δείχνει επίσης τα σημερινά όρια της αυτοματοποιημένης διάγνωσης. Τα ισχυρά μοντέλα μπορούν συχνά να πλησιάσουν το σωστό σημείο, αλλά δυσκολεύονται να ανασυνθέσουν με ακρίβεια την αιτιώδη αλυσίδα. Η ασφαλής στρατηγική για μια επιχείρηση είναι συνδυασμός instrumentation, replayable traces, test cases με γνωστό ground truth, κανόνων επαλήθευσης και ανθρώπινης εποπτείας στις αποφάσεις υψηλού κόστους.
Πριν κλιμακωθεί ένας agent, η ομάδα πρέπει να αποδείξει ότι μπορεί να εξηγήσει και να επαναλάβει τις αποτυχίες του. Αυτό είναι πιο σημαντικό από ένα εντυπωσιακό demo: ένας επιχειρηματικός αυτοματισμός με AI είναι ώριμος όταν έχει owner, μετρήσιμα acceptance criteria, παρατηρησιμότητα, ασφαλή όρια και συγκεκριμένο μονοπάτι ανάκαμψης.
Από το workflow στο ελεγχόμενο production
Η TWO DOTS χαρτογραφεί agents, εργαλεία, δεδομένα, failure modes και approval gates πριν από την παραγωγική ενεργοποίηση. Έτσι το workflow αποκτά traceability, QA, fallback και σαφή επιχειρηματικό owner αντί να βασίζεται μόνο σε ένα καλό prompt.
Συχνές ερωτήσεις
Τεχνικά αναζητούμε το component που παρήγαγε το πρώτο αποφασιστικό λάθος. Επιχειρηματικά υπεύθυνος παραμένει ο owner της ροής, ο οποίος ορίζει δικαιώματα, ελέγχους, fallback και ανθρώπινη έγκριση.
Είναι η διαδικασία εντοπισμού του υπεύθυνου agent ή component, του πρώτου αποφασιστικού βήματος και της πραγματικής οικογένειας αιτίας μέσα σε μια αποτυχημένη διαδρομή.
Είναι benchmark με 12.326 failed traces από 26 benchmarks, 15 agent frameworks και τρεις μορφές εισόδου, σχεδιασμένο για την αξιολόγηση αυτοματοποιημένης απόδοσης αποτυχιών.
Επειδή η τελική απόκλιση μπορεί να είναι σύμπτωμα παλαιότερου λάθους στην αντίληψη, στο πλάνο, στις παραμέτρους εργαλείου, στην επαλήθευση ή στο handoff.
Τα λάθη σχεδιασμού, επαλήθευσης και συντονισμού συχνά συγχέονται με γενικά reasoning errors, επειδή τα μεταγενέστερα συμπτώματα είναι πιο εμφανή από τη ρίζα.
Correlation ID, agent και version, timestamps, ασφαλή inputs, αποφάσεις, tool calls και αποτελέσματα, retries, checkpoints επαλήθευσης, handoffs, status και λόγο τερματισμού.
Όχι για όλες τις ροές. All-at-once, step-by-step και binary search έχουν διαφορετική ακρίβεια, κόστος και συμπεριφορά σε μεγάλα traces και πρέπει να δοκιμάζονται στο πραγματικό workflow.
Ναι, ιδιαίτερα σε αποφάσεις υψηλού κόστους ή ρίσκου. Η αυτοματοποιημένη διάγνωση βοηθά στην κλιμάκωση, αλλά η ακρίβεια της αιτιώδους ταξινόμησης δεν είναι ακόμη σταθερή σε όλες τις περιπτώσεις.
