S više od 20 godina iskustva, transformiramo vaš digitalni identitet. Specijalizirani smo za razvoj web stranica i e-trgovina, SEO i digitalni marketing, ERP softver i pametna automatizacijska rješenja koja podižu vaše poslovanje na nove visine.
Adresa:
Ulica Egnatia 154, Solun 546 36
Telefon:
+30 231 231 4095
E-pošta:
[email protected]
Spremni za sljedeći korak?;
Ένα πρώτο λάθος σε tool selection ή arguments μπορεί να αλλάξει όλη την τροχιά ενός AI agent. Δείτε τι μετρά η έρευνα και πώς σχεδιάζεται ασφαλέστερο production evaluation.
Ένα AI agent μπορεί να επιλέξει σωστά το πρώτο εργαλείο και παρ’ όλα αυτά να αποτύχει λίγα βήματα αργότερα. Η αξιοπιστία δεν εξαρτάται μόνο από το αν το μοντέλο «σκέφτεται» σωστά, αλλά και από το αν καλεί το κατάλληλο εργαλείο, σχηματίζει έγκυρα arguments και μεταφέρει σωστά την κατάσταση στην επόμενη ενέργεια. Ένα πρώιμο, εκτελέσιμο λάθος μπορεί να αλλοιώσει όλη την υπόλοιπη αλυσίδα χωρίς να ενεργοποιήσει κανένα εμφανές error.
Η εργασία Invocation-Level Reliability of Tool-Using Agents εξετάζει αυτή τη διάδοση σε επίπεδο επιμέρους κλήσης. Συγκρίνει το ίδιο βήμα σε καθαρό, teacher-forced ιστορικό και στην πραγματική free-running τροχιά του μοντέλου. Η διάκριση είναι κρίσιμη για επιχειρήσεις που χρησιμοποιούν agents σε CRM, customer support, marketing operations, e-commerce και πολυβηματικούς αυτοματισμούς με APIs.
Kratki odgovor
Ένα πρώτο λάθος χαλάει την αλυσίδα όταν δημιουργεί λανθασμένη αλλά φαινομενικά έγκυρη κατάσταση. Η μελέτη βρήκε propagation loss περίπου 69% στο βάθος 6 για τα δύο μοντέλα με τα περισσότερα δεδομένα. Το σωστό production evaluation πρέπει να μετρά tool selection, arguments, state πριν και μετά από κάθε κλήση, θέση του πρώτου λάθους και τελικό επιχειρησιακό αποτέλεσμα.
Η αλυσίδα αποτυγχάνει όταν ένα βήμα παράγει κατάσταση που γίνεται είσοδος για το επόμενο. Αν το payload είναι συντακτικά άκυρο, ο executor μπορεί να το απορρίψει και να σταματήσει έγκαιρα τη ροή. Αν όμως το payload είναι έγκυρο αλλά περιέχει λάθος order ID, λάθος ποσό ή λάθος customer record, το εργαλείο μπορεί να εκτελεστεί κανονικά και να επιστρέψει νέα δεδομένα πάνω σε λάθος βάση.
Από εκεί και πέρα ο agent δεν αντιμετωπίζει μόνο το αρχικό σφάλμα. Βλέπει ένα διαφορετικό state, επιλέγει εργαλεία με βάση αυτό και δημιουργεί νέες συνέπειες. Για αυτό τα απλά retries δεν αρκούν πάντα. Όπως εξηγεί και η ανάλυση για το Agent Mesh και τα retries στους AI agents, η επανάληψη μιας κλήσης χωρίς έλεγχο πρόθεσης, state και effects μπορεί να επαναλάβει ή να μεγεθύνει το ίδιο λάθος.
Κανόνας αξιοπιστίας
Ελέγξτε την κατάσταση, όχι μόνο το HTTP status
Μια κλήση που επέστρεψε 200 μπορεί να είναι επιχειρησιακά λανθασμένη. Κάθε κρίσιμο βήμα χρειάζεται validation των arguments πριν από την εκτέλεση και validation της νέας κατάστασης πριν αυτή περάσει στο επόμενο εργαλείο.
Σε κάθε κλήση εργαλείου υπάρχουν τουλάχιστον δύο κρίσιμες αποφάσεις. Η πρώτη είναι η επιλογή: ποιο εργαλείο πρέπει να κληθεί. Η δεύτερη είναι η κατασκευή των arguments: ποιες τιμές πρέπει να σταλούν και σε ποια μορφή. Ένας agent μπορεί να επιλέξει λάθος εργαλείο, να παραλείψει μια κλήση ή να επινοήσει μια ανύπαρκτη λειτουργία. Μπορεί επίσης να επιλέξει το σωστό εργαλείο αλλά να δώσει λάθος, ελλιπή ή κακοσχηματισμένα δεδομένα.
Ο agent καλεί λάθος tool, παραλείπει την απαιτούμενη ενέργεια ή επινοεί λειτουργία που δεν υπάρχει. Το σφάλμα αλλάζει ποια διαδρομή ακολουθεί η ροή.
Ο agent καλεί το σωστό tool με λάθος, ελλιπείς ή κακοσχηματισμένες τιμές. Το επικίνδυνο σενάριο είναι ένα σημασιολογικά λάθος payload που εκτελείται χωρίς τεχνικό error.
Σε ένα e-commerce workflow, άλλο είναι να αποτύχει ένα API request λόγω άκυρου JSON και άλλο να εκτελεστεί με λάθος order ID. Η δεύτερη περίπτωση είναι συχνά πιο επικίνδυνη, επειδή παράγει φαινομενικά έγκυρη κατάσταση. Το ίδιο ισχύει σε έναν agent για customer support: η αποστολή απάντησης στον λάθος πελάτη μπορεί να φαίνεται επιτυχής στο εργαλείο, ενώ αποτελεί σοβαρή επιχειρησιακή αποτυχία. Για αυτό η επιλογή ανάμεσα σε AI agents για customer support πρέπει να περιλαμβάνει κριτήρια για knowledge grounding, CRM context και human handoff, όχι μόνο ποιότητα απάντησης.
Η μελέτη ορίζει ως local correctness την πιθανότητα ένα βήμα να είναι σωστό όταν όλο το προηγούμενο ιστορικό είναι σωστό. Αυτό μετριέται σε teacher-forced context: το μοντέλο δεν κουβαλά τα δικά του προηγούμενα σφάλματα. Έτσι απομονώνεται η επίδραση που μπορεί να έχει η αύξηση του context από μόνη της.
Ως global correctness ορίζεται η πιθανότητα το ίδιο βήμα να είναι σωστό μέσα στην ελεύθερη, πραγματική πορεία του μοντέλου. Εδώ ένα προηγούμενο λάθος παραμένει στην αλυσίδα και μπορεί να αλλοιώσει όσα ακολουθούν. Η διαφορά ανάμεσα στις δύο μετρήσεις δεν είναι απλώς γενική πτώση από μεγαλύτερο context. Είναι ένδειξη διάδοσης σφάλματος.
Οι ερευνητές συνοψίζουν τη διαφορά με το net propagation loss, που υπολογίζεται ως 1 − global correctness / local correctness. Πρόκειται για fit-free μέτρηση από δύο παρατηρούμενους ρυθμούς. Δεν απαιτεί να υποθέσουμε εκ των προτέρων πώς συμπεριφέρεται ο agent μετά το λάθος.
Το πείραμα χρησιμοποίησε ελεγχόμενες εργασίες με κρυφά dependency graphs και αλυσίδες βάθους 1, 2, 4, 6 και 8. Τα εργαλεία ήταν ντετερμινιστικές συναρτήσεις και η σωστή επόμενη επιλογή εξαρτιόταν από κανόνα ισοτιμίας πάνω στην εισερχόμενη τιμή. Με αυτόν τον σχεδιασμό, ένα λάθος άλλαζε πραγματικά την κατάσταση και μπορούσε να αλλάξει ποιο εργαλείο ήταν σωστό στη συνέχεια.
Στα δύο μοντέλα με τα περισσότερα δεδομένα, το propagation loss στο βάθος 6 έφτασε το 0,686 για το llama-3.1-8b-instant και το 0,684 για το allam-2-7b. Για το πρώτο μοντέλο, η local correctness μειώθηκε από 0,700 στο βάθος 1 σε 0,543 στο βάθος 8, ενώ η global correctness έπεσε από 0,700 σε 0,174. Η ηπιότερη πρώτη πτώση αποτυπώνει την επιβάρυνση του μεγαλύτερου context. Η εντονότερη δεύτερη πτώση αποτυπώνει τη συσσώρευση προηγούμενων λαθών.
Τι μετρήθηκε όταν η αλυσίδα άρχισε να αποκλίνει
Τεκμηριωμένες τιμές από τη μελέτη σε ελεγχόμενες συνθετικές εργασίες tool calling.
Στο βάθος 1 το propagation loss ήταν ακριβώς μηδέν για όλα τα μοντέλα, επειδή οι δύο συνθήκες είχαν ταυτόσημο prompt και κοινή cached απάντηση. Αυτό λειτουργεί ως έλεγχος της πειραματικής διάταξης. Δείχνει επίσης γιατί ένα benchmark πολύ μικρού βάθους δεν μπορεί να αποκαλύψει διάδοση σφάλματος: απλώς δεν υπάρχουν αρκετά επόμενα βήματα.
Δεν έχουν όλα τα λάθη το ίδιο downstream κόστος. Ένα λάθος στο τελευταίο βήμα μειώνει την τελική επιτυχία, αλλά δεν έχει χρόνο να διαδοθεί. Ένα λάθος στην αρχή μπορεί να επηρεάσει ολόκληρη την υπόλοιπη αλυσίδα. Στο llama-3.3-70b-versatile, στο βάθος 4, έξι από τα επτά λάθη καταγράφηκαν στο τελευταίο βήμα. Το μοντέλο έμοιαζε σχεδόν άτρωτο στη διάδοση, όχι επειδή αποδεδειγμένα ανακάμπτει, αλλά επειδή τα περισσότερα λάθη εμφανίστηκαν όταν δεν απέμενε downstream διαδρομή.
Για μια ομάδα προϊόντος αυτό σημαίνει ότι το συνολικό accuracy δεν αρκεί. Δύο agents με ίδιο ποσοστό σωστών κλήσεων μπορεί να έχουν πολύ διαφορετικό λειτουργικό ρίσκο, αν ο ένας κάνει λάθη νωρίς και ο άλλος αργά. Ένα αξιοπρεπές evaluation πρέπει να καταγράφει το step index του πρώτου λάθους, το βάθος της εργασίας, τα επηρεασμένα effects και το downstream impact.
Τι να γράφει το trace
Για κάθε invocation αποθηκεύστε tool name, arguments, validation result, tool response, state πριν και μετά, retry, ανθρώπινη έγκριση και τελικό effect. Έτσι μπορείτε να ξεχωρίσετε reasoning failure, integration failure και μη ανακτήσιμο information gap.
Το σημαντικότερο εύρημα της εργασίας αφορά τη μέτρηση και όχι μια συγκεκριμένη οικογένεια μοντέλων. Με exact-match scoring απέναντι σε μία σταθερή gold τροχιά, οι παράμετροι severity και recovery δεν είναι απλώς δύσκολο να εκτιμηθούν. Σε αυτή την πειραματική διάταξη καθορίζονται εκ των προτέρων από τον ίδιο τον κανόνα βαθμολόγησης.
Μετά από μια απόκλιση, η σωστή gold τιμή παράγεται από constants των εργαλείων που δεν εμφανίζονται ποτέ στο schema και δεν είναι διαθέσιμα στο μοντέλο. Ο agent δεν μπορεί λογικά να ανακατασκευάσει αυτή την τιμή. Στα δεδομένα υπήρξαν μηδέν σωστά βήματα σε 869 βήματα με poisoned context και μηδέν επιστροφές στη gold τροχιά σε 580 ευκαιρίες με επόμενο βήμα. Η τυχαία σύμπτωση αναμενόταν μόλις 0,0058 φορές.
Επομένως το μηδενικό recovery δεν αποδεικνύει ότι τα μοντέλα στερούνται μηχανισμού αυτοδιόρθωσης. Δείχνει ότι ο scorer ζητά μια πληροφορία που το μοντέλο δεν έχει λάβει και δεν μπορεί να συναγάγει. Ακόμη και ένα μοντέλο που θα συνέχιζε σωστά από τη νέα κατάσταση θα βαθμολογούνταν ως λάθος επειδή δεν επέστρεψε στη μοναδική reference trajectory.
Η προτεινόμενη λύση είναι να βαθμολογείται μια κλήση ως σωστή όταν συνεχίζει σωστά από την κατάσταση που κρατά πραγματικά το μοντέλο, όχι μόνο όταν συμφωνεί με τη gold τροχιά. Αν ένας agent έχει λάθος αριθμό από προηγούμενο βήμα αλλά εφαρμόζει σωστά τον κανόνα δρομολόγησης σε αυτόν τον αριθμό, η συμπεριφορά του πρέπει να διαχωρίζεται από μια νέα αποτυχία κατανόησης του κανόνα.
Μετρά αν η κλήση παραμένει στη μοναδική reference trajectory και υποστηρίζει καθαρή σύγκριση τελικού αποτελέσματος. Μετά από απόκλιση μπορεί να απαιτεί πληροφορία που ο agent δεν διαθέτει.
Μετρά αν η επόμενη ενέργεια είναι λογικά σωστή για το state που έχει ο agent. Διαχωρίζει τη νέα λανθασμένη απόφαση από την αδυναμία επιστροφής σε απρόσιτη gold τιμή.
Η ομάδα εφάρμοσε το conditional-on-state scoring αναδρομικά στις cached completions, με μηδέν νέες API κλήσεις και 881 cache hits. Η εκτιμώμενη severity μετακινήθηκε από το τεχνητό όριο 1,000 σε 0,149 για το llama-3.1-8b-instant και 0,316 για το allam-2-7b, με 89% διαστήματα που απέκλειαν το μηδέν. Οι ίδιοι οι συγγραφείς το παρουσιάζουν ως ένδειξη σε δύο μοντέλα με ευρεία διαστήματα, όχι ως οριστικό συμπέρασμα για κάθε agent.
Το conditional scoring έχει κόστος. Δεν υπάρχει μία μοναδική σωστή απάντηση για κάθε βήμα, η υλοποίηση είναι πιο απαιτητική και η σύγκριση διαφορετικών συστημάτων γίνεται λιγότερο απλή. Επιπλέον, υψηλή invocation correctness δεν εγγυάται τελική επιτυχία. Για αυτό η πρακτική πρόταση είναι να αναφέρονται και οι δύο φακοί: gold agreement για την εξωτερική έκβαση και conditional correctness για την ικανότητα χειρισμού της πραγματικής κατάστασης.
Οι ερευνητές έτρεξαν το παραμετρικό fit παρότι ο κανόνας βαθμολόγησης είχε ήδη καθορίσει την τιμή. Το μοντέλο επέστρεψε 0,92 και 0,73 για ποσότητα που ήταν ακριβώς 1,000. Τα συνήθη diagnostics έδειχναν άριστα: R-hat έως 1,0005, effective sample size τουλάχιστον 5.823 και μηδενικές divergences.
Το μάθημα για analytics και AI governance είναι συγκεκριμένο. Τα diagnostics ελέγχουν αν ο αλγόριθμος εξερεύνησε σωστά το μοντέλο που του δώσαμε. Δεν ελέγχουν αν η έννοια που θέλουμε να μετρήσουμε είναι αναγνωρίσιμη από τα διαθέσιμα δεδομένα. Ένα τεχνικά υγιές pipeline μπορεί να απαντά με μεγάλη βεβαιότητα σε λάθος ερώτηση.
Παρόμοιο πρόβλημα εμφανίζεται στους ενιαίους μέσους όρους. Η μελέτη όρισε discrimination statistic με βάση το πόσο αλλάζει η επιλογή του πρώτου tool ανάλογα με τον κανόνα ισοτιμίας. Το qwen3.6-27b είχε +1,000, το llama-3.1-8b +0,146 και το allam-2-7b −0,176. Τα συνολικά first-listed rates όμως βρίσκονταν κοντά μεταξύ τους και έκρυβαν ότι το τελευταίο μοντέλο ήταν αντίστροφα συσχετισμένο με τον κανόνα. Η χρήσιμη πληροφορία εμφανίστηκε μόνο όταν τα δεδομένα αναλύθηκαν υπό τη σωστή συνθήκη.
Η μελέτη δεν δίνει έτοιμο production benchmark. Δίνει ένα αυστηρό πλαίσιο ερωτήσεων. Η αξιολόγηση πρέπει να διαχωρίζει λάθος tool από λάθος arguments, αποτυχία parsing από εκτελέσιμο αλλά λανθασμένο αποτέλεσμα, και καθαρή από poisoned κατάσταση. Πρέπει επίσης να περιλαμβάνει αλυσίδες αρκετού βάθους ώστε ένα αρχικό λάθος να έχει χρόνο να εκδηλώσει τις συνέπειές του.
Σε έναν agent που ενημερώνει CRM, δημιουργεί προσφορά και στέλνει follow-up, δεν αρκεί να μετρηθεί αν ολοκληρώθηκε το τελευταίο action. Χρειάζεται καταγραφή του state πριν και μετά από κάθε tool call, των arguments, της απόκρισης του εργαλείου, της θέσης του πρώτου λάθους και του αν τα επόμενα βήματα ήταν λογικά συνεπή με την κατάσταση που έβλεπε ο agent. Η ανάλυση για τα AI agents σε πεπερασμένες καταστάσεις δείχνει πώς τα traces μπορούν να μετατραπούν σε λειτουργικό χάρτη για βρόχους και πρόβλεψη αποτυχίας.
Το benchmark πρέπει επίσης να παγώνει όλο το σύστημα και όχι μόνο το model ID. Το coding agent harness καθορίζει context, εργαλεία, retries και κανόνες τερματισμού, άρα μπορεί να αλλάξει ουσιαστικά το αποτέλεσμα. Για production έγκριση χρειάζεται versioned σύνδεση ανάμεσα σε μοντέλο, prompts, tool schemas, permissions, harness, evaluator και dataset.
Επτά βήματα για αξιολόγηση tool-calling agent
Καταγράψτε ποια CRM records, παραγγελίες, tickets ή οικονομικά στοιχεία επιτρέπεται να αλλάξει ο agent και τι σημαίνει επιτυχής ολοκλήρωση.
Κρατήστε ακριβείς εκδόσεις, schemas, permissions, time budget, retry policy και context strategy ώστε κάθε σύγκριση να αλλάζει μία γνωστή μεταβλητή.
Συμπεριλάβετε ροές όπου ένα πρώτο λάθος έχει αρκετά επόμενα βήματα για να εκδηλώσει το πραγματικό downstream κόστος του.
Καταγράψτε επιλογή tool, arguments, validation, response, state πριν και μετά, retries, approvals και το index του πρώτου λάθους.
Το πρώτο αποτυπώνει αν επιτεύχθηκε το επιθυμητό εξωτερικό αποτέλεσμα. Το δεύτερο δείχνει αν ο agent συνέχισε λογικά από την κατάσταση που είχε πραγματικά.
Για μη αναστρέψιμες ή υψηλού κόστους ενέργειες, απαιτήστε least privilege, idempotency, approval και σαφή δυνατότητα ακύρωσης. Το human in the loop χρειάζεται σχεδιασμένα checkpoints, όχι απλή παρουσία ανθρώπου.
Ορίστε thresholds ανά τύπο λάθους, μέγιστο επιτρεπτό downstream effect, συνθήκες παύσης και τεκμηριωμένη επιστροφή σε ασφαλή κατάσταση.
Η διαδικασία αυτή συνδέεται με το ευρύτερο agent governance στο runtime. Δεν αρκεί να ελέγχονται credentials και APIs γύρω από τον agent. Πρέπει να ελέγχεται αν η συνολική ακολουθία παραμένει πιστή στην αρχική πρόθεση και αν τα effects μπορούν να εξηγηθούν, να περιοριστούν και να αντιστραφούν.
Πριν χρησιμοποιηθούν πραγματικά μοντέλα, το pipeline της μελέτης ελέγχθηκε με έξι simulated policies και εντόπισε επτά artifacts, μεταξύ των οποίων ασύμμετρα retry budgets και λάθος απόδοση selection errors όταν η κατάσταση είχε ήδη αλλοιωθεί. Ωστόσο, δύο επιπλέον προβλήματα δεν ήταν απλά bugs κώδικα. Οι simulated agents μπορούσαν να διαβάζουν ground truth από κανάλι που δεν είχε ένα πραγματικό μοντέλο, με αποτέλεσμα η προσομοίωση να «επιβεβαιώνει» recovery που δεν ήταν παρατηρήσιμο στην πραγματική ροή.
Η μελέτη αναφέρει ακόμη ότι ένας παλαιότερος extractor θα χαρακτήριζε ως parse failures τις 319 από 394 απαντήσεις του qwen3.6-27b, δηλαδή το 81%. Μια κοινή υπόθεση για το output-token κόστος έκρυβε επίσης ότι το πραγματικό κόστος του Qwen ήταν 6,6 φορές υψηλότερο. Το μήνυμα είναι πρακτικό: κάθε parser, constant και aggregation rule πρέπει να επαληθεύεται ανά μοντέλο και calling mode.
Οι εργασίες ήταν ελεγχόμενες και συνθετικές, με ακέραια arguments, ντετερμινιστικές συναρτήσεις και αδιαφανή constants. Αυτό προσφέρει ακριβές ground truth, αλλά δεν αποδεικνύει ότι τα ίδια effect sizes ισχύουν σε φυσική γλώσσα, πολυπεδιακά payloads ή production APIs. Η conditional-scoring διόρθωση χρειάζεται επιβεβαίωση σε δυσκολότερες εργασίες τύπου BFCL ή tau-bench.
Τέσσερις σχεδιασμένες συνθήκες δεν εκτελέστηκαν λόγω compute budget: linear null control, transformed arguments, presentation-order control και calling-mode ablation. Τα δείγματα διέφεραν σημαντικά ανά μοντέλο, ένα μοντέλο ολοκλήρωσε μηδέν tasks και αποκλείστηκε, ενώ τα μεγαλύτερα μοντέλα βρίσκονταν κοντά στο ceiling στις συγκεκριμένες εργασίες. Δεν προκύπτει συμπέρασμα για scaling ή γενική υπεροχή μιας οικογένειας μοντέλων.
Το σωστό business takeaway δεν είναι ότι ένα συγκεκριμένο μοντέλο είναι «ασφαλές». Είναι ότι η μέθοδος αξιολόγησης πρέπει να ελέγχει αν μετρά πραγματική ικανότητα ή ιδιότητα του scorer. Το NIST AI Risk Management Framework αντιμετωπίζει την αξιολόγηση ως μέρος της συνολικής διαχείρισης κινδύνου σε όλο τον κύκλο ζωής του συστήματος, κάτι που ενισχύει την ανάγκη για συνεχή μέτρηση και παρακολούθηση μετά το pilot.
Οι AI agents δεν είναι μεμονωμένα prompts. Είναι συστήματα που μεταφέρουν κατάσταση, καλούν εργαλεία και δημιουργούν νέες προϋποθέσεις για τις επόμενες αποφάσεις. Γι’ αυτό η αξιοπιστία τους δεν μπορεί να συμπυκνωθεί σε ένα τελικό pass/fail ή σε έναν μέσο όρο function-calling accuracy.
Η ουσιαστική αξιολόγηση χρειάζεται τουλάχιστον δύο φακούς: αν ο agent έφτασε στη σωστή εξωτερική κατάσταση και αν συνέχισε λογικά από την κατάσταση που πράγματι είχε. Όταν η reference trajectory γίνεται πληροφοριακά απρόσιτη μετά το πρώτο λάθος, η αποτυχία επιστροφής σε αυτήν δεν αποτελεί από μόνη της απόδειξη ότι ο agent δεν μπορεί να διορθώσει τη συμπεριφορά του.
Για ομάδες που σχεδιάζουν agents, αυτό μεταφράζεται σε πλήρες invocation logging, βαθύτερα σενάρια, state-aware scoring, ελεγχόμενα permissions και ρητή χαρτογράφηση του downstream κόστους. Το production readiness δεν είναι ένα ποσοστό. Είναι η τεκμηριωμένη ικανότητα του συστήματος να εντοπίζει, να περιορίζει και να αναστρέφει το πρώτο λάθος πριν αυτό γίνει επιχειρησιακό γεγονός.
Poslovna automatizacija i umjetna inteligencija
Σχεδιάστε AI workflows με ελέγξιμα βήματα και ασφαλή handoff
Η TWO DOTS χαρτογραφεί εργαλεία, δεδομένα, permissions, validation, monitoring και ανθρώπινη έγκριση πριν ένας AI agent περάσει σε πραγματικές επιχειρησιακές ενέργειες. Έτσι το pilot μετρά ολόκληρη την αλυσίδα και όχι μόνο την τελευταία απάντηση του μοντέλου.
Često postavljana pitanja
Είναι η αξιολόγηση κάθε επιμέρους κλήσης εργαλείου: αν επιλέχθηκε το σωστό tool, αν δόθηκαν τα σωστά arguments και αν το αποτέλεσμα μετέφερε έγκυρη κατάσταση στο επόμενο βήμα.
Η local correctness μετρά ένα βήμα όταν το προηγούμενο ιστορικό είναι σωστό. Η global correctness το μετρά μέσα στην πραγματική τροχιά του agent, όπου προηγούμενα λάθη μπορεί να έχουν αλλάξει την κατάσταση.
Είναι το μέρος της επίδοσης σε καθαρό context που χάνεται όταν ο agent συνεχίζει πάνω στα δικά του προηγούμενα λάθη. Στη μελέτη υπολογίζεται ως 1 μείον το πηλίκο global προς local correctness.
Μετά από απόκλιση μπορεί να απαιτεί επιστροφή σε μια gold τιμή που ο agent δεν έχει δει και δεν μπορεί να παράγει από τις διαθέσιμες πληροφορίες. Τότε η μετρούμενη ανάκαμψη καθορίζεται από τον scorer.
Βαθμολογεί αν η επόμενη κλήση είναι σωστή δεδομένης της κατάστασης που κατέχει πραγματικά ο agent, ακόμη κι αν αυτή έχει ήδη αποκλίνει από τη reference trajectory.
Όχι. Χρειάζονται logs ανά βήμα, διάκριση selection και argument errors, θέση του πρώτου σφάλματος, βάθος αλυσίδας, state validation και έλεγχος των πραγματικών επιχειρησιακών effects.
Όχι. Τα αποτελέσματα προέρχονται από ελεγχόμενες συνθετικές εργασίες και άνισα δείγματα. Η μελέτη δεν τεκμηριώνει συμπέρασμα για scaling ή γενική υπεροχή συγκεκριμένης οικογένειας μοντέλων.
Να αποθηκεύει prompts, tool selections, arguments, tool responses, validation results και state transitions ανά invocation. Χωρίς αυτά τα δεδομένα δεν μπορεί να επαναβαθμολογήσει τις τροχιές ή να εντοπίσει πού διαδόθηκε το πρώτο λάθος.
