MAG: Τι αποκαλύπτει το νέο benchmark για τους AI agents στο web

Ένας web agent μπορεί να φαίνεται εντυπωσιακός όταν ανοίγει σελίδες, συμπληρώνει πεδία και πατά κουμπιά. Αυτό όμως δεν αρκεί για να χρησιμοποιηθεί σε παραγγελίες, CRM, καμπάνιες, επιστροφές, αναφορές ή εσωτερικές εγκρίσεις. Η επιχειρηματική αξία προκύπτει μόνο όταν ο agent φτάνει στο σωστό τελικό αποτέλεσμα, αφήνει κατανοητό ίχνος ενεργειών και σταματά με ελεγχόμενο τρόπο όταν το περιβάλλον δεν ταιριάζει στις προσδοκίες του.

Τι μετρά πραγματικά το MAG

Τα αρχικά MAG σημαίνουν Multimodal Action and Guide. Σε κάθε βήμα ο agent βλέπει την τρέχουσα σελίδα ως screenshot, λαμβάνει το ιστορικό των οδηγιών που έχει ήδη γράψει και επιστρέφει ένα ζεύγος: την επόμενη ενέργεια και μια ανθρώπινη οδηγία. Η ενέργεια μπορεί να είναι click, πληκτρολόγηση, επιλογή, scroll, Enter, επιστροφή ή τερματισμός. Η οδηγία πρέπει να εξηγεί τι κάνει ο χρήστης στην ορατή σελίδα χωρίς να αποκαλύπτει τεχνικά identifiers, αριθμούς marks ή συντεταγμένες pixel.

Η διπλή απαίτηση είναι σημαντική επειδή ενώνει δύο προβλήματα που συνήθως αξιολογούνται χωριστά. Τα κλασικά web-agent benchmarks ρωτούν αν ολοκληρώθηκε το task. Τα εργαλεία digital adoption και οι έρευνες για in-app guidance εξετάζουν αν δημιουργήθηκε χρήσιμη οδηγία. Το MAG ζητά από το ίδιο σύστημα να ενεργήσει και να εξηγήσει, ώστε μια επιτυχημένη διαδρομή να μπορεί να μετατραπεί σε επαναχρησιμοποιήσιμο οδηγό για τον επόμενο χρήστη.

Το αποτέλεσμα δεν κρίνεται από το πόσο πειστικά γράφει το μοντέλο. Η επιτυχία ελέγχεται λειτουργικά στην τελική κατάσταση του website. Παράλληλα, οι οδηγίες συγκρίνονται με ανθρώπινα επαληθευμένα gold guides και περνούν format gate. Έτσι μια άψογη περιγραφή δεν καλύπτει μια αποτυχημένη ενέργεια και ένα σωστό click δεν αρκεί αν η συνοδευτική οδηγία είναι ακατανόητη ή διαρρέει εσωτερικά στοιχεία.

Γιατί τα screenshots αλλάζουν την αξιολόγηση των web agents

Πολλά συστήματα web automation διαβάζουν το DOM ή ένα accessibility tree. Αυτές οι αναπαραστάσεις προσφέρουν καθαρή δομή και συχνά κάνουν ευκολότερο τον εντοπισμό ενός κουμπιού ή πεδίου. Ο άνθρωπος όμως δεν χρησιμοποιεί το website ως λίστα από nodes. Βλέπει τη rendered σελίδα, τη θέση των στοιχείων, την οπτική ιεραρχία, τα overlays, τα μενού που ανοίγουν, τις αλλαγές κατάστασης και το περιεχόμενο που εμφανίζεται μετά από scroll.

Το MAG κρατά το screenshot στο κέντρο της παρατήρησης. Η επιλογή αυτή φέρνει την αξιολόγηση πιο κοντά σε ό,τι συμβαίνει σε ένα πραγματικό e-shop, CRM ή help desk, όπου pop-ups, responsive layouts, sticky headers και δυναμικά panels μπορούν να αλλάξουν τη διαθέσιμη ενέργεια. Ένας agent που βασίζεται μόνο σε κειμενική δομή μπορεί να εντοπίσει σωστό element αλλά να μην αντιληφθεί ότι είναι κρυμμένο, καλυμμένο ή οπτικά διαφορετικό από αυτό που περιμένει ο χρήστης.

Η οπτική αξιολόγηση δεν καταργεί την αξία του DOM. Δείχνει όμως ότι η αξιοπιστία εξαρτάται από το κανάλι παρατήρησης. Σε παραγωγικό σύστημα μπορεί να χρειάζεται συνδυασμός screenshot, δομημένων δεδομένων, API και deterministic checks. Το κατάλληλο μείγμα πρέπει να δοκιμάζεται στις ίδιες σελίδες και στις ίδιες εργασίες που θα αντιμετωπίσει ο agent, όχι μόνο σε ένα γενικό benchmark.

Set-of-Mark ή συντεταγμένες: δύο διαφορετικοί τρόποι grounding

Το MAG συγκρίνει δύο τρόπους με τους οποίους ο agent συνδέει την πρόθεσή του με ένα ορατό στοιχείο. Στο Set-of-Mark, αριθμημένες σημάνσεις τοποθετούνται πάνω στα διαδραστικά στοιχεία και ο agent επιλέγει το κατάλληλο mark. Στη μέθοδο των συντεταγμένων, ο agent επιστρέφει απευθείας τη θέση pixel στην οποία πρέπει να γίνει η ενέργεια. Και στις δύο περιπτώσεις το screenshot, το prompt, το action budget και η βαθμολόγηση παραμένουν ίδια.

Τα αποτελέσματα δεν αναδεικνύουν έναν καθολικό νικητή. Το Gemini εμφανίζει σαφή προτίμηση στο Set-of-Mark, ενώ τα GPT-5.5 και Claude δεν παρουσιάζουν αντίστοιχη σημαντική προτίμηση. Το εκπαιδευμένο μοντέλο 9B βελτιώνεται κυρίως με Set-of-Mark. Για μια επιχείρηση αυτό σημαίνει ότι το grounding είναι αρχιτεκτονική επιλογή που πρέπει να μετρηθεί ανά μοντέλο, browser, ανάλυση, σελίδα και task.

Πώς δημιουργήθηκε το benchmark και τι ακριβώς περιλαμβάνει

Η βάση του MAG προέρχεται από 581 επιτυχημένες demonstrations του OpAgent πάνω σε εργασίες του WebArena. Οι διαδρομές αναπαράχθηκαν σε live sites, καταγράφηκαν screenshots και αντιστοιχίστηκαν οι ενέργειες τόσο σε Set-of-Mark όσο και σε συντεταγμένες. Οι συγγραφείς αναφέρουν ότι 563 tasks επέζησαν της διαδικασίας επανασχολιασμού και απέκτησαν πλήρεις gold trajectories.

Το τελικό υλικό περιλαμβάνει 4.760 βήματα Set-of-Mark και 5.779 βήματα συντεταγμένων. Για κάθε βήμα δημιουργήθηκε οδηγία με βοήθεια γλωσσικού μοντέλου και ακολούθησε ανθρώπινη διόρθωση. Η αρχική κατανομή των 581 tasks ήταν 407 για training και 174 για test, ενώ μετά τα φίλτρα τα πλήρως σχολιασμένα tasks έγιναν 396 και 167 αντίστοιχα. Η διάκριση είναι σημαντική για να μη συγχέονται το source split με το τελικό annotated corpus.

Η μεθοδολογία δίνει ένα χρήσιμο πρότυπο για εταιρικά tests: replay σε ελεγχόμενο περιβάλλον, αντικειμενικός checker, καταγραφή screenshot, φιλτράρισμα ασυνεπειών και ανθρώπινη επαλήθευση. Δεν αρκεί να παράγει ένα LLM test cases ή οδηγίες και να θεωρούνται αυτομάτως σωστά. Η ανθρώπινη ανασκόπηση πρέπει να εστιάζει τόσο στο αποτέλεσμα όσο και στο αν η οδηγία αντιστοιχεί στην κατάσταση που έβλεπε πραγματικά ο χρήστης.

Τι αποκαλύπτουν τα αποτελέσματα του MAG

Η ισχυρότερη διαμόρφωση ολοκλήρωσε 65 από τα 174 test tasks, δηλαδή 37,4%. Το ποσοστό δείχνει ότι τα κορυφαία multimodal μοντέλα μπορούν να χειριστούν ένα ουσιαστικό μέρος σύνθετων web εργασιών. Ταυτόχρονα, περισσότερα από έξι στα δέκα tasks απέτυχαν ακόμη και στην καλύτερη περίπτωση. Η απόσταση ανάμεσα σε ένα επιτυχημένο demo και σε σταθερή παραγωγική λειτουργία παραμένει μεγάλη.

Το supervised fine-tuning έμαθε στο μοντέλο 9B να ακολουθεί πολύ καλύτερα το output contract, αλλά δεν του έδωσε από μόνο του επαρκή ικανότητα ολοκλήρωσης. Στο Set-of-Mark η επιτυχία έφτασε μόλις το 6,9%, χαμηλότερα από το 8,1% του untuned base, επειδή το μοντέλο έμαθε συχνά να δηλώνει πρόωρα finish. Πρόκειται για χαρακτηριστικό παράδειγμα όπου η συμμόρφωση στη μορφή δεν ισοδυναμεί με λειτουργική ικανότητα.

Η απλή GRPO εκπαίδευση επίσης σταμάτησε, επειδή ομάδες που αποτύγχαναν όλες δεν δημιουργούσαν χρήσιμη διακύμανση reward. Με την προσθήκη επαληθευμένων expert trajectories, το Set-of-Mark success του 9B agent ανέβηκε από 6,9% σε 13,2% και βελτιώθηκε παράλληλα η ποιότητα των οδηγιών. Η πρόοδος είναι ουσιαστική για την έρευνα, αλλά το τελικό επίπεδο παραμένει πολύ χαμηλό για ανεξέλεγκτη παραγωγική χρήση.

Γιατί τα μεγάλα web tasks παραμένουν ο αδύναμος κρίκος

Κάθε επιπλέον βήμα προσθέτει πιθανότητα λάθους. Ο agent μπορεί να πατήσει λάθος element, να χάσει μια αλλαγή κατάστασης, να χρησιμοποιήσει παλιό context, να γράψει οδηγία που δεν ταιριάζει στη νέα οθόνη ή να τερματίσει πρόωρα. Στο MAG, όλες οι παραλλαγές του μοντέλου 9B μένουν κοντά στο μηδέν για εργασίες με περισσότερα από εννέα gold steps. Τα ισχυρότερα API models διατηρούν καλύτερη επίδοση, αλλά ακόμη και εκεί κινούνται περίπου στο 26%-34%.

Το μήκος δεν είναι απλώς τεχνικό στατιστικό. Σε μια επιχείρηση αντιστοιχεί σε αλυσίδες όπως «βρες παραγγελία, έλεγξε πληρωμή, επιβεβαίωσε πολιτική, άλλαξε κατάσταση, ενημέρωσε CRM και στείλε μήνυμα». Αν ένα μόνο βήμα εκτελεστεί σε λάθος record, το τελικό αποτέλεσμα μπορεί να φαίνεται ολοκληρωμένο ενώ είναι επιχειρησιακά λανθασμένο.

Η ασφαλής σχεδίαση σπάει τις μεγάλες ροές σε επαληθεύσιμα checkpoints. Κάθε τμήμα πρέπει να έχει precondition, συγκεκριμένο αποτέλεσμα, timeout, retry policy και σαφή ιδιοκτήτη. Όπου η ενέργεια είναι μη αναστρέψιμη ή επηρεάζει χρήματα, δικαιώματα, πελάτη ή δημοσίευση, χρειάζεται approval gate πριν συνεχίσει η αλυσίδα.

Τι σημαίνουν τα ευρήματα για e-commerce και επιχειρηματικές ροές

Για ένα e-shop, οι κατάλληλες πρώτες χρήσεις δεν είναι η αυτόνομη αλλαγή τιμών ή η επιστροφή χρημάτων χωρίς έλεγχο. Είναι εργασίες με περιορισμένο scope και εύκολη επαλήθευση: συγκέντρωση στοιχείων για ticket, πρόταση επόμενης ενέργειας, προετοιμασία προσχεδίου απάντησης, έλεγχος αν συμπληρώθηκαν όλα τα υποχρεωτικά πεδία ή δημιουργία task για τον σωστό υπεύθυνο. Η ομάδα διατηρεί την τελική απόφαση και ο agent μειώνει τη χειροκίνητη αναζήτηση.

Στο customer support, ένας agent μπορεί να πλοηγείται σε WooCommerce, CRM και help desk για να συνθέτει το ιστορικό ενός αιτήματος. Η αξία μεγαλώνει όταν το αποτέλεσμα συνοδεύεται από σαφή διαδρομή: ποια παραγγελία άνοιξε, ποια πολιτική ελέγχθηκε και ποιο στοιχείο λείπει. Αυτό συνδέεται άμεσα με την ανάγκη για οργανωμένο help desk σε e-commerce ροές, όπου τα δεδομένα πελάτη και οι ενέργειες της ομάδας πρέπει να παραμένουν ελέγξιμα.

Στο marketing, οι web agents μπορούν να προετοιμάζουν reports, να συγκρίνουν ρυθμίσεις ή να εντοπίζουν ασυνέπειες πριν από δημοσίευση. Δεν πρέπει όμως να αποκτούν αμέσως δικαίωμα να αλλάζουν budgets, audiences ή tracking σε πολλά accounts. Η αρχή είναι ίδια με κάθε πρακτική εφαρμογή automation και AI: ξεκινάμε από μετρήσιμο bottleneck, περιορίζουμε το action space και παρακολουθούμε τη ροή μετά την ενεργοποίηση.

Το MAG υπενθυμίζει επίσης ότι ο agent και η τεκμηρίωση μπορούν να παραχθούν μαζί. Σε onboarding εργαζομένων, για παράδειγμα, μια επαληθευμένη διαδρομή μέσα σε ERP ή CRM μπορεί να τροφοδοτήσει οδηγίες που ανανεώνονται συστηματικά. Αυτό μειώνει τη διαφορά ανάμεσα στην αυτοματοποίηση μιας διαδικασίας και στην οργάνωση του onboarding γύρω από πραγματικά συστήματα, αρκεί οι οδηγίες να περνούν ανθρώπινη έγκριση.

Πώς να αξιολογήσετε τον δικό σας AI agent

Ένα γενικό benchmark προσφέρει σημείο αναφοράς, αλλά δεν απαντά αν ο agent είναι ασφαλής στο δικό σας WooCommerce, CRM, ERP ή back office. Η σωστή αξιολόγηση ξεκινά από πραγματικά tasks, πραγματικές εξαιρέσεις και το κόστος ενός λάθους. Ακολουθεί μια πρακτική διαδικασία που μεταφέρει τη λογική του MAG σε εταιρικό pilot.

Η αξιολόγηση χρειάζεται και κριτήριο αποχής. Ένας αξιόπιστος agent δεν πρέπει να προσπαθεί πάντα. Όταν λείπει στοιχείο, αλλάζει η σελίδα, αποτυγχάνει ο checker ή η ενέργεια ξεπερνά τα δικαιώματά του, η σωστή συμπεριφορά είναι να σταματά και να ζητά άνθρωπο. Η ανθρώπινη εποπτεία στους AI agents δεν είναι εφεδρική λειτουργία· είναι μέρος της αρχιτεκτονικής του workflow.

Τα guardrails πριν από την παραγωγική χρήση

Το πρώτο guardrail είναι το least privilege. Ο agent πρέπει να βλέπει και να αλλάζει μόνο όσα απαιτεί το συγκεκριμένο task. Ξεχωριστός λογαριασμός, περιορισμένα roles και περιβάλλον staging μειώνουν την έκταση ενός λάθους. Το δεύτερο είναι η αναστρεψιμότητα: drafts, προτάσεις και προσωρινές καταστάσεις προηγούνται των οριστικών ενεργειών.

Το τρίτο είναι η ανεξάρτητη επαλήθευση. Το ίδιο μοντέλο που έκανε την ενέργεια δεν πρέπει να είναι ο μοναδικός κριτής της επιτυχίας του. Χρησιμοποιήστε API readback, κανόνες, database state ή δεύτερο ελεγκτικό μονοπάτι. Το τέταρτο είναι η παρατηρησιμότητα: screenshots, timestamps, action log, input version, model version, κόστος και reason for escalation πρέπει να μπορούν να ανασυντεθούν.

Τέλος χρειάζεται risk owner. Κάποιος πρέπει να αποφασίζει ποια failure rate είναι αποδεκτή, ποια tasks απαγορεύονται, πότε γίνεται rollback και πώς ενημερώνεται ο πελάτης ή η ομάδα. Το NIST AI RMF οργανώνει αυτή τη λογική στις λειτουργίες Govern, Map, Measure και Manage. Για έναν web agent, αυτές μεταφράζονται σε ιδιοκτησία, χαρτογράφηση use case, μετρήσεις σε πραγματικές ροές και ενεργά controls κατά τη λειτουργία.

Το MAG αλλάζει το βασικό κριτήριο αγοράς ενός AI agent

Η σωστή ερώτηση δεν είναι «μπορεί να χρησιμοποιήσει browser;». Είναι «σε ποια δικά μας tasks ολοκληρώνει επαληθεύσιμα τον στόχο, με πόσα βήματα, ποια λάθη, τι εξήγηση και ποιο fallback;». Το MAG βοηθά να μετακινηθεί η συζήτηση από την εντύπωση του demo σε μετρήσεις που συνδέονται με πραγματική χρήση.

Ένας vendor πρέπει να μπορεί να δείξει αποτελέσματα ανά task length, grounding method, website, model version και επίπεδο ρίσκου. Πρέπει επίσης να εξηγεί πώς ελέγχεται το finish, πώς αποτρέπεται η ενέργεια σε λάθος record και πώς ανανεώνονται οι οδηγίες όταν αλλάξει το UI. Αν οι απαντήσεις περιορίζονται σε συνολικό success rate ή σε βίντεο επιλεγμένων διαδρομών, το λειτουργικό ρίσκο παραμένει άγνωστο.

Για τις επιχειρήσεις, η πιο ρεαλιστική πορεία είναι σταδιακή: μικρό task, αντικειμενικός checker, shadow mode, approval gates και επέκταση μόνο όταν τα δεδομένα δείχνουν σταθερότητα. Οι web agents μπορούν να μειώσουν χειροκίνητα βήματα και να μετατρέψουν επιτυχημένες διαδρομές σε χρήσιμη καθοδήγηση. Το MAG όμως δείχνει καθαρά ότι η αξία τους αρχίζει εκεί όπου τελειώνει το demo και ξεκινά η συστηματική επαλήθευση.