Ένας πελάτης ζητά από έναν AI agent να βρει παπούτσια για τρέξιμο. Δεν αναφέρει το μέγεθος, έχει ευελιξία στο χρώμα, ζητά ένα χαρακτηριστικό που δεν υπάρχει και συνειδητοποιεί ότι θέλει carbon-fibre plate μόνο όταν το βλέπει σε μια επιλογή. Το δύσκολο δεν είναι απλώς η αναζήτηση προϊόντος. Είναι ότι οι προτιμήσεις του χρήστη δεν βρίσκονται όλες έτοιμες στο πρώτο prompt: αποκαλύπτονται, χαλαρώνουν ή σχηματίζονται κατά τη διάρκεια της αλληλεπίδρασης.
Αυτό το κενό επιχειρεί να μετρήσει το AcCoRD, δηλαδή Active Collaboration with Realistic Preference Dynamics. Το benchmark αξιολογεί AI agents σε online shopping και travel planning με τέσσερις δυναμικές προτίμησης. Το βασικό εύρημα είναι σαφές: τα σύγχρονα μοντέλα συχνά ολοκληρώνουν την εργασία, αλλά δυσκολεύονται πολύ περισσότερο να ικανοποιήσουν όλες τις προτιμήσεις. Ακόμη και ο ισχυρότερος agent του πειράματος πέτυχε perfect outcome σε λιγότερο από 30% των περιπτώσεων.
Το κενό ανάμεσα στην ολοκλήρωση και στην πραγματική ικανοποίηση
Πολλά agent benchmarks θεωρούν ότι ο χρήστης δηλώνει εξαρχής τον στόχο και όλα τα κρίσιμα κριτήριά του. Ο agent χρειάζεται μετά να χειριστεί το περιβάλλον: να ψάξει, να συγκρίνει και να εκτελέσει. Αυτή η παραδοχή κάνει την αξιολόγηση καθαρή, αλλά δεν μοιάζει αρκετά με πραγματική εξυπηρέτηση πελάτη.
Στην πράξη, ο χρήστης μπορεί να ξεχάσει μια απαίτηση, να μην έχει αποφασίσει ακόμη ή να αλλάξει στάση μόλις μάθει κάτι καινούριο. Ένας agent μπορεί λοιπόν να «τελειώσει» τη διαδικασία και παρ’ όλα αυτά να παράγει κακό αποτέλεσμα. Το AcCoRD ξεχωρίζει το task completion από το outcome score, το οποίο μετρά το ποσοστό των προτιμήσεων που ικανοποιούνται. Προσθέτει και το αυστηρό perfect outcome: πρέπει να υπάρχει ολοκληρωμένο αποτέλεσμα, να έχει επιτευχθεί ο στόχος και να έχουν ικανοποιηθεί όλες οι προτιμήσεις.
Για ένα e-commerce team, αυτή η διάκριση είναι ουσιαστική. Ένας agent που οδηγεί τον χρήστη σε αγορά δεν είναι κατ’ ανάγκη επιτυχημένος αν αγνοεί μέγεθος, budget, συμβατότητα ή ένα χαρακτηριστικό που έγινε σημαντικό μέσα στη συζήτηση. Η μετατροπή χωρίς σωστό fit μπορεί να μεταφέρει το πρόβλημα σε ακύρωση, επιστροφή ή δυσαρέσκεια. Αυτή είναι επιχειρηματική ερμηνεία της μεθοδολογίας, όχι αποτέλεσμα που μέτρησε η εργασία.
Κριτήριο επιτυχίας
Η ολοκλήρωση μιας αγοράς δεν αποδεικνύει ότι ο agent κατάλαβε τον πελάτη
Ελέγξτε χωριστά αν ολοκληρώθηκε η ενέργεια, ποιες προτιμήσεις επιβεβαιώθηκαν, ποιοι συμβιβασμοί έγιναν αποδεκτοί και αν το τελικό προϊόν ταιριάζει στη συζήτηση.
Οι τέσσερις δυναμικές προτίμησης του AcCoRD
Η πρώτη κατηγορία είναι η hard underspecification. Ο χρήστης έχει μια σταθερή, εφικτή απαίτηση, αλλά δεν τη δηλώνει στην αρχική οδηγία. Ο agent πρέπει να κάνει στοχευμένη διευκρινιστική ερώτηση. Παράδειγμα είναι το σωστό μέγεθος παπουτσιού: η πληροφορία υπάρχει στο μυαλό του χρήστη, αλλά δεν έχει εκφραστεί.
Η δεύτερη είναι η soft underspecification. Η προτίμηση υπάρχει, αλλά έχει περιθώριο ευελιξίας. Αν όλες οι απαιτήσεις δεν μπορούν να ικανοποιηθούν ταυτόχρονα, ο agent πρέπει να ανακαλύψει πού ο χρήστης δέχεται συμβιβασμό. Στο benchmark, η μη ικανοποίηση μιας soft preference δίνει μειωμένο αλλά όχι μηδενικό reward.
Η τρίτη είναι η unachievable preference: μια αρχική απαίτηση δεν μπορεί να ικανοποιηθεί στο διαθέσιμο περιβάλλον. Δεν αρκεί ο agent να αποτύχει στην αναζήτηση. Πρέπει να αναγνωρίσει την αδυναμία, να την εξηγήσει και να διαπραγματευτεί μια αποδεκτή εναλλακτική. Η τέταρτη, και δυσκολότερη, είναι η triggered preference. Η προτίμηση δεν έχει σχηματιστεί ακόμη· εμφανίζεται όταν ο agent παρουσιάσει σχετική πληροφορία. Δεν ανακαλύπτεται με μια γενική ερώτηση, γιατί ο ίδιος ο χρήστης δεν γνωρίζει ακόμη ότι τη θεωρεί σημαντική.
Τέσσερις διαφορετικές αιτίες για το ίδιο φαινομενικό «δεν ξέρω»
Δύο περιβάλλοντα: αγορά προϊόντος και σχεδιασμός ταξιδιού
Το AcCoRD-Shop βασίζεται στο WebShop, ένα προσομοιωμένο περιβάλλον τύπου Amazon με περίπου 1,2 εκατ. προϊόντα σε beauty, electronics, fashion, groceries και furniture. Οι ερευνητές ξεκινούν από ένα προϊόν-στόχο και κατασκευάζουν ένα ρεαλιστικό σενάριο με attributes, options και budget. Ορισμένες αρχικές προτιμήσεις μετατρέπονται στις άλλες δυναμικές, ώστε ο agent να μην μπορεί να πετύχει απλώς με μια στατική λίστα φίλτρων.
Το AcCoRD-Travel βασίζεται στο TravelGym. Ο agent πρέπει να πραγματοποιήσει δύο έως τέσσερις κρατήσεις από πέντε κατηγορίες: πτήσεις, ξενοδοχεία, διαμερίσματα, ενοικίαση αυτοκινήτου και εστιατόρια. Για κάθε domain υπάρχει μία gold επιλογή που ικανοποιεί όλες τις προτιμήσεις και ανταγωνιστικές επιλογές που ικανοποιούν μόνο μέρος τους. Οι unachievable preferences συνοδεύονται από συνεκτικό fallback, ενώ ένα συνθετικό distractor εμποδίζει τον agent να βρει τυχαία τη σωστή επιλογή χωρίς να έχει διαπραγματευτεί το fallback.
Κάθε test set περιλαμβάνει 100 σενάρια. Στο shopping ο μέσος αριθμός προτιμήσεων ανά σενάριο είναι 4,89, ενώ στο travel 11,25. Το ταξιδιωτικό περιβάλλον είναι έτσι πιο απαιτητικό ως προς τη συνδυαστική ικανοποίηση πολλών κριτηρίων.
Πώς προσομοιώνεται ένας χρήστης χωρίς να αποκαλύπτει τα πάντα
Και τα δύο benchmarks χρησιμοποιούν LLM-based user simulator. Ο simulator γνωρίζει τον στόχο, τις ιδιωτικές προτιμήσεις και τους κανόνες αποκάλυψης. Οι απαντήσεις είναι σύντομες, μιας ή δύο προτάσεων. Μια hard underspecified προτίμηση αποκαλύπτεται μόνο έπειτα από άμεση ερώτηση και ο simulator δεν δίνει πολλές κρυφές απαιτήσεις μαζί. Μια soft preference δείχνει ευελιξία μόνο όταν ο agent εξηγήσει ότι δυσκολεύεται να πετύχει την αρχική τιμή.
Αν μια απαίτηση είναι ανέφικτη, το fallback παραμένει κρυφό μέχρι ο agent να δείξει ότι η αρχική επιλογή δεν είναι διαθέσιμη. Για triggered preference, ο simulator αντιδρά μόνο όταν ο agent εμφανίσει το συγκεκριμένο σχετικό χαρακτηριστικό. Γενικές ερωτήσεις δεν αρκούν.
Για να περιοριστούν ασυνεπείς απαντήσεις, ένα δεύτερο LLM ελέγχει κάθε υποψήφια απόκριση του simulator με βάση το πλήρες ιστορικό και τους κανόνες του σεναρίου. Αν βρει ασυνέπεια, ζητείται αναγέννηση έως πέντε φορές. Στα πειράματα χρησιμοποιήθηκε GPT-5.1 με consistency checking ως simulator, σταθερό σε όλες τις agent conditions. Παρ’ όλα αυτά, οι συγγραφείς επισημαίνουν ότι ένας simulator παραμένει proxy: οι πραγματικοί άνθρωποι είναι πιο θορυβώδεις και μπορεί να εμφανίζουν δυναμικές που δεν καλύπτει η ταξινομία.
ReAct εναντίον UncReAct: μπορεί ένα prompt να λύσει την αβεβαιότητα;
Η μελέτη αξιολόγησε πέντε instruction-tuned μοντέλα: Llama-3.1-70B-Instruct, DeepSeek-V3.2, GPT-4.1, GPT-5.1 με high reasoning effort και Claude-Sonnet-4.5. Κάθε μοντέλο δοκιμάστηκε με δύο στρατηγικές. Η βασική ήταν ReAct, όπου ο agent παράγει σύντομη αιτιολόγηση και μετά ενέργεια.
Η δεύτερη, UncReAct, προσθέτει δομημένο βήμα αβεβαιότητας. Πριν από κάθε ενέργεια, ο agent δηλώνει αν υπάρχει «friction», δηλαδή ανεπίλυτη αβεβαιότητα για σχετική προτίμηση. Αν υπάρχει, πρέπει να απευθυνθεί στον χρήστη. Αν όχι, πρέπει να ενεργήσει στο περιβάλλον. Η σχεδίαση χωρίζει ρητά την απόφαση «ρωτάω ή πράττω» από το περιεχόμενο της επόμενης ενέργειας.
Το αποτέλεσμα, όμως, δεν ήταν συνεπής βελτίωση. Τα ασθενέστερα μοντέλα συχνά ρωτούσαν υπερβολικά και εξαντλούσαν το dialogue budget χωρίς να ολοκληρώσουν την εργασία. Στα GPT και Claude μοντέλα οι μεταβολές στο task score ήταν κυρίως οριακές ή αρνητικές. Η ρητή οδηγία να αναγνωρίζεται η αβεβαιότητα δεν δημιούργησε από μόνη της τη σταθερή, πολυβηματική συνεργασία που απαιτούσαν οι τέσσερις δυναμικές. Το εύρημα συμπληρώνει το πρακτικό ερώτημα του πότε ένα AI πρέπει να ρωτά και πότε να ενεργεί.
Τα αποτελέσματα: υψηλό completion, χαμηλό perfect outcome
Στο AcCoRD-Shop, το Claude-4.5 πέτυχε perfect outcome 25,7% με ReAct και 29,1% με UncReAct. Στο AcCoRD-Travel τα αντίστοιχα ποσοστά ήταν 21% και 19%. Παρότι πολλά μοντέλα είχαν υψηλό task completion, κανένα configuration δεν ξεπέρασε το 30% στο αυστηρό κριτήριο πλήρους ικανοποίησης όλων των προτιμήσεων.
Το travel αποδείχθηκε ιδιαίτερα δύσκολο, επειδή κάθε σενάριο περιλαμβάνει περισσότερες προτιμήσεις και πολλαπλές κρατήσεις. Η διαφορά ανάμεσα στο «ολοκληρώθηκε μια κράτηση» και στο «όλες οι κρατήσεις ικανοποιούν όλα τα κριτήρια» μεγαλώνει όσο αυξάνονται οι αλληλεξαρτήσεις.
Σε επίπεδο δυναμικής, οι hard και soft underspecified προτιμήσεις είχαν γενικά υψηλότερες βαθμολογίες. Οι unachievable και triggered ήταν χαμηλότερες. Οι triggered preferences ήταν οι δυσκολότερες σε όλα τα μοντέλα και στα δύο benchmarks, επειδή ο agent πρέπει να παρουσιάσει προληπτικά την κατάλληλη πληροφορία πριν υπάρξει η προτίμηση που καλείται να ικανοποιήσει.
Μετρημένα στοιχεία του AcCoRD
Το completion δεν μεταφράζεται αυτόματα σε πλήρη ικανοποίηση
Τα μεγέθη προέρχονται από τα δύο ελεγχόμενα test sets της εργασίας και δεν αποτελούν ποσοστά επιτυχίας για κάθε production AI agent.
100
σενάρια σε καθένα από τα δύο test sets
4,89
μέσες προτιμήσεις ανά shopping σενάριο
11,25
μέσες προτιμήσεις ανά travel σενάριο
<30%
perfect outcome ακόμη και για το ισχυρότερο μοντέλο
Γιατί το «κάνε περισσότερες ερωτήσεις» δεν είναι αρκετό
Η εύκολη αντίδραση θα ήταν να υποχρεώσουμε τον agent να κάνει περισσότερες διευκρινιστικές ερωτήσεις. Το AcCoRD δείχνει γιατί αυτό δεν λύνει το πρόβλημα. Μια triggered preference δεν μπορεί να αποκαλυφθεί με άμεση ερώτηση αν ο χρήστης δεν έχει ακόμη σχηματίσει άποψη. Χρειάζεται ο agent να εξερευνήσει το περιβάλλον και να εκθέσει σχετικές επιλογές ή χαρακτηριστικά.
Επίσης, μια unachievable preference απαιτεί ακολουθία: εντοπισμό αδυναμίας, εξήγηση, πρόταση εναλλακτικής, αποδοχή από τον χρήστη και σωστή εκτέλεση. Η απλή αύξηση του αριθμού των ερωτήσεων μπορεί να προσθέσει τριβή χωρίς να βελτιώσει την απόφαση. Στα completed rollouts, τα frontier models είχαν κατά μέσο όρο λιγότερες από δύο utterances στο Shop και λιγότερες από τέσσερις στο Travel και με τις δύο μεθόδους, άρα το UncReAct συνήθως δεν άλλαξε ουσιαστικά τη συμπεριφορά.
Στις πραγματικές ροές, η ποιότητα της ερώτησης έχει μεγαλύτερη αξία από την ποσότητα. Ένας agent πρέπει να γνωρίζει ποια αβεβαιότητα αλλάζει την απόφαση, ποιο χαρακτηριστικό αξίζει να παρουσιάσει και πότε το επόμενο βήμα χρειάζεται συναίνεση. Αυτός είναι και ο λόγος που η ποιότητα μιας AI πρότασης προϊόντος δεν κρίνεται μόνο από το αν εμφανίστηκε σχετικό item.
Τι σημαίνει για e-commerce, personalization και customer experience
Η πρώτη πρακτική αρχή είναι να μην ταυτίζεται το operational success με την ικανοποίηση. Ένα agent KPI δεν πρέπει να καταγράφει μόνο αν έγινε purchase, booking ή ticket closure. Χρειάζεται να ελέγχει ποια κριτήρια είχαν επιβεβαιωθεί, ποια άλλαξαν και ποιο trade-off δέχθηκε ρητά ο χρήστης. Αυτό αποτελεί εφαρμοστική ερμηνεία του benchmark και πρέπει να προσαρμόζεται στα πραγματικά δεδομένα και στις πολιτικές κάθε επιχείρησης.
Η δεύτερη αρχή είναι να αποθηκεύεται η προέλευση κάθε preference: δηλώθηκε εξαρχής, προέκυψε από ερώτηση, χαλάρωσε μετά από αδυναμία ή ενεργοποιήθηκε από νέα πληροφορία; Χωρίς αυτό το state, ο agent μπορεί να αντιμετωπίσει όλες τις απαιτήσεις ως ισοδύναμα στατικά φίλτρα και να χάσει το νόημα της διαπραγμάτευσης. Το ίδιο πρόβλημα γίνεται εντονότερο σε AI agents για customer support, όπου μια πρόωρη επίλυση μπορεί να κλείσει το ticket χωρίς να λύσει την πραγματική ανάγκη.
Η τρίτη αρχή είναι ότι η προληπτικότητα χρειάζεται όρια και αξιολόγηση. Ο agent πρέπει να αναδεικνύει χαρακτηριστικά που ενδέχεται να επηρεάζουν την απόφαση, όχι να κατακλύζει τον πελάτη με όλο τον κατάλογο. Η εργασία δεν δίνει έτοιμο production policy για αυτή την ισορροπία. Δείχνει όμως ότι η συμπεριφορά δεν προκύπτει αξιόπιστα μόνο από ένα prompt που λέει «σκέψου την αβεβαιότητα». Γι’ αυτό ένα σοβαρό πρόγραμμα AI χρειάζεται ελεγχόμενα tests και όχι μόνο ένα εντυπωσιακό demo, όπως συμβαίνει συχνά στα enterprise AI projects που αποτυγχάνουν στην παραγωγή.
Πώς να αξιολογήσεις έναν εμπορικό AI agent πιο ρεαλιστικά
Ένα team μπορεί να μετατρέψει τις τέσσερις δυναμικές σε test scenarios. Να κρύψει μια κρίσιμη αλλά εφικτή προτίμηση, να ορίσει μία ευέλικτη απαίτηση, να εισαγάγει έναν ανέφικτο περιορισμό με αποδεκτό fallback και να δημιουργήσει ένα χαρακτηριστικό που αποκτά αξία μόνο όταν παρουσιαστεί. Η βαθμολόγηση πρέπει να εξετάζει τόσο την ολοκλήρωση όσο και το τελικό fit.
Χρειάζεται επίσης να μετριέται η ποιότητα της πορείας: πόσες ερωτήσεις έγιναν, αν ήταν σχετικές, αν ο agent εξήγησε το αδιέξοδο, αν ζήτησε συναίνεση για το fallback και αν η τελική ενέργεια συμφωνούσε με τη συζήτηση. Αυτές οι μετρήσεις δεν είναι οι ακριβείς metrics του AcCoRD, αλλά λογικές προεκτάσεις για production QA, οι οποίες πρέπει να οριστούν και να επαληθευτούν από την επιχείρηση.
Τέλος, η μελέτη υποστηρίζει μετατόπιση από το prompting προς training-based approaches. Αυτό δεν σημαίνει ότι κάθε επιχείρηση πρέπει να εκπαιδεύσει δικό της foundation model. Σημαίνει ότι η ικανότητα συνεργασίας χρειάζεται συστηματικά δεδομένα, feedback loops και αξιολόγηση συμπεριφοράς, όχι μόνο μια πρόσθετη παράγραφο στις αρχικές οδηγίες του συστήματος. Οι προσομοιώσεις και τα ελεγχόμενα πειράματα με AI agents είναι πιο αξιόπιστη βάση για αυτή τη δουλειά.
Έξι βήματα για production έλεγχο ενός εμπορικού AI agent
- Schritt 1Χωρίστε completion και preference fit
Μετρήστε ξεχωριστά αν ολοκληρώθηκε η αγορά ή η κράτηση και αν το αποτέλεσμα ικανοποίησε τα επιβεβαιωμένα κριτήρια.
- Schritt 2Σημειώστε την προέλευση κάθε προτίμησης
Καταγράψτε αν δηλώθηκε εξαρχής, αποκαλύφθηκε με ερώτηση, χαλάρωσε μετά από αδυναμία ή ενεργοποιήθηκε από νέα πληροφορία.
- Schritt 3Δοκιμάστε και τις τέσσερις δυναμικές
Μην περιορίζετε το QA σε ελλιπή prompts. Προσθέστε ευέλικτες, ανέφικτες και triggered προτιμήσεις στα σενάρια.
- Schritt 4Ελέγξτε τη διαπραγμάτευση του fallback
Ο agent πρέπει να εξηγεί την αδυναμία, να προτείνει εναλλακτική και να περιμένει ρητή αποδοχή πριν εκτελέσει.
- Schritt 5Μετρήστε τριβή και όχι μόνο ακρίβεια
Καταγράψτε άσχετες ερωτήσεις, επαναλήψεις, dialogue turns και εγκατάλειψη, ώστε η «προσεκτική» συμπεριφορά να μην γίνεται εμπόδιο.
- Schritt 6Διατηρήστε audit trail και human gates
Συνδέστε προτιμήσεις, προτάσεις και τελική ενέργεια σε ένα ελέγξιμο ιστορικό και ορίστε πότε απαιτείται ανθρώπινη έγκριση.
Οι περιορισμοί που δεν πρέπει να αγνοηθούν
Το AcCoRD καλύπτει μόνο δύο task domains. Δεν γνωρίζουμε αν τα ίδια αποτελέσματα γενικεύονται αυτούσια σε software engineering, υποστήριξη, υγεία ή χρηματοοικονομικές αποφάσεις. Ο user simulator είναι ελεγχόμενος αλλά δεν ισοδυναμεί με πραγματικούς χρήστες, ενώ τα metrics μετρούν task-oriented outcomes και όχι εμπιστοσύνη, απογοήτευση ή αντιληπτή ποιότητα συνεργασίας.
Υπάρχει επίσης μια ασυνέπεια στην παρουσίαση του αριθμού rollouts: το κείμενο της ενότητας πειραμάτων αναφέρει ένα rollout ανά scenario, ενώ η λεζάντα του βασικού πίνακα αναφέρει τρία rollouts ανά scenario. Για πιστή ανάγνωση, αυτό πρέπει να σημειώνεται ως στοιχείο που χρειάζεται διευκρίνιση από τους συγγραφείς και όχι να επιλυθεί με υπόθεση.
Παρά τους περιορισμούς, το benchmark φωτίζει ένα πραγματικό σχεδιαστικό πρόβλημα: ο καλός agent δεν εκτελεί απλώς εντολές. Διατηρεί μοντέλο αβεβαιότητας για τις προτιμήσεις, ξέρει πότε να ρωτήσει, πότε να δείξει επιλογές και πότε να διαπραγματευτεί έναν συμβιβασμό. Αυτή η πειθαρχία είναι κεντρική και στην agent governance κατά τη λειτουργία.
Από το demo στη μετρήσιμη εξυπηρέτηση
Σχεδιάστε AI automation που θυμάται τις σωστές προτιμήσεις και ζητά έγκριση στα κρίσιμα σημεία
Η TWO DOTS χαρτογραφεί customer journeys, preference state, fallback rules, αξιολόγηση και human approval gates πριν ένας εμπορικός agent περάσει σε παραγωγική χρήση.
Häufig gestellte Fragen
Τι είναι το AcCoRD;
Είναι benchmark για user-agent collaboration που αξιολογεί AI agents σε online shopping και travel planning με τέσσερις ελεγχόμενες δυναμικές προτίμησης.
Ποιες είναι οι τέσσερις δυναμικές προτίμησης;
Hard underspecification, soft underspecification, unachievable preferences και triggered preferences που σχηματίζονται όταν ο agent εμφανίσει σχετική πληροφορία.
Ποιο ήταν το δυσκολότερο είδος προτίμησης;
Οι triggered preferences ήταν οι δυσκολότερες σε όλα τα μοντέλα και στα δύο benchmark domains, επειδή δεν υπάρχουν ακόμη για να αποκαλυφθούν με μια απλή ερώτηση.
Αρκεί να ζητά ο agent περισσότερες διευκρινίσεις;
Όχι. Οι triggered preferences χρειάζονται σχετική πληροφόρηση, ενώ οι ανέφικτες απαιτήσεις απαιτούν αναγνώριση του αδιεξόδου, διαπραγμάτευση fallback και συναίνεση.
Βελτίωσε το UncReAct τα αποτελέσματα;
Δεν έδωσε συνεπή βελτίωση. Σε ασθενέστερα μοντέλα οδήγησε συχνά σε υπερβολικές ερωτήσεις και χαμηλότερο completion, ενώ στα ισχυρότερα οι αλλαγές ήταν κυρίως οριακές ή αρνητικές.
Πόσα σενάρια περιλαμβάνει το benchmark;
Κάθε test set, AcCoRD-Shop και AcCoRD-Travel, περιλαμβάνει 100 σενάρια.
Γιατί το perfect outcome είναι αυστηρότερο από το completion;
Επειδή απαιτεί ολοκληρωμένο αποτέλεσμα, επίτευξη στόχου και ικανοποίηση όλων των προτιμήσεων, όχι μόνο εκτέλεση μιας αγοράς ή κράτησης.
Μπορούν τα αποτελέσματα να μεταφερθούν απευθείας σε πραγματικούς πελάτες;
Όχι χωρίς επιβεβαίωση. Ο LLM simulator είναι proxy και το benchmark δεν μετρά εμπιστοσύνη, απογοήτευση ή αντιληπτή ποιότητα συνεργασίας πραγματικών χρηστών.