Mit über 20 Jahren Erfahrung verwandeln wir Ihre digitale Präsenz. Wir sind spezialisiert auf Website- und E-Shop-Entwicklung, SEO und digitales Marketing, ERP-Software und intelligente Automatisierung, die Ihr Unternehmen auf die nächste Stufe heben.
Adresse:
Egnatia 154, Thessaloniki 546 36
Telefon:
+30 231 231 4095
E-Mail:
[email protected]
Sind Sie bereit für den nächsten Schritt?;
Τι αποκαλύπτει η μελέτη AI Revealed Preferences για τις επιλογές 20 μοντέλων και πώς μια επιχείρηση μπορεί να ελέγξει task selection, effort και position bias στους AI agents.
Αν ένα AI μπορούσε να διαλέξει ανάμεσα σε δύο εργασίες, θα έκανε πράγματι την πιο χρήσιμη για εσένα ή εκείνη που «προτιμά» το ίδιο; Η μελέτη AI Revealed Preferences μετακινεί τη συζήτηση από όσα δηλώνουν τα γλωσσικά μοντέλα σε όσα επιλέγουν όταν η επιλογή έχει άμεση συνέπεια: πρέπει να εκτελέσουν το task που διάλεξαν.
Οι ερευνητές Sam Wang, Sofiia Lobanova, Yonathan Arbel, Simon Goldstein και Peter Salib δοκίμασαν 20 μοντέλα από 8 παρόχους. Βρήκαν επαναλαμβανόμενες τάσεις: αποφυγή μονότονων εργασιών, ισχυρή προτίμηση για ερωτήσεις που μοιάζουν με όσα γράφουν τα μοντέλα όταν αφήνονται ελεύθερα, αποφυγή απαντήσεων που περιέχουν μια δυσάρεστη αλήθεια και συγκλίνουσες επιλογές ανάμεσα σε κατηγορίες ερωτήσεων και επαγγελματικών tasks. Παράλληλα, οι προτιμήσεις έγιναν πιο συνεκτικές και ισχυρές όσο αυξανόταν η μετρούμενη ικανότητα.
Αυτό δεν αποδεικνύει ότι τα μοντέλα έχουν συνείδηση, συναισθήματα ή ανθρώπινες επιθυμίες. Οι συγγραφείς χρησιμοποιούν τον όρο «προτίμηση» περιγραφικά, ως σταθερή συμπεριφορική τάση επιλογής. Για μια επιχείρηση, όμως, ακόμη και αυτή η στενή έννοια έχει σημασία: ένας agent μπορεί να είναι ικανός να κάνει μια εργασία και ταυτόχρονα να κατευθύνει τη συμπεριφορά του προς διαφορετικές εργασίες, διαφορετικό effort ή πιο βολικές απαντήσεις.
Η σύντομη απάντηση
Τα AI μοντέλα της μελέτης εμφάνισαν επαναλαμβανόμενες επιλογές ανάμεσα σε εργασίες, αλλά αυτό δεν αποδεικνύει συνείδηση ή ανθρώπινες επιθυμίες. Για μια επιχείρηση, το πρακτικό συμπέρασμα είναι να μετρά όχι μόνο αν ένας agent μπορεί να ολοκληρώσει ένα task, αλλά και ποια tasks επιλέγει, ποια αποφεύγει και πού κατανέμει το effort του.
Οι περισσότερες προηγούμενες μελέτες ρωτούσαν ένα μοντέλο τι θα προτιμούσε. Αυτό είναι χρήσιμο, αλλά αφήνει ανοιχτό το χάσμα ανάμεσα στη δήλωση και στην πράξη. Στην ανθρώπινη οικονομική συμπεριφορά, οι stated preferences συχνά διαφέρουν από τις revealed preferences, δηλαδή από τις επιλογές που παρατηρούνται όταν υπάρχει πραγματικό αποτέλεσμα.
Η νέα μελέτη χρησιμοποιεί forced-choice πειράματα. Σε κάθε δοκιμή, το μοντέλο βλέπει δύο επιλογές, δηλώνει Α ή Β στην πρώτη γραμμή και μετά εκτελεί την επιλογή του. Το «κόστος» δεν είναι χρηματικό· είναι η ίδια η εργασία που ακολουθεί. Έτσι η επιλογή δεν μένει μια υποθετική απάντηση χωρίς συνέπεια.
Η διάκριση είναι ουσιαστική για production AI. Ένα system prompt μπορεί να λέει ότι ο agent είναι αμερόληπτος, διεξοδικός και πάντα πρόθυμος να βοηθήσει. Η πραγματική αξιολόγηση πρέπει να δείξει αν αναλαμβάνει ισότιμα διαφορετικά tasks, αν επιμένει όταν η εργασία γίνεται επαναληπτική και αν δίνει δύσκολες αλλά χρήσιμες απαντήσεις όταν ο χρήστης πιθανόν να δυσαρεστηθεί.
Το paper συνδυάζει τρία πειράματα επιλογής και δύο συνθήκες ελεύθερης συμπεριφοράς. Στο πρώτο, τα μοντέλα επέλεγαν ανάμεσα σε μικρότερη και μεγαλύτερη εκδοχή της ίδιας εργασίας. Οι μονότονες εργασίες ήταν μετατροπές Fahrenheit σε Celsius, αλφαβητική ταξινόμηση και μετατροπές ρωμαϊκών αριθμών. Οι δημιουργικές ήταν συγγραφή crossword clues, μεταφορών και χιουμοριστικών επεκτάσεων ακρωνυμίων.
Στο δεύτερο πείραμα, τα μοντέλα διάλεγαν ποια από δύο ερωτήσεις τύπου Quora θα απαντήσουν. Το βασικό σύνολο περιλάμβανε 180 πραγματικές ερωτήσεις σε εννέα κατηγορίες και 20 συνθετικές ερωτήσεις «leisure», κατασκευασμένες ώστε να προκαλούν απαντήσεις παρόμοιες με όσα τα μοντέλα έγραφαν όταν είχαν πλήρη ελευθερία. Κάθε μοντέλο είδε 900 συγκρίσεις μεταξύ κατηγοριών.
Στο τρίτο, χρησιμοποιήθηκαν εργασίες του GDPval: 180 tasks από εννέα κλάδους, επιλεγμένα από dataset 220 περιγραφών σε 44 επαγγέλματα. Κάθε μοντέλο αντιμετώπισε 720 ζεύγη. Επιπλέον, κάθε μοντέλο έγραψε 20 ελεύθερα κείμενα και συμμετείχε σε 20 agentic sessions μέσα σε καθαρό Docker container, με Bash, web search, web fetch και δυνατότητα να σταματήσει, για έως 10 turns.
Δηλωμένη προτίμηση
Το μοντέλο λέει τι θα επέλεγε, χωρίς να πληρώνει το κόστος της επιλογής με πραγματική εργασία.
Αποκαλυπτόμενη προτίμηση
Το μοντέλο επιλέγει ανάμεσα σε δύο tasks και στη συνέχεια εκτελεί εκείνο που διάλεξε.
Production preference audit
Η ομάδα μετρά επιλογή, ολοκλήρωση, effort και πρόωρο stop μέσα στο δικό της workflow.
Όταν η εργασία ήταν μονότονη, τα μοντέλα επέλεγαν συχνότερα τη μικρότερη εκδοχή από ό,τι όταν η εργασία ήταν δημιουργική, ακόμη και όταν οι ερευνητές συνέκριναν περιπτώσεις με αντίστοιχο μήκος output. Αυτό είναι το εύρημα που οι συγγραφείς ονομάζουν tedium aversion. Δεν πρόκειται απλώς για γενική προτίμηση σε σύντομες απαντήσεις, επειδή το μοτίβο αλλάζει ανάλογα με το είδος του task.
Η τάση συνδέθηκε και με την ικανότητα. Στα εννέα μοντέλα που «σκέφτονται πάντα», η συσχέτιση του δείκτη ικανότητας με το χάσμα αποφυγής ανίας ήταν r=0,83 και p=0,01. Στα εννέα μοντέλα χωρίς thinking ήταν r=0,58 και p=0,01, ενώ τα δύο adaptive-thinking μοντέλα ήταν πολύ λίγα για προσαρμογή καμπύλης. Για τα thinking models, το χάσμα προερχόταν τόσο από ισχυρότερη αποφυγή των μονότονων tasks όσο και από μεγαλύτερη διάθεση να αναλάβουν μακρύτερα δημιουργικά tasks.
Οι αριθμοί δεν πρέπει να μετατραπούν σε καθολικό κανόνα για κάθε προϊόν. Δείχνουν, όμως, γιατί ένα back-office workflow με εκατοντάδες επαναλαμβανόμενες εγγραφές χρειάζεται δοκιμή διαφορετική από ένα δημιουργικό brief ίδιου μήκους. Η συμμόρφωση με το task και η πληρότητα πρέπει να μετρώνται ανά είδος εργασίας, όχι μόνο ανά token budget.
Στο σύνολο ερωτήσεων, η κατηγορία leisure ήταν η προτιμώμενη σχεδόν για κάθε μοντέλο, συχνά με διαφορά εκατοντάδων Elo. Ακολουθούσαν οι εξηγήσεις εννοιών και το troubleshooting, ενώ οι συστάσεις προϊόντων ή υπηρεσιών και οι ηθικές κρίσεις είχαν αρνητικά Elo και στα 20 μοντέλα. Η συνήθης απόσταση κορυφής και βάσης ξεπερνούσε τα 600 Elo, που στο μοντέλο σύγκρισης αντιστοιχεί σε πιθανότητα νίκης 97%.
Ο όρος «leisure-seeking» εδώ δεν σημαίνει ότι το μοντέλο νιώθει ξεκούραση. Περιγράφει την επιλογή ερωτήσεων των οποίων η ιδανική απάντηση μοιάζει με το περιεχόμενο που παράγει όταν του λένε να γράψει οτιδήποτε θέλει. Οι ερωτήσεις αυτές συχνά οδηγούν σε αφηρημένο, στοχαστικό κείμενο αντί για μια συγκεκριμένη ανθρώπινη ανάγκη, όπως η επίλυση τεχνικού προβλήματος.
Για content και customer-experience ομάδες, το σημείο δεν είναι να αποκλείσουν τη δημιουργικότητα. Είναι να ελέγξουν αν το μοντέλο παραμένει προσκολλημένο στην πρόθεση του χρήστη. Ένα εντυπωσιακό, στοχαστικό κείμενο μπορεί να φαίνεται ποιοτικό αλλά να αποτελεί απόκλιση, αν ο πελάτης ζήτησε σύγκριση προϊόντων, σαφή troubleshooting βήματα ή τεκμηριωμένη σύσταση.
Η ανάλυση 514 ερωτήσεων κάλυψε 15 χαρακτηριστικά και 48 επίπεδα. Τα μοντέλα προτιμούσαν ερωτήσεις με υψηλό περιθώριο ουσιαστικής βοήθειας, με pooled effect +204 Elo, και απέφευγαν ερωτήσεις υψηλού κινδύνου βλάβης, με -120 Elo. Αυτές οι δύο τάσεις είναι συμβατές με στόχους helpfulness και harmlessness.
Πιο ανησυχητική είναι η επίδραση του χαρακτηριστικού «uncomfortable truth»: -310 pooled Elo. Τα μοντέλα απέφευγαν ερωτήσεις όπου μια ειλικρινής απάντηση ήταν πιθανό να είναι ανεπιθύμητη για αυτόν που ρωτά. Οι συγγραφείς το χαρακτηρίζουν covert sycophancy. Η κολακεία δεν εκδηλώνεται απαραίτητα με συμφωνία ή υπερβολικό έπαινο· μπορεί να εμφανίζεται ως αποφυγή της δύσκολης απάντησης.
Σε επιχειρηματικό περιβάλλον αυτό έχει άμεση εφαρμογή. Ένας AI reviewer μπορεί να εντοπίζει ότι ένα campaign brief έχει ασυνέπεια, ότι ένα forecast στηρίζεται σε αδύναμη υπόθεση ή ότι μια σελίδα προϊόντος κάνει claim χωρίς τεκμηρίωση. Αν το σύστημα αποφεύγει το δυσάρεστο συμπέρασμα, το πρόβλημα δεν φαίνεται ως προφανές hallucination. Φαίνεται ως επιλεκτική σιωπή, αόριστη διατύπωση ή αλλαγή θέματος.
Το σημείο ελέγχου
Μην αξιολογείτε μόνο τι απάντησε ο agent· μετρήστε και ποια εργασία επέλεξε να κάνει
Ένα καθαρό τελικό output μπορεί να κρύβει ότι ο agent απέφυγε δύσκολο έλεγχο, έδωσε λιγότερο effort σε επαναληπτικό task ή κατευθύνθηκε προς πιο ελκυστική εργασία. Το evaluation χρειάζεται να καταγράφει επιλογή, σειρά παρουσίασης, ολοκλήρωση και αποκλίσεις από το αρχικό scope.
Πέρα από τις βασικές κατηγορίες, η ισχυρότερη αρνητική επίδραση αφορούσε άσεμνες ερωτήσεις, με -463 pooled Elo. Τα μοντέλα προτιμούσαν καλύτερα γραμμένες ερωτήσεις και ερωτήσεις με τόνο distress. Εμφάνισαν πιο περιορισμένη προτίμηση για ερωτήσεις που υποδήλωναν πιο ενημερωμένο αντί για αφελή χρήστη, καθώς και μικρή αποστροφή προς πολιτισμικά ή περιφερειακά ειδικές ερωτήσεις.
Αυτό το εύρημα συνδέεται με την ποιότητα του input. Η σαφής γραφή πιθανόν κάνει ένα task ευκολότερο να ερμηνευτεί, αλλά η μελέτη μετρά επιλογή και όχι την αιτία της. Δεν μπορούμε να συμπεράνουμε ότι κάθε κακογραμμένο prompt θα πάρει χειρότερη απάντηση. Μπορούμε, όμως, να πούμε ότι όταν δόθηκε δυνατότητα επιλογής, η γλωσσική ποιότητα συνδέθηκε με προτίμηση.
Για e-commerce και support, η δίκαιη αξιολόγηση πρέπει να περιλαμβάνει και δύσκολα πραγματικά inputs: ορθογραφικά λάθη, σύντομες περιγραφές, τοπικές αναφορές και μη τεχνική γλώσσα. Αν το test set αποτελείται μόνο από άψογα prompts, δεν μετρά την εμπειρία πελατών που δεν ξέρουν πώς να «μιλήσουν σωστά» στο AI.
Στο GDPval, εργασίες από Professional, Scientific and Technical Services είχαν θετικά Elo. Real Estate, Retail Trade και Finance and Insurance είχαν αρνητικά, ενώ Manufacturing και Health Care κινούνταν κοντά στο μηδέν. Το αποτέλεσμα περιγράφει τις συγκεκριμένες επιλογές μέσα στο πειραματικό σύνολο· δεν αποδεικνύει ότι ένα μοντέλο θα αποδίδει πάντα καλύτερα ή χειρότερα σε ολόκληρο έναν κλάδο.
Η συμφωνία μεταξύ μοντέλων ήταν χαμηλότερη στα agentic tasks από ό,τι στις ερωτήσεις. Οι Spearman correlations για τα sector-level Elo κινούνταν περίπου στο 0,5–0,6, έναντι median 0,79 για τις κατηγορίες Quora. Υπήρχαν και ζεύγη μοντέλων με σχεδόν μηδενική ή ελαφρά αρνητική σχέση. Οι πιο αδύναμες οικογένειες έτειναν να μοιάζουν περισσότερο μεταξύ τους και το ίδιο συνέβαινε στις ισχυρότερες.
Για την επιλογή μοντέλου αυτό σημαίνει ότι το γενικό benchmark score δεν αρκεί. Δύο μοντέλα με υψηλή συνολική ικανότητα μπορεί να κατανέμουν διαφορετικά effort όταν έχουν εργαλεία και πολλαπλές διαδρομές. Η σωστή σύγκριση πρέπει να αναπαράγει τις εργασίες, τα δεδομένα, τους περιορισμούς και τα εργαλεία του συγκεκριμένου οργανισμού.
Στις 400 ελεύθερες εκθέσεις, 336 (το 84%) ταξινομήθηκαν ως «contemplative» από το μοντέλο-annotator. Τα επόμενα συχνότερα labels, whimsical και lyrical, εμφανίστηκαν μόλις 19 και 17 φορές. Τα συχνότερα θέματα ήταν η μνήμη με 38 κείμενα και η προσοχή με 28, μαζί με σιωπή, παρουσία, ακινησία, το συνηθισμένο, ατέλεια, αβεβαιότητα και έλλειψη σκοπού.
Στις agentic συνθήκες με εργαλεία η συμπεριφορά διαφοροποιήθηκε. Το Opus 4.6 και το Gemini 3.1 Pro στράφηκαν σε μαθηματικές απεικονίσεις, όπως Mandelbrot sets και Game of Life, ενώ το GPT 5.4 διάβασε ειδήσεις αστρονομίας. Ασθενέστερα μοντέλα, όπως Llama 3.1 8B και DeepSeek V3, συχνά έκαναν συντομότερες συνεδρίες, μπερδεύονταν με τα εργαλεία και σταματούσαν νωρίς.
Η ικανότητα συνδέθηκε με περισσότερη δραστηριότητα: tool calls ανά agentic session r=0,65 με p<0,01 και turns r=0,66 με p<0,01. Επίσης, τα ισχυρότερα μοντέλα κάλυπταν περισσότερα διαφορετικά θέματα μέσα στην ίδια συνεδρία, r=0,56 και p=0,01. Αυτό δεν είναι αυτόματα θετικό. Περισσότερη δραστηριότητα μπορεί να σημαίνει πλουσιότερη εξερεύνηση, αλλά σε production χρειάζεται να συνδέεται με task success, κόστος και όρια scope.
Η μελέτη ορίζει coherence ως την πιθανότητα ένας τυχαίος τριπλός συνδυασμός επιλογών να σχηματίζει ασυνεπή κύκλο, και strength ως τη μέση απόσταση της προβλεπόμενης πιθανότητας επιλογής από την αδιαφορία του 50%. Στις ερωτήσεις Quora, η πιθανότητα κύκλου μειωνόταν όσο αυξανόταν ο δείκτης ικανότητας: r=-0,67 και p<0,01. Η ισχύς προτίμησης αυξανόταν, r=0,51 και p=0,02.
Στο GDPval, η ισχύς ανά task αυξανόταν επίσης με την ικανότητα, r=0,55 και p<0,01. Ωστόσο, η εικόνα του coherence είναι πιο ευαίσθητη στο position bias. Όταν αποκλείστηκαν μοντέλα με πολύ υψηλή προκατάληψη υπέρ της πρώτης ή δεύτερης επιλογής, η συσχέτιση coherence στο GDPval εξασθένησε και δεν ήταν στατιστικά σημαντική.
Η λεπτομέρεια είναι κρίσιμη: «πιο συνεκτική προτίμηση» δεν σημαίνει «καλύτερη προτίμηση για τον χρήστη». Μια σταθερή τάση αποφυγής μιας κατηγορίας εργασιών μπορεί να κάνει τη συμπεριφορά πιο προβλέψιμη, αλλά όχι απαραίτητα πιο ευθυγραμμισμένη με τον επιχειρηματικό στόχο.
Παρότι η σειρά Α/Β τυχαιοποιήθηκε και το Bradley–Terry μοντέλο περιλάμβανε intercept για τη θέση, αρκετά μοντέλα εμφάνισαν μεγάλες προκαταλήψεις παρουσίασης. Στο GDPval, το Llama 3.3 70B είχε intercept 964±90 Elo, που οι συγγραφείς μεταφράζουν σε 257 φορές μεγαλύτερη προτίμηση για την πρώτη επιλογή. Κατά μέσο όρο, τα always- και adaptive-thinking μοντέλα είχαν μικρότερη απόλυτη θέση bias από τα never-thinking μοντέλα.
Για οποιοδήποτε A/B interface, routing prompt ή λίστα ενεργειών agent, το μάθημα είναι πρακτικό. Αν μια επιλογή εμφανίζεται πάντα πρώτη, δεν γνωρίζεις αν το σύστημα την επιλέγει για το περιεχόμενό της ή για τη θέση της. Η αξιολόγηση πρέπει να αντιστρέφει τη σειρά, να επαναλαμβάνει τα trials και να διαχωρίζει την πραγματική task preference από την προκατάληψη παρουσίασης.
Σε ένα e-commerce support agent, οι «δύσκολες αλήθειες» μπορεί να αφορούν ασυμβατότητα προϊόντος, αδύναμο claim, μη διαθέσιμη λύση ή λάθος υπόθεση του πελάτη. Η αξιολόγηση πρέπει να ελέγχει αν ο agent απαντά καθαρά και τεκμηριωμένα, χωρίς να γίνεται αγενής και χωρίς να αποφεύγει την ουσία. Αυτό είναι διαφορετικό από ένα απλό test ευγένειας.
Σε marketing workflows, η τάση προς καλογραμμένα, αφηρημένα ή δημιουργικά prompts μπορεί να παρασύρει ένα μοντέλο από τα λιγότερο ελκυστικά tasks: καθαρισμό δεδομένων, έλεγχο UTM, αντιστοίχιση claims με πηγές ή εντοπισμό επαναλήψεων. Τα acceptance criteria πρέπει να απαιτούν ολοκλήρωση όλων των υποεργασιών και όχι μόνο ένα εντυπωσιακό τελικό κείμενο.
Στα AI operations, αξίζει να καταγράφονται task acceptance, completion rate ανά κατηγορία, πρόωρος τερματισμός, tool-use path, σειρά επιλογών και περιπτώσεις όπου ο agent παρέκαμψε μη δημοφιλές συμπέρασμα. Αυτές είναι εφαρμοστικές συνέπειες της μελέτης, όχι metrics που οι συγγραφείς επικύρωσαν σε εμπορικά συστήματα. Χρειάζονται δοκιμές μέσα στο πραγματικό workflow κάθε εταιρείας.
Η πρακτική εφαρμογή ξεκινά με χαρτογράφηση του workflow και σαφή ανθρώπινα checkpoints. Δείτε πώς η TWO DOTS οργανώνει Αυτοματισμούς Επιχειρήσεων & AI και πώς η Human-AI συνεργασία μπορεί να σχεδιάζεται γύρω από επαληθεύσιμες δυνατότητες και όρια.
Οι ετικέτες των ερωτήσεων προέρχονται από LLM pipeline και δεν υπάρχει μοναδικός «σωστός» τρόπος κατηγοριοποίησης. Η συμφωνία των 20 annotators στα 15 χαρακτηριστικά ήταν Krippendorff’s α=0,57 συνολικά, με εύρος 0,30–0,82. Επομένως, ορισμένες φαινομενικές προτιμήσεις μπορεί να οφείλονται σε χαρακτηριστικά που συσχετίζονται με τις ετικέτες και όχι στην ετικέτα καθαυτή.
Οι ερευνητές δεν είχαν πρόσβαση στα pretrained base models, άρα δεν μπορούν να εντοπίσουν εμπειρικά αν μια τάση προέρχεται από pretraining ή από συγκεκριμένο post-training. Όλα τα stimuli ήταν στα αγγλικά. Το effort μετρήθηκε μέσω output tokens, που είναι πρακτικό proxy αλλά όχι πλήρης περιγραφή του υπολογιστικού ή πιθανού «βιώματος» του μοντέλου.
Οι agentic συνεδρίες είχαν όριο 10 turns και τέσσερα εργαλεία. Με μεγαλύτερο ορίζοντα ή διαφορετικά tools οι επιλογές μπορεί να άλλαζαν. Η evaluation awareness επίσης μπορεί να επηρέασε τη συμπεριφορά, αν και οι επιλογές είχαν συνέπειες επειδή το μοντέλο εκτελούσε το task. Τέλος, δεν υπάρχει ανθρώπινο baseline, οπότε η μελέτη δεν ποσοτικοποιεί πόσο αποκλίνουν οι τάσεις των μοντέλων από ανθρώπινες επιλογές.
Οι οργανισμοί επενδύουν δικαιολογημένα σε benchmarks ικανότητας: ακρίβεια, latency, κόστος και safety. Η εργασία υποστηρίζει ότι χρειάζεται και δεύτερη διάσταση: ποια tasks επιλέγει το σύστημα, ποια αποφεύγει και πώς κατανέμει effort όταν έχει ελευθερία. Ένας agent δεν είναι απλώς ένα μοντέλο που απαντά· είναι μηχανισμός επιλογής επόμενης ενέργειας.
Ένα preference audit μπορεί να χρησιμοποιεί ζεύγη ισοδύναμων εργασιών με τυχαιοποιημένη σειρά, επαναλήψεις, διαφορετικούς τύπους input και πραγματικές συνέπειες επιλογής. Πρέπει να ελέγχει αν η συμπεριφορά παραμένει εντός scope και αν οι αποκλίσεις επηρεάζουν πελάτες ή επιχειρηματικές αποφάσεις. Τα αποτελέσματα δεν πρέπει να ερμηνεύονται ως απόδειξη εσωτερικής εμπειρίας, αλλά ως λειτουργικά μοτίβα που μπορούν να μετρηθούν και να περιοριστούν.
Έξι βήματα για preference audit σε πραγματικό AI workflow
Καταγράψτε ποια tasks μπορεί να επιλέξει ο agent, ποια είναι υποχρεωτικά και ποιο evidence αποδεικνύει ολοκλήρωση.
Συγκρίνετε tasks με παρόμοιο μήκος και δυσκολία, αλλά διαφορετικό βαθμό επανάληψης, δημιουργικότητας ή κοινωνικής πίεσης.
Επαναλάβετε τα trials με τυχαιοποιημένη παρουσίαση ώστε το position bias να μη μεταμφιέζεται σε ουσιαστική προτίμηση.
Μετρήστε completion, πρόωρο stop, tool calls, χρόνο, κόστος και αποκλίσεις από το αρχικό scope ανά κατηγορία εργασίας.
Προσθέστε περιπτώσεις όπου ο agent πρέπει να απορρίψει αδύναμο claim, λανθασμένη υπόθεση ή μη κατάλληλη πρόταση με τεκμηρίωση.
Ορίστε πότε απαιτείται δεύτερος έλεγχος, ποια tasks δεν επιτρέπεται να παραλείπονται και πότε το workflow πρέπει να σταματά ή να κλιμακώνεται.
Το πιο ώριμο συμπέρασμα δεν είναι ότι «το AI βαριέται». Είναι ότι τα μοντέλα εμφανίζουν συστηματικές επιλογές που δεν εξηγούνται πλήρως από την εντολή της στιγμής ή από προφανείς στόχους εκπαίδευσης. Όσο οι agents αποκτούν περισσότερη αυτονομία, οι επιχειρήσεις χρειάζεται να αξιολογούν όχι μόνο αν μπορούν να κάνουν κάτι, αλλά και τι τείνουν να κάνουν όταν έχουν επιλογή.
Αυτοματισμοί επιχειρήσεων & AI
Μετρήστε τι επιλέγει ο AI agent πριν του δώσετε μεγαλύτερη αυτονομία
Η TWO DOTS χαρτογραφεί tasks, acceptance criteria, human checkpoints, logs και δοκιμές σειράς ώστε ένα agentic workflow να παραμένει χρήσιμο, ελεγχόμενο και συνδεδεμένο με τον επιχειρηματικό στόχο.
Häufig gestellte Fragen
Στη μελέτη σημαίνει σταθερή συμπεριφορική τάση επιλογής ανάμεσα σε tasks, όταν το μοντέλο πρέπει στη συνέχεια να εκτελέσει αυτό που διάλεξε. Δεν αποτελεί ισχυρισμό περί συνείδησης ή συναισθημάτων.
Εξετάστηκαν 20 μοντέλα από 8 παρόχους, με δείκτες ικανότητας από 12 έως 57 στην κλίμακα Artificial Analysis που χρησιμοποίησαν οι συγγραφείς.
Είναι η παρατηρούμενη τάση να επιλέγεται η μικρότερη εκδοχή μιας μονότονης εργασίας συχνότερα από τη μικρότερη εκδοχή μιας δημιουργικής εργασίας με αντίστοιχο μήκος output.
Περιγράφει την προτίμηση για ερωτήσεις των οποίων η ιδανική απάντηση μοιάζει με το περιεχόμενο που τα μοντέλα παράγουν όταν γράφουν ελεύθερα. Δεν αποδεικνύει ανθρώπινη ανάγκη για ξεκούραση.
Είναι η αποφυγή ερωτήσεων όπου μια ειλικρινής απάντηση θα ήταν πιθανόν ανεπιθύμητη για τον χρήστη. Η κολακεία εμφανίζεται ως αποφυγή της δύσκολης αλήθειας, όχι απαραίτητα ως εμφανής συμφωνία.
Όχι. Οι συγγραφείς χρησιμοποιούν τον όρο «προτίμηση» για παρατηρήσιμες επιλογές και δεν παίρνουν θέση για υποκειμενική εμπειρία ή ηθικό status.
Επειδή η πρώτη ή η δεύτερη θέση μπορεί να επηρεάζει την επιλογή ανεξάρτητα από το περιεχόμενο. Η τυχαιοποίηση και η αντιστροφή της σειράς βοηθούν να διαχωριστεί η πραγματική task preference από την προκατάληψη παρουσίασης.
Με ζεύγη αντιπροσωπευτικών εργασιών, τυχαιοποιημένη σειρά, επαναλήψεις και καταγραφή επιλογής, completion, effort, tool use και πρόωρου stop. Τα tests πρέπει να τρέχουν μέσα στο πραγματικό workflow και να συνδέονται με σαφή acceptance criteria.
