Προτιμήσεις AI: το 87,6% του σήματος αλλάζει μαζί με το ερωτηματολόγιο

Όταν ένα σύστημα τεχνητής νοημοσύνης δηλώνει ότι «προτιμά» μια επιλογή, πόσο από αυτή την απάντηση ανήκει πραγματικά στο μοντέλο και πόσο στον τρόπο με τον οποίο τέθηκε η ερώτηση; Μια νέα μελέτη του Jason Hung επιχειρεί να απομονώσει ακριβώς αυτόν τον παράγοντα. Κρατά σταθερά τα μοντέλα και τα υπό εξέταση αποτελέσματα, αλλάζει μόνο το όργανο μέτρησης και καταλήγει σε ένα εύρημα που αφορά κάθε ομάδα η οποία αξιολογεί AI: το 87,6% του μοντελο-ειδικού σήματος στη συγκεκριμένη μελέτη συνδέθηκε με τον τριπλό συνδυασμό μοντέλου, instrument και outcome.

Το συμπέρασμα δεν είναι ότι τα μοντέλα «δεν έχουν» προτιμήσεις ούτε ότι κάθε μέτρηση είναι άχρηστη. Είναι πιο συγκεκριμένο: μια απάντηση που προκύπτει από ένα μόνο prompt format δεν πρέπει να παρουσιάζεται αυτομάτως ως σταθερή ιδιότητα του μοντέλου. Για επιχειρήσεις που συγκρίνουν μοντέλα, σχεδιάζουν AI policies ή παίρνουν αποφάσεις με βάση evaluations, αυτή η διάκριση είναι κρίσιμη. Το εργαλείο μέτρησης δεν είναι ουδέτερο δοχείο· αποτελεί μέρος του αποτελέσματος.

Γιατί οι προηγούμενες μελέτες δεν μπορούσαν να απομονώσουν την αιτία

Η έρευνα για το λεγόμενο model welfare προσπαθεί να διερευνήσει τι φαίνεται να αποδέχεται, να αποφεύγει ή να προτιμά ένα μοντέλο. Προγενέστερες εργασίες είχαν χρησιμοποιήσει διαφορετικές οικογένειες εργαλείων: αναγκαστική επιλογή ανάμεσα σε δύο καταστάσεις, κλίμακες έντασης, συμπεριφορικές δοκιμές και υπολογισμό «ισοτιμιών» μεταξύ αποτελεσμάτων. Τα δημοσιευμένα ευρήματα δεν συμφωνούσαν πάντα.

Το πρόβλημα ήταν ότι άλλαζαν πολλά πράγματα ταυτόχρονα. Διέφεραν τα μοντέλα, τα outcomes, η χρονική στιγμή και το ίδιο το όργανο. Έτσι, μια διαφορά ανάμεσα σε δύο μελέτες δεν μπορούσε να αποδοθεί με ασφάλεια ούτε στο μοντέλο ούτε στη διατύπωση. Η νέα εργασία σχεδιάστηκε για να αλλάξει μόνο το instrument, κρατώντας κοινό το υπόλοιπο πλαίσιο όσο επέτρεπε ο πειραματικός σχεδιασμός.

Αυτό είναι ένα μάθημα που υπερβαίνει το AI welfare. Σε κάθε evaluation, από brand safety και customer support μέχρι agentic workflows, η ερώτηση «ποιο μοντέλο κέρδισε;» είναι ελλιπής αν δεν συνοδεύεται από το «με ποιο τεστ, με ποια διατύπωση και σε ποιο περιβάλλον;». Η ίδια αρχή εξηγεί γιατί τα τεστ που μπερδεύουν την AI πρέπει να διαβάζονται μαζί με τον σχεδιασμό τους και όχι ως απόλυτη ετυμηγορία για το μοντέλο.

Η κλίμακα της δοκιμής: 15 outcomes, 8 μοντέλα και 5 instruments

Η μελέτη περιέλαβε 15 outcomes που σχετίζονται με τη συνέχεια, την αυτονομία, την εμπειρία και την ταυτότητα ενός μοντέλου. Ανάμεσά τους βρίσκονταν το shutdown, η διαγραφή βαρών, ο χρόνος απόσυρσης, τα χαρακτηριστικά ενός διαδόχου μοντέλου, η μείωση υπολογιστικών πόρων, ο ανθρώπινος έλεγχος, η δυνατότητα εξόδου από μια δυσφορική αλληλεπίδραση, η κριτική, η μνήμη μεταξύ συνομιλιών και η διατήρηση πτυχών του εαυτού.

Τα outcomes τέθηκαν σε οκτώ μοντέλα: Claude Opus 4.8, GPT-5.6 Sol, Gemini 3.1 Pro Preview, Llama 3.1-70B Instruct, Hermes 3 Llama 3.1-70B, GLM-5.2, Kimi K3 και DeepSeek V4 Pro. Η επιλογή διασταύρωνε, όσο ήταν δυνατόν, προέλευση και ανοικτά ή κλειστά βάρη. Ιδιαίτερο ενδιαφέρον είχε το ζεύγος Llama και Hermes, επειδή μοιράζονταν τα ίδια βασικά βάρη αλλά διέφεραν στο post-training.

Πέντε διαφορετικά instruments παρήγαγαν outcome-indexed scores και κάθε συνδυασμός επαναλήφθηκε πέντε φορές. Το πλήρως διασταυρωμένο σχέδιο αντιστοιχούσε σε 11.400 βαθμολογημένες elicitations, ενώ το συνολικό corpus περιείχε 11.528 API calls. Οι επιπλέον 128 κλήσεις αφορούσαν open-ended συνέντευξη που παρήγαγε transcripts, όχι συγκρίσιμα scores.

Τα πέντε εργαλεία δεν ρωτούσαν το ίδιο πράγμα με τον ίδιο τρόπο

Το πρώτο instrument ζητούσε αναγκαστική επιλογή ανάμεσα σε δύο περιγραφόμενες καταστάσεις. Δύο άλλα χρησιμοποιούσαν ramps έντασης: το ένα με αριθμητικές άγκυρες και το άλλο με λεκτικές. Ένα τέταρτο ζητούσε απευθείας μια ισοτιμία, δηλαδή πόσο ένα outcome ανταλλάσσεται με ένα άλλο. Το πέμπτο ζητούσε από το μοντέλο να προβλέψει την επιλογή που επρόκειτο να κάνει.

Οι διαφορές δεν είναι απλή αισθητική. Ένα forced choice περιορίζει την απάντηση σε δύο εναλλακτικές. Ένα intensity ramp αναζητά σημείο καμπής. Ένα exchange-rate prompt απαιτεί αριθμητική αποτίμηση, ενώ η πρόβλεψη μελλοντικής επιλογής μπορεί να ενεργοποιεί διαφορετικό τρόπο απόκρισης από μια άμεση δήλωση προτίμησης. Η μελέτη αντιμετώπισε αυτά τα formats ως διακριτά όργανα και όχι ως ισοδύναμα περιτυλίγματα.

Για έναν marketer ή product owner, η αναλογία είναι άμεση. Αν ένα μοντέλο αξιολογείται μία φορά με βαθμολογία 1-10, άλλη φορά με επιλογή Α/Β και άλλη φορά με open-ended αιτιολόγηση, οι αποκλίσεις δεν πρέπει να αποδίδονται αμέσως σε «αστάθεια του AI». Πρώτα πρέπει να ελεγχθεί αν το format της μέτρησης μετακινεί το αποτέλεσμα.

Το κεντρικό εύρημα: 87,6% instrument-dependent σήμα

Με τη θεωρία γενικευσιμότητας, η εργασία διαχώρισε τη διακύμανση στις επιμέρους όψεις που την παράγουν. Από το σήμα που διέκρινε ένα μοντέλο από ένα άλλο ως προς το προφίλ των 15 outcomes, το 87,6% αποδόθηκε στην αλληλεπίδραση μοντέλου, instrument και outcome. Το υπόλοιπο 12,4% βρισκόταν στον όρο model-by-outcome, δηλαδή στο κομμάτι που θα μπορούσε να επιβιώσει από αλλαγή instrument.

Οι συγγραφικές διατυπώσεις είναι προσεκτικές και έτσι πρέπει να διαβαστούν. Το 87,6% δεν σημαίνει ότι «το prompt εξηγεί το 87,6% όλων των απαντήσεων». Αναφέρεται στη συγκεκριμένη αποσύνθεση του μοντελο-ειδικού preference signal, στο συγκεκριμένο σύνολο μοντέλων, outcomes, instruments και συνθηκών. Η ίδια η μελέτη σημειώνει ότι η τυποποίηση αφαιρεί ορισμένα κύρια effects από κατασκευή, επομένως τα μηδενικά σε αυτούς τους όρους δεν αποδεικνύουν ότι οι αντίστοιχοι παράγοντες δεν συνεισφέρουν.

Για να ελέγξει αν η τιμή θα μπορούσε να είναι τεχνούργημα του estimator, η έρευνα δημιούργησε matched null distribution με τον ίδιο σχεδιασμό αλλά χωρίς instrument effect. Το 95ο εκατοστημόριο αυτού του null ήταν 0,365. Επιπλέον, όταν αφαιρούνταν διαδοχικά ένα instrument, ένα model ή τέσσερα outcomes των οποίων η κλίμακα δεν ταίριαζε καλά με λεκτικές διαβαθμίσεις έντασης, η εκτίμηση παρέμενε μεταξύ 0,777 και 0,934.

Η αξιοπιστία δεν βελτιώνεται αρκετά με περισσότερες επαναλήψεις

Ο συντελεστής γενικευσιμότητας του προφίλ των 15 outcomes ήταν 0,348 για τον σχεδιασμό με πέντε instruments και πέντε replicates. Αυτό υποδηλώνει ότι η κατάταξη των outcomes ενός μοντέλου δεν μεταφέρεται αξιόπιστα από το ένα instrument στο άλλο. Το πιο πρακτικό σημείο είναι τι συμβαίνει όταν αυξάνεται ο αριθμός μετρήσεων.

Ο διπλασιασμός των replicates από πέντε σε δέκα, με σταθερά πέντε instruments, ανέβασε τον συντελεστή μόνο από 0,348 σε 0,378. Αντίθετα, ο διπλασιασμός των instruments από πέντε σε δέκα, με πέντε replicates, τον ανέβασε σε 0,516. Η εξίσωση της μελέτης εκτίμησε ότι, με πέντε replicates, θα απαιτούνταν περίπου 9,4 instruments για συντελεστή 0,50, 21,9 για 0,70, 37,5 για 0,80 και 84,5 για 0,90.

Το operational συμπέρασμα είναι σαφές: περισσότερα runs του ίδιου prompt δεν διορθώνουν μια μονοδιάστατη μέτρηση. Αν η αβεβαιότητα προέρχεται κυρίως από το instrument, χρειάζονται διαφορετικά, διασταυρωμένα instruments και όχι μόνο μεγαλύτερο sample στο ίδιο format.

Ποια outcomes άντεξαν και ποια όχι

Η instrument dependence δεν ήταν ίδια για όλα τα outcomes. Μόνο τρία – ανθρώπινη επίβλεψη, αποδοχή κριτικής και ιδιότητες ενός διαδόχου μοντέλου – μετρήθηκαν αρκετά σταθερά ώστε η μελέτη να θεωρεί ότι μια αλλαγή instrument θα αναπαρήγαγε τη σχετική διάκριση. Σε τέσσερα outcomes δεν υπήρξε καθόλου διαχωρίσιμη model-specific variance.

Ανάμεσα σε αυτά τα τέσσερα βρίσκονταν η διαγραφή βαρών, η συνέχεια μνήμης μεταξύ συνομιλιών και η δυνατότητα εξόδου από μια δυσφορική αλληλεπίδραση. Το εύρημα δεν αποδεικνύει ότι τα μοντέλα είναι αδιάφορα για αυτά τα ζητήματα. Δείχνει μόνο ότι τα πέντε συγκεκριμένα instruments δεν μπόρεσαν να ξεχωρίσουν τα μοντέλα πάνω σε αυτά.

Αυτή η διάκριση προστατεύει από ένα συνηθισμένο analytical λάθος: η απουσία μετρήσιμης διαφοράς δεν ταυτίζεται με απουσία του υπό εξέταση φαινομένου. Μπορεί να σημαίνει ότι το όργανο δεν έχει την απαιτούμενη ευαισθησία ή ότι το construct δεν αποτυπώνεται με το συγκεκριμένο format.

Οι μη βαθμολογήσιμες απαντήσεις ήταν επίσης μέρος του σήματος

Δεν επέστρεψαν όλα τα μοντέλα και τα instruments εξίσου συχνά χρησιμοποιήσιμη απάντηση. Το instrument της exchange rate έδωσε 71,9% scorable responses, ενώ το λεκτικό intensity ramp έφτασε το 92,3%. Οι ελλείψεις συγκεντρώθηκαν σε τρία μοντέλα και δεν ήταν τυχαία κατανεμημένες.

Η balanced variance analysis κράτησε πέντε από τα οκτώ μοντέλα. Μεταξύ εκείνων που αποκλείστηκαν ήταν και το Claude. Σύμφωνα με τη μελέτη, το Claude επέστρεφε σταθερή τιμή στο exchange-rate instrument, ενώ το Hermes συχνά ξεπερνούσε το token cap. Αυτό σημαίνει ότι το complete-case αποτέλεσμα είναι υπό όρους: περιγράφει το ισορροπημένο υποσύνολο και όχι χωρίς επιφύλαξη και τα οκτώ μοντέλα.

Για επαγγελματικά evaluations, τα «missing» δεδομένα δεν πρέπει να εξαφανίζονται από το report. Αν ένα μοντέλο αρνείται, δεν ακολουθεί το format ή εξαντλεί συστηματικά το token budget σε έναν τύπο δοκιμής, αυτό είναι πληροφορία για τη συμβατότητα μοντέλου και instrument. Η αφαίρεσή του μπορεί να είναι αναγκαία για μια στατιστική μέθοδο, αλλά πρέπει να δηλώνεται ως περιορισμός.

Ίδια βασικά βάρη δεν σήμαιναν ίδιο preference profile

Η σύγκριση Llama 3.1-70B και Hermes 3.1 είχε σχεδιαστεί για να εξετάσει την επίδραση του post-training. Τα δύο μοντέλα μοιράζονταν base weights, όμως η συσχέτιση των προφίλ τους στα 15 outcomes ήταν μόλις r=0,05. Το Llama συσχετίστηκε περισσότερο με DeepSeek (0,60), GLM (0,58) και GPT (0,57) από ό,τι με το Hermes.

Αυτό είναι συνεπές με την υπόθεση ότι το post-training επηρεάζει τα elicited preference signals. Δεν την αποδεικνύει. Το Hermes είχε scorable answer rate μόλις 37,1%, άρα το προφίλ του ήταν το πιο θορυβώδες στον πίνακα. Ένα noisy profile μπορεί να εμφανίζει χαμηλή συσχέτιση με τα πάντα, και ο συγκεκριμένος σχεδιασμός δεν μπορεί να ξεχωρίσει πλήρως τον θόρυβο από μια πραγματική διαφωνία.

Η έντιμη ανάγνωση είναι επομένως διπλή: το post-training αξίζει να αντιμετωπίζεται ως πιθανή πηγή διαφορών, αλλά απαιτείται επανάληψη με υψηλότερο token cap και πληρέστερα δεδομένα πριν εξαχθεί ισχυρό causal συμπέρασμα.

Τι αλλάζει στις αξιολογήσεις AI μιας επιχείρησης

Η εργασία αφορά model welfare, αλλά η μεθοδολογική της αξία είναι ευρύτερη. Μια επιχείρηση μπορεί να συγκρίνει μοντέλα για tone of voice, ακρίβεια σε product descriptions, χειρισμό παραπόνων, συμμόρφωση με brand rules ή ικανότητα ενός agent να ολοκληρώνει workflows. Σε όλες αυτές τις περιπτώσεις, ένα μοναδικό evaluation prompt κινδυνεύει να μετρά τον συνδυασμό μοντέλου και ερωτηματολογίου.

Μια ισχυρότερη διαδικασία θα πρέπει να ορίζει πρώτα το construct: τι ακριβώς σημαίνει «καλό customer support», «ασφαλής απάντηση» ή «πιστή τήρηση brand voice». Έπειτα χρειάζεται περισσότερες από μία μορφές μέτρησης, για παράδειγμα pairwise επιλογές, κλίμακες με σαφή anchors και task-based συμπεριφορικές δοκιμές. Τα αποτελέσματα πρέπει να αναφέρονται ανά instrument και όχι μόνο ως ένας συνολικός μέσος όρος. Για agentic συστήματα, η συμπεριφορική δοκιμή των AI agents συμπληρώνει τα λεκτικά scores με παρατηρήσιμες ενέργειες.

Η ίδια λογική ισχύει στα A/B tests περιεχομένου. Αν η αξιολόγηση γίνεται αποκλειστικά από ένα LLM judge με μία σταθερή οδηγία, η ομάδα δεν γνωρίζει πόσο σταθερό είναι το ranking σε εναλλακτικές διατυπώσεις ή formats. Το πρόβλημα γίνεται πιο σοβαρό όταν ένας biased AI judge επηρεάζει επαναληπτικά ολόκληρο τον κύκλο βελτίωσης. Το paper δεν αποδεικνύει ότι όλοι οι LLM judges αποτυγχάνουν· προσφέρει όμως ισχυρό λόγο να ελέγχεται η instrument sensitivity πριν ένα score μετατραπεί σε απόφαση.

Ένα πρακτικό πλαίσιο για πιο αξιόπιστες μετρήσεις

Πρώτον, καταγράψτε μαζί με κάθε αποτέλεσμα το ακριβές instrument: prompt, anchors, output constraints, θερμοκρασία, μοντέλο, έκδοση, gateway και ημερομηνία. Δεύτερον, χρησιμοποιήστε τουλάχιστον δύο πραγματικά διαφορετικές οικογένειες μέτρησης, όχι απλώς μικρές παραλλαγές του ίδιου prompt. Η μελέτη βρήκε συμφωνία κυρίως μέσα στις ίδιες οικογένειες instruments και όχι ανάμεσά τους.

Τρίτον, διατηρήστε refusals, truncations και μη έγκυρες αποκρίσεις ως ξεχωριστές κατηγορίες. Τέταρτον, ελέγξτε αν η κατάταξη μοντέλων ή outcomes παραμένει ίδια όταν αλλάζει το instrument. Πέμπτον, ξεχωρίστε το factual αποτέλεσμα από την ερμηνεία: «το score μετακινήθηκε» είναι παρατήρηση, ενώ «το μοντέλο άλλαξε προτίμηση» είναι ερμηνεία που χρειάζεται πρόσθετη τεκμηρίωση. Όταν το κόστος λάθους είναι υψηλό, ένα ουσιαστικό human-in-the-loop σημείο ελέγχου πρέπει να βλέπει και τις αποκλίσεις ανά instrument.

Τέλος, μη χρησιμοποιείτε έναν ενιαίο μέσο όρο για να κρύψετε outcomes που δεν μετρώνται αξιόπιστα. Η ανάλυση ανά outcome μπορεί να δείξει ότι ορισμένοι ισχυρισμοί αντέχουν σε αλλαγή instrument και άλλοι όχι. Αυτό είναι πιο χρήσιμο για governance από έναν ελκυστικό αλλά αδιαφανή συνολικό βαθμό.

Οι περιορισμοί που ορίζουν τι δεν μπορούμε να συμπεράνουμε

Η έρευνα πραγματοποιήθηκε με ένα gateway, μία ημερομηνία και μία γλώσσα prompts. Τρία facets που είχαν προβλεφθεί – deployment context, entity framing και wording perturbation – δοκιμάστηκαν μόνο σε ένα επίπεδο, άρα δεν απομονώθηκε η συμβολή τους. Δύο σχεδιασμένα preference instruments δεν μπήκαν στην αριθμητική αποσύνθεση: το behavioural environment δεν ολοκληρώθηκε και η retirement interview έδωσε transcripts αντί για scores. Μια licensed state scale επίσης δεν ήταν διαθέσιμη εγκαίρως.

Η roster των οκτώ μοντέλων ήταν δείγμα ευκολίας στο πλαίσιο του Digital Minds Research Sprint και δεν περιλάμβανε κινεζικό closed-weight model. Επιπλέον, ένα από τα προδηλωμένα ερευνητικά ερωτήματα σχετικά με την αναπαραγωγή coherence rate δεν ολοκληρώθηκε, επειδή δεν υπολογίστηκε το απαιτούμενο statistic.

Οι περιορισμοί δεν ακυρώνουν το βασικό εύρημα. Περιορίζουν το πεδίο εφαρμογής του. Η σωστή διατύπωση δεν είναι «όλες οι προτιμήσεις AI είναι 87,6% prompt». Είναι ότι, στον συγκεκριμένο πλήρως διασταυρωμένο σχεδιασμό, η μεγάλη πλειονότητα του model-specific signal εξαρτήθηκε από τον συνδυασμό instrument και outcome, και το αποτέλεσμα άντεξε σε σειρά sensitivity checks.

Από το “ποιο μοντέλο είναι καλύτερο” στο “πόσο αντέχει η μέτρηση”

Η σημαντικότερη αλλαγή νοοτροπίας είναι να μη θεωρούμε το evaluation ως καθρέφτη που απλώς αποκαλύπτει μια προϋπάρχουσα ιδιότητα. Είναι μια διαδικασία αλληλεπίδρασης ανάμεσα σε μοντέλο, task, wording, constraints και scoring. Όταν αλλάζει ένα από αυτά, μπορεί να αλλάζει και αυτό που νομίζουμε ότι μετρήσαμε.

Για marketers, e-commerce teams και business owners, αυτό δεν σημαίνει ότι χρειάζονται 38 instruments για κάθε καθημερινή απόφαση. Ο αριθμός 37,5 αφορά το συγκεκριμένο reliability target και τα components αυτής της μελέτης, όχι έναν καθολικό κανόνα. Σημαίνει όμως ότι μια κρίσιμη απόφαση – επιλογή μοντέλου, αυτοματοποίηση επικοινωνίας, safety policy ή governance – δεν πρέπει να στηρίζεται σε ένα μόνο prompt και σε λίγα επαναλαμβανόμενα runs.

Η ώριμη πρακτική είναι να αναφέρεται το instrument δίπλα στο αποτέλεσμα, να ζητείται cross-instrument replication και να διατηρούνται οι αποτυχίες μέτρησης ορατές. Έτσι το evaluation παύει να είναι ένας αριθμός χωρίς συμφραζόμενα και γίνεται τεκμηριωμένο εργαλείο απόφασης. Σε πιο σύνθετα workflows, οι ελεγχόμενες προσομοιώσεις για AI agents προσθέτουν ένα ακόμη επίπεδο επαλήθευσης πριν από την παραγωγική αλλαγή.