Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
[email protected]
Έτοιμοι για το επόμενο βήμα;
Νέα μελέτη δείχνει ότι 26 έγκυρα evaluation harnesses μπορούν να αλλάξουν δραστικά τα scores και τον νικητή ενός LLM leaderboard. Τι σημαίνει για τις επιχειρήσεις.
Απάντηση πρώτα: ένα AI benchmark δεν παράγει ουδέτερο score όταν το evaluation harness αφήνει ανοιχτές επιλογές για τη σειρά των απαντήσεων, τη μορφή του prompt και τον τρόπο scoring. Στη μελέτη «There Is No Neutral Harness», τα ίδια μοντέλα, τα ίδια 3.679 items και τα ίδια weights έδωσαν διαφορετικές βαθμολογίες και διαφορετικό νικητή μόνο επειδή άλλαξε η διαδικασία εξέτασης.
Για μια επιχείρηση, το πρακτικό συμπέρασμα δεν είναι να αγνοήσει τα leaderboards. Είναι να αντιμετωπίζει κάθε score ως αποτέλεσμα ενός συγκεκριμένου πρωτοκόλλου, να ελέγχει εύρος και σταθερότητα και να επαναλαμβάνει την αξιολόγηση στα δικά της tasks πριν επιλέξει LLM.
Ένα benchmark καθορίζει τις ερωτήσεις και τις σωστές απαντήσεις, αλλά δεν καθορίζει πάντα όλες τις λεπτομέρειες της εξέτασης. Οι επιλογές μπορούν να εμφανιστούν με γράμματα ή ψηφία, σε αρχική ή ανακατεμένη σειρά και με διαφορετική επιφανειακή μορφή του prompt. Η απάντηση μπορεί να παραχθεί ως κείμενο και να αναγνωριστεί από parser ή να επιλεγεί από τις πιθανότητες που αποδίδει το μοντέλο σε κάθε επιλογή.
Καθεμία από αυτές τις αποφάσεις εμφανίζεται σε πραγματικό evaluation code. Άρα το harness δεν είναι απλή τεχνική συσκευασία γύρω από μια «καθαρή» μέτρηση· είναι μέρος του οργάνου μέτρησης. Η εργασία το μετατρέπει από κρυφή σταθερά σε ανεξάρτητη μεταβλητή και παρακολουθεί την επίδρασή του μέχρι το επίπεδο του μεμονωμένου item.
Αυτό συμπληρώνει ένα ευρύτερο μάθημα από τα AI benchmarks που χρειάζονται διαφάνεια πριν τα εμπιστευτούμε: η βαθμολογία έχει νόημα μόνο μαζί με dataset, έκδοση μοντέλου, prompt template, parser, scoring rule και συνθήκες εκτέλεσης.
Η έρευνα εξέτασε 12 instruction-tuned open-weight μοντέλα από τέσσερις οικογένειες, με μεγέθη από 3 έως 70 δισεκατομμύρια παραμέτρους. Χρησιμοποιήθηκαν ARC, HellaSwag, MMLU και TruthfulQA. Έως 1.000 items αντλήθηκαν από κάθε benchmark με σταθερό seed, ενώ το TruthfulQA έδωσε 679 items μετά το φιλτράρισμα σε τέσσερις επιλογές. Το κοινό σύνολο ήταν 3.679 items ανά μοντέλο.
Οι 26 διαμορφώσεις προέκυψαν από έξι σειρές επιλογών, τέσσερα generation prompt formats και δύο likelihood cloze formats. Οι 24 generation περιπτώσεις είναι ο συνδυασμός τεσσάρων templates με έξι orderings. Οι δύο likelihood περιπτώσεις βαθμολογούν κάθε επιλογή ανεξάρτητα και δεν επηρεάζονται από τη σειρά. Items, weights και greedy decoding έμειναν σταθερά, με temperature μηδέν.
Η κλίμακα της συγκεκριμένης fragility grid
Μετρήσεις της δημοσιευμένης πειραματικής ρύθμισης, όχι γενικά benchmarks για κάθε LLM ή κάθε επιχειρηματικό task.
Η σύγκριση ήταν matched: δεν άλλαξε checkpoint, ερώτηση ή sampling draw. Η αποκωδικοποίηση ήταν zero-shot και greedy. Έτσι, όταν ένα item άλλαζε από σωστό σε λάθος, η διαφορά μπορούσε να αποδοθεί στη διαμόρφωση του harness και όχι σε διαφορετικά δεδομένα ή σε στοχαστική παραγωγή.
Ένα item χαρακτηρίζεται robust-correct όταν το μοντέλο το απαντά σωστά και στις 26 διαμορφώσεις, robust-wrong όταν αποτυγχάνει σε όλες και config-fragile όταν το αποτέλεσμα αλλάζει. Η διάκριση αποφεύγει ένα κρίσιμο λάθος: ένα σταθερά δύσκολο item δεν συγχέεται με ένα item που το harness κάνει να ταλαντεύεται.
Από εδώ προκύπτουν τρεις τιμές αντί για ένα μοναδικό score. Η robust accuracy μετρά όσα είναι σωστά παντού, η reference accuracy όσα είναι σωστά στη διαμόρφωση αναφοράς και η optimistic accuracy όσα γίνονται σωστά έστω μία φορά. Η config-lucky fraction δείχνει πόσες από τις απαντήσεις που πιστώθηκαν ως σωστές στη reference διαμόρφωση μπορούν να γίνουν λάθος σε άλλη έγκυρη διαμόρφωση.
Option order
Αλλάζει μόνο η θέση των τεσσάρων επιλογών. Στον μεμονωμένο άξονα παρέμενε κατά μέσο όρο robust το 60% της reference accuracy.
Prompt format
Αλλάζει η επιφανειακή παρουσίαση: γράμματα, παρενθέσεις, ψηφία ή ρητή οδηγία για απάντηση με γράμμα. Παρέμενε robust το 40%.
Scoring method
Generation με parser έναντι length-normalized likelihood ανά επιλογή. Ήταν ο βαρύτερος άξονας, με μόλις 31% robust accuracy κατά μέσο όρο.
Η πιο εντυπωσιακή περίπτωση είναι το gemma4-31b: reference accuracy 88,0%, ελάχιστο 30,6% και μέγιστο 88,6%. Το εύρος των 58 ποσοστιαίων μονάδων δεν προήλθε από άλλο checkpoint ή άλλες ερωτήσεις. Προήλθε μόνο από το harness. Η εργασία συνοψίζει εύστοχα το εύρημα: η ακρίβεια ενός μοντέλου είναι band και όχι σημείο.
Κατά μέσο όρο, το 85% των reference-correct απαντήσεων μπορούσε να ανατραπεί από κάποια άλλη έγκυρη διαμόρφωση. Παράλληλα, η robust accuracy δεν ξεπέρασε το 21,5% για κανένα μοντέλο και ήταν χαμηλότερη από 7% για πέντε. Αυτές οι τιμές αφορούν τη συγκεκριμένη grid και δεν πρέπει να μετατραπούν σε καθολική εκτίμηση για κάθε benchmark.
Η αστάθεια επίσης δεν ακολουθούσε απλώς τη θέση στο leaderboard. Το μεγαλύτερο spread ανήκε στο πρώτο μοντέλο της reference κατάταξης, ενώ μικρότερα spreads εμφανίστηκαν και σε χαμηλότερες θέσεις. Η ευαισθησία στο harness δεν είναι μόνο σύμπτωμα ασθενούς μοντέλου.
Ο συγγραφέας αποσυνθέτει το gap κάθε γειτονικού ζεύγους σε σταθερό και εύθραυστο μέρος. Στα items που και τα δύο μοντέλα απαντούσαν σταθερά, πέντε από τα έντεκα ζεύγη είχαν ακριβώς ίδιες απαντήσεις, τέσσερα διέφεραν μόνο σε ένα item και τα δύο υπόλοιπα είχαν διαφωνίες προς αντίθετες κατευθύνσεις που μηδενίζονταν.
Δέκα ζεύγη είχαν μη μηδενικό gap στο πλήρες σύνολο, αλλά και τα δέκα ήταν στατιστικά δεμένα στο jointly robust subset. Κατά μέσο όρο, το 95,7% του gap αποδόθηκε σε config-fragile items. Με pooling όλων των items το ποσοστό ανέβηκε στο 99,7%, όμως η εργασία κρατά το συντηρητικότερο 95,7%.
Αυτό δεν αποδεικνύει ότι τα μοντέλα έχουν ίση γενική ικανότητα. Δείχνει ότι η συγκεκριμένη σειρά γειτονικών μοντέλων δεν στηρίζεται στα items όπου και τα δύο παραμένουν σταθερά. Η ίδια προσοχή χρειάζεται όταν ένα benchmark χρησιμοποιείται ως αυτόματο approval gate σε multi-LLM συστήματα που απαιτούν διακυβέρνηση πέρα από το prompt.
Τέσσερα από τα 12 μοντέλα έφτασαν στην πρώτη θέση σε τουλάχιστον μία διαμόρφωση και οκτώ μπήκαν στην πρώτη τριάδα. Το gemma4-31b κέρδισε 16 configurations και το qwen3-14b οκτώ. Οι διάμεσες διαφορές τους από τον δεύτερο ήταν αντίστοιχα 181,5 και 98,5 items στα 3.679, άρα αυτές οι νίκες δεν ήταν απλώς ισοπαλίες στρογγυλοποίησης.
Τα άλλα δύο μοντέλα βγήκαν πρώτα μόνο μία φορά: το llama3.3-70b με διαφορά ενός item και το mixtral-8x7b με διαφορά τριών. Το mixtral πέρασε από την 11η θέση της reference κατάταξης στην πρώτη σε άλλη διαμόρφωση. Η εργασία δημοσιεύει τις πραγματικές αποστάσεις ώστε το «τέσσερις πρωταθλητές» να μη μετατραπεί σε υπερβολικό claim.
Όταν κάθε άξονας μεταβαλλόταν μόνος του, η σειρά επιλογών διατηρούσε κατά μέσο όρο το 60% της πιστωμένης ακρίβειας. Το prompt format διατηρούσε το 40% και η επιλογή generation έναντι likelihood μόλις το 31%. Με όλους τους άξονες μαζί παρέμενε 11%. Το scoring ήταν ο πιο καταστροφικός μεμονωμένος άξονας για εννέα από τα 12 μοντέλα.
Η διαφορά generation-likelihood συνδέεται με το surface-form competition. Στη likelihood διαδρομή, η πιθανότητα της λεκτικής μορφής μιας επιλογής μπορεί να ανταγωνίζεται την πιθανότητα της σωστής σημασιολογικής απάντησης. Στη generation διαδρομή, η ποιότητα του parser και η πιστή τήρηση format γίνονται μέρος του score.
Και οι δύο μέθοδοι είναι υπερασπίσιμες και χρησιμοποιούνται στην πράξη. Γι’ αυτό η λύση δεν είναι να κρυφτεί η επιλογή αλλά να αναφερθεί πλήρως και να δοκιμαστεί η ευαισθησία. Η σημασία του template φαίνεται και στην ασφάλεια LLM μετά το fine-tuning, όπου το prompt format μπορεί επίσης να αλλάξει ουσιαστικά τη συμπεριφορά.
Οι μέθοδοι benchmark compression κρατούν συχνά items με υψηλή discrimination, επειδή αυτά χωρίζουν αποτελεσματικά τα ισχυρότερα από τα ασθενέστερα συστήματα. Η μελέτη βρήκε συσχέτιση 0,28 μεταξύ discrimination και fragility, με 95% διάστημα εμπιστοσύνης 0,25 έως 0,30. Τα πιο discriminative items ήταν fragile κατά μέσο όρο για το 96% των μοντέλων, έναντι 85% στο πλήρες benchmark.
Σε subsets των 100 items, το πλήθος πιθανών champions ήταν κατά μέσο όρο 5,1 για τυχαία επιλογή και 5,7 για επιλογή βάσει discrimination, έναντι τεσσάρων στο πλήρες benchmark. Ο συγγραφέας στηρίζει το claim κυρίως στη συσχέτιση και στη διαφορά fragility, όχι μόνο στο champion count, επειδή η περικοπή σε 100 items αυξάνει και τις αριθμητικές ισοπαλίες.
Υπάρχει και τεχνική λεπτομέρεια που αξίζει να μη χαθεί: στο cutoff του top-100, 102 items είχαν ακριβώς την ίδια discrimination τιμή και μόνο 64 μπορούσαν να επιλεγούν. Η τελική σύνθεση του subset εξαρτάται από tie-break. Η εργασία χρησιμοποιεί seeded tie-breaks και αναφέρει εύρος, αντί να παρουσιάσει μία αυθαίρετη ταξινόμηση ως μοναδική αλήθεια.
Το paper προτείνει το score να αναφέρεται ως band μαζί με robust accuracy. Οι συγκρίσεις δύο μοντέλων πρέπει να εξετάζουν τα items που είναι σταθερά και για τα δύο. Το harness πρέπει να δημοσιοποιείται πλήρως, με πρώτη τη μέθοδο scoring, επειδή αυτή είχε τη μεγαλύτερη επίδραση. Κάθε compressed benchmark χρειάζεται έλεγχο configuration stability πριν χρησιμοποιηθεί ως αξιόπιστη συντόμευση.
Decision gate πριν από επιλογή LLM
Μην εγκρίνετε μοντέλο από έναν μόνο rank ή ένα μόνο harness
Προχωρήστε όταν το ίδιο version του μοντέλου δοκιμαστεί σε παγωμένο business test set, με καταγεγραμμένα prompt templates, parser και scoring, και όταν η απόφαση παραμένει σταθερή σε περισσότερες από μία υπερασπίσιμες διαμορφώσεις. Αν αλλάζει νικητής, αναφέρετε το εύρος και εξετάστε ποια πραγματικά tasks προκαλούν την ανατροπή.
Χρειάζεται επίσης να καταγράφονται model revision, tokenizer, inference engine, decoding settings, seed όπου έχει επίδραση, missing ή unparseable outputs και ακριβής aggregation. Σε παραγωγικά συστήματα, η σωστή ερώτηση δεν είναι μόνο «ποιο μοντέλο έχει υψηλότερο μέσο score;» αλλά «ποια αποτυχία κοστίζει περισσότερο και πόσο συχνά αλλάζει η απόφαση όταν αλλάξει ένα λογικό μέρος του harness;».
Η αξιολόγηση πρέπει να συνδέεται με risk management και monitoring, όχι να τελειώνει στην επιλογή προμηθευτή. Το K-Bench δείχνει γιατί η καλή απάντηση ενός agent δεν αρκεί χωρίς έλεγχο του παραγόμενου artifact. Αντίστοιχα, ένα στατικό score δεν εγγυάται σωστή συμπεριφορά μέσα στο πραγματικό workflow.
Τα ευρήματα αφορούν τέσσερις multiple-choice benchmarks, 12 open-weight instruction-tuned μοντέλα και μεγέθη 3 έως 70 δισεκατομμυρίων παραμέτρων. Δεν δοκιμάστηκαν proprietary frontier models, open-ended generation, coding ή agentic tasks. Δεν είναι τεκμηριωμένο ότι οι ίδιες ποσοτικές επιδράσεις μεταφέρονται αμετάβλητες σε κάθε εταιρικό use case.
Υπήρχε επίσης κατασκευαστικό artifact στο TruthfulQA. Στα 679 items η σωστή απάντηση τοποθετήθηκε πρώτη στην αρχική σειρά. Η αφαίρεση του benchmark διατήρησε τα τρία βασικά claims και ενίσχυσε δύο, αλλά μείωσε τους champions από τέσσερις σε τρεις και άλλαξε το ελάχιστο Kendall correlation από −0,09 σε +0,03.
Το jointly robust subset ήταν μικρό, από 72 έως 336 items ανά γειτονικό ζεύγος. Η bootstrap interval είναι συμβατή με την ισοπαλία, αλλά δεν αποτελεί ανεξάρτητη απόδειξη όταν μία κατεύθυνση διαφωνίας έχει μηδενικό count. Η εργασία σωστά στηρίζει το claim κυρίως στους πραγματικούς αριθμούς διαφωνιών και δεν ισχυρίζεται ότι τα μοντέλα είναι αποδεδειγμένα ίσα.
Αν δύο μοντέλα πρόκειται να συγκριθούν για περιγραφές προϊόντων, customer support, ταξινόμηση αιτημάτων ή ανάλυση καμπανιών, το test set πρέπει να είναι κοινό και παγωμένο. Στη συνέχεια αξίζει να μεταβληθούν μόνο μία-μία οι πραγματικές επιλογές του production harness: system prompt, labels, format εξόδου, parser και τρόπος scoring. Η ομάδα πρέπει να δει όχι μόνο τον μέσο όρο αλλά ποια συγκεκριμένα tasks αλλάζουν νικητή.
Αν το επιχειρησιακό task είναι ανοικτού τύπου, η fragility grid του paper δεν μεταφέρεται αυτούσια. Η αρχή ελέγχου παραμένει χρήσιμη ως μεθοδολογική έμπνευση: versioned rubrics, πολλαπλές διατυπώσεις, σαφής parser policy, ανθρώπινο review σε δείγμα, cost-weighted metrics και αναφορά αβεβαιότητας. Τα behavioral tests για AI agents προσθέτουν ακριβώς αυτή τη διάσταση πέρα από την επιτυχία ενός τελικού answer.
Επτά βήματα για αξιολόγηση που αντέχει στην αλλαγή harness
Χρησιμοποιήστε αντιπροσωπευτικά, αποχαρακτηρισμένα tasks με σταθερές expected outcomes και ξεχωριστές κατηγορίες υψηλού ρίσκου.
Καταγράψτε checkpoint, provider revision, tokenizer, engine, decoding και ημερομηνία ώστε η αλλαγή harness να είναι η μόνη ενεργή μεταβλητή.
Δοκιμάστε τα prompt formats, labels, σειρά επιλογών, structured output και scoring rules που θα μπορούσαν πράγματι να χρησιμοποιηθούν στην παραγωγή.
Μην κρατάτε μόνο τον μέσο όρο. Βρείτε ποια tickets, προϊόντα ή intents αλλάζουν σωστό αποτέλεσμα ή αλλάζουν τον νικητή.
Ξεχωρίστε τη λανθασμένη γνώση από την αποτυχία format και καταγράψτε πώς κάθε parser μετατρέπει το output σε score.
Δώστε μεγαλύτερο βάρος σε επιστροφές, λανθασμένες υποσχέσεις, privacy failures ή κρίσιμα support cases αντί να βελτιστοποιείτε μόνο συνολική accuracy.
Νέο model version, prompt, parser ή knowledge base απαιτεί regression run, σύγκριση με το προηγούμενο band και σαφές rollback criterion.
Το αποτέλεσμα αυτής της διαδικασίας δεν είναι ένα «τέλειο» score. Είναι απόφαση με audit trail: ποιο μοντέλο επιλέχθηκε, σε ποιο εύρος διαμορφώσεων παρέμεινε ισχυρό, σε ποια tasks ήταν εύθραυστο και ποιος κίνδυνος έγινε αποδεκτός.
Η εργασία δεν ζητά να εγκαταλείψουμε τα benchmarks. Ζητά να πάψουμε να αντιμετωπίζουμε ένα μοναδικό score ως εγγενή ιδιότητα του μοντέλου. Όταν έγκυρες επιλογές του harness μετακινούν τόσο την ακρίβεια όσο και την κατάταξη, το leaderboard πρέπει να παρουσιάζει τη διαδικασία, το εύρος και τη σταθερότητα των items.
Για τον υπεύθυνο μιας επιχείρησης, η ασφαλής ερώτηση δεν είναι «ποιο μοντέλο είναι πρώτο;». Είναι «σε ποιες διαμορφώσεις παραμένει καλό, ποια tasks είναι σταθερά και πόσο αλλάζει η απόφαση όταν αλλάξει μια λογική επιλογή του evaluation;». Το harness δεν είναι υποσημείωση. Είναι μέρος του αποτελέσματος.
Από το leaderboard στο πραγματικό workflow
Αξιολογήστε AI μοντέλα με τα δικά σας tasks και ελεγχόμενο harness
Η TWO DOTS σχεδιάζει business-specific test sets, versioned prompts, parser checks, approval gates και monitoring ώστε η επιλογή μοντέλου να στηρίζεται στη σταθερότητα του πραγματικού workflow και όχι σε έναν απομονωμένο δημόσιο rank.
Συχνές ερωτήσεις
Είναι ο κώδικας και οι κανόνες που παρουσιάζουν το task στο μοντέλο, οργανώνουν τις επιλογές, παράγουν ή βαθμολογούν την απάντηση και μετατρέπουν το output σε score.
Δώδεκα open-weight instruction-tuned μοντέλα απάντησαν στα ίδια 3.679 items από ARC, HellaSwag, MMLU και TruthfulQA.
Χρησιμοποιήθηκαν 26 διαμορφώσεις από συνδυασμούς option order, prompt format και scoring method, με σταθερά items, weights και greedy decoding.
Το gemma4-31b κινήθηκε από 30,6% έως 88,6%, δηλαδή spread 58 ποσοστιαίων μονάδων, χωρίς αλλαγή στα weights ή στα items.
Η επιλογή generation έναντι likelihood scoring. Στον μεμονωμένο έλεγχο του άξονα παρέμενε robust κατά μέσο όρο μόνο το 31% της reference accuracy.
Όχι. Δηλώνει ρητά ότι δεν ισχυρίζεται ίση γενική ικανότητα ούτε απουσία σήματος στα benchmarks. Ελέγχει πόσο καλά στηρίζεται μια συγκεκριμένη κατάταξη στα σταθερά items.
Δεν έχει αποδειχθεί από αυτή τη μελέτη, η οποία περιορίζεται σε four-option multiple-choice benchmarks. Η ίδια μεθοδολογία ευαισθησίας μπορεί να εμπνεύσει νέα tests, όχι να μεταφέρει αυτούσια τα ποσοστά.
Πλήρη περιγραφή harness και scoring, score bands, robust-item ανάλυση, καταγραφή unparseable outputs και δοκιμή στο πραγματικό use case με σταθερά δεδομένα.
