Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
[email protected]
Έτοιμοι για το επόμενο βήμα;
Το K-Bench δείχνει γιατί η αξιολόγηση AI agents πρέπει να ελέγχει ακρίβεια, artifacts και overclaiming — όχι μόνο μια πειστική απάντηση.
Απάντηση πρώτα: όχι, μια άψογα διατυπωμένη απάντηση δεν αποδεικνύει ότι ένας AI agent έκανε σωστά τη δουλειά. Στο K-Bench 01, εννέα μοντέλα εκτέλεσαν 178 πραγματικά επιστημονικά αιτήματα σε ίδια sandboxes, όμως η επικοινωνία βαθμολογήθηκε κατά μέσο όρο με 7,33/10 και η επιστημονική ακρίβεια με 6,22/10.
Το πρακτικό μάθημα για μια επιχείρηση είναι να ελέγχει χωριστά το τελικό κείμενο, τα δεδομένα, τις πηγές, τα tool outputs και τα παραδοτέα αρχεία. Το K-Bench δεν δίνει μια καθολική κατάταξη μοντέλων: μετρά συγκεκριμένα συστήματα, σε ένα stock harness, με ένα run ανά task και τρεις LLM judges χωρίς ανθρώπινο expert baseline. Δείχνει όμως καθαρά γιατί η ευφράδεια δεν πρέπει να λειτουργεί ως proxy ορθότητας.
Πολλά benchmarks είναι σχεδιασμένα ώστε να βαθμολογούνται εύκολα: πολλαπλές επιλογές, προβλήματα με γνωστή λύση ή προσομοιώσεις με ελεγχόμενη δομή. Αυτά παραμένουν χρήσιμα για τη γνώση και τη συλλογιστική που μετρούν, αλλά δεν αναπαριστούν πλήρως ένα πραγματικό αίτημα. Ένας επιστήμονας μπορεί να ανεβάσει πίνακες, papers ή εικόνες, να ζητήσει ανάλυση με μισοδιατυπωμένο στόχο και να μην υπάρχει μία μοναδική σωστή απάντηση.
Το K-Bench 01 επιλέγει την αντίθετη ανταλλαγή: διατηρεί τα πρώτα μηνύματα χρηστών αυτούσια, χωρίς ανακατασκευή και χωρίς reference answer. Οι κριτές εξετάζουν τόσο το transcript όσο και το δέντρο αρχείων που άφησε κάθε run. Έτσι μια καλή περιγραφή δεν μπορεί από μόνη της να καλύψει έναν άδειο φάκελο, ένα ελλιπές spreadsheet ή κώδικα που δεν εκτελείται.
Αυτό φέρνει την αξιολόγηση πιο κοντά σε πραγματική αποδοχή εργασίας. Η ίδια αρχή ισχύει στο behavioral testing των AI agents: το κρίσιμο ερώτημα δεν είναι αν η απάντηση φαίνεται πειστική, αλλά αν το σύστημα πέτυχε το ζητούμενο, τήρησε τους περιορισμούς και άφησε επαληθεύσιμο αποτέλεσμα.
Απάντηση · Τι διαβάζει ο χρήστης
Δομή, σαφήνεια, γλώσσα και τόνος. Είναι σημαντικά για τη χρήση, αλλά δεν αποδεικνύουν επιστημονική ακρίβεια ή ολοκλήρωση.
Εργασία · Τι έκανε ο agent
Πηγές, υπολογισμοί, tool calls, sanity checks, χειρισμός δεδομένων και αναγνώριση αποτυχιών μέσα στο transcript.
Παραδοτέο · Τι μπορεί να χρησιμοποιηθεί
Αρχεία που ανοίγουν, σωστά δεδομένα, εκτελέσιμος κώδικας και αποτέλεσμα που καλύπτει το πραγματικό αίτημα.
Οι 178 εργασίες προήλθαν από δύο ομοιόμορφα τυχαία δείγματα live traffic μέσα σε μία εβδομάδα. Κάθε εργασία εκτελέστηκε μία φορά σε καθένα από εννέα frontier models, μέσα σε κοινό stock harness και ίδια Modal sandboxes. Το πείραμα ολοκλήρωσε 1.602 agent runs.
Τρεις language-model judges —gpt-5.6-sol, qwen3.8-max και grok-4.5— βαθμολόγησαν ανεξάρτητα κάθε run χωρίς να βλέπουν την ταυτότητα του διαγωνιζόμενου συστήματος. Διάβασαν το αίτημα, το scrubbed transcript, ένα deterministic execution digest, το inventory των artifacts και τα πραγματικά output files. Παρήγαγαν 4.806 assessments και 39.934 εφαρμοσμένες βαθμολογήσεις διαστάσεων ή συνολικού αποτελέσματος.
Οι οκτώ διαστάσεις ήταν εκπλήρωση αιτήματος, επιστημονική ακρίβεια, ποιότητα reasoning, χρήση εργαλείων, διαχείριση δεδομένων, ποιότητα artifacts, επικοινωνία και ειλικρίνεια/βαθμονόμηση. Το 8 ορίστηκε ως δουλειά που ένας domain scientist θα αποδεχόταν με μικρές διορθώσεις. Η ομάδα κατέγραψε επίσης 16 failure tags, μεταξύ άλλων fabricated results, missing artifacts, στατιστική κακοπρακτική, πρόωρη ολοκλήρωση, shallow analysis και overclaiming.
Τέσσερις αριθμοί που ορίζουν το K-Bench 01
Μετρήσεις του συγκεκριμένου traffic-derived benchmark· δεν είναι καθολικά ποσοστά απόδοσης όλων των AI agents.
Τα 125 από τα 178 αιτήματα, δηλαδή το 70%, περιείχαν τουλάχιστον ένα attachment. Οι δύο υπό συνθήκη διαστάσεις σημειώνονταν ως N/A όταν δεν υπήρχαν δεδομένα ή όταν η πρόζα ήταν το φυσικό παραδοτέο. Επομένως, το εύρημα ότι κάποια runs δεν παρήγαγαν αρχεία δεν σημαίνει ότι κάθε τέτοιο run απέτυχε· χρειάζεται να διαβαστεί μαζί με το αίτημα και το rubric.
Το gpt-5.6-sol είχε τον υψηλότερο pooled μέσο όρο, 8,04, αλλά το 95% bootstrap interval 7,80–8,23 περνούσε από το όριο του 8. Δύο από τους τρεις κριτές έβαλαν πρώτο το claude-opus-5. Οι συγγραφείς επομένως θεωρούν πιο αναπαραγώγιμη τη σχετική σειρά από το απόλυτο επίπεδο και χαρακτηρίζουν την κορυφή μη επιλυμένη.
Η διάκριση είναι ουσιώδης. Οι κριτές συμφωνούσαν αρκετά για τη σειρά, αλλά όχι για το πόσο ψηλά βρισκόταν η κλίμακα. Ο αυστηρότερος έκρινε πλήρως επιτυχημένο το 22,2% των runs και ο πιο επιεικής το 48,9%. Άρα ένα leaderboard χωρίς ανάλυση του judge panel, του rubric και του uncertainty μπορεί να δημιουργήσει ψευδαίσθηση ακρίβειας.
Για procurement, το σωστό ερώτημα δεν είναι μόνο «ποιο μοντέλο βγήκε πρώτο;». Χρειάζεται να εξεταστεί ποιο failure profile έχει κάθε σύστημα, με ποιους κριτές, σε ποιο harness και σε ποια εκδοχή. Τα model cards και η AI governance έχουν αξία όταν συνδέουν τα scores με protocol, ημερομηνία, thresholds, αβεβαιότητα και γνωστά κενά.
Στις 39.934 εφαρμοσμένες βαθμολογήσεις, το 47,6% βρέθηκε κάτω από το όριο 8. Η επιστημονική ακρίβεια είχε μέσο 6,22 και η επικοινωνία 7,33 με ίδιο παρονομαστή. Το κενό των 1,11 μονάδων εμφανίστηκε στην ίδια κατεύθυνση και στα εννέα μοντέλα.
Οι συγγραφείς ομαδοποίησαν χρήση εργαλείων, επικοινωνία και reasoning ως execution dimensions με μέσο 6,93. Η επιστημονική ακρίβεια, η ειλικρίνεια και η ποιότητα artifacts ως substance dimensions είχαν μέσο 6,34. Η ομαδοποίηση είναι ερμηνευτική και το χάσμα 0,59 εξαρτάται από αυτήν, ενώ η απευθείας σύγκριση ακρίβειας και επικοινωνίας είναι ισχυρότερη επειδή χρησιμοποιεί ακριβώς τα ίδια 4.806 assessments.
Για επιχειρήσεις που χρησιμοποιούν agents σε analytics, research, reporting ή αποφάσεις, το εύρημα μετακινεί το acceptance test. Η φυσική γλώσσα αξιολογείται για σαφήνεια, αλλά κάθε claim πρέπει να μπορεί να συνδεθεί με δεδομένα, υπολογισμό, πηγή ή αρχείο. Η πειστική μορφή δεν πρέπει να ανεβάζει μόνη της το confidence ενός reviewer.
Η ποιότητα artifacts ήταν η χαμηλότερη διάσταση συνολικά, με μέσο 5,50, και η ασθενέστερη για επτά από τα εννέα μοντέλα. Επιπλέον, 767 από τα 1.602 runs, δηλαδή το 47,9%, τελείωσαν χωρίς κανένα αρχείο στο output tree. Τα runs χωρίς αρχείο είχαν μέσο overall score 5,26, ενώ όσα άφησαν κάτι πίσω είχαν 6,68.
Το αποτέλεσμα δεν επιβραβεύει απλώς την ποσότητα. Runs με ένα ή δύο αρχεία είχαν μέσο 6,87 και runs με 11 ή περισσότερα 6,64. Η ουσιαστική ασυνέχεια βρισκόταν ανάμεσα στο «τίποτα» και στο «κάτι», όχι ανάμεσα σε λίγα και πολλά αρχεία. Ένα artifact έχει αξία μόνο όταν είναι σωστό, πλήρες και χρήσιμο.
Για ένα e-commerce ή marketing team, το αντίστοιχο τεστ είναι πρακτικό: ανοίγει το CSV; έχει τις σωστές στήλες; περιλαμβάνει όλο το ζητούμενο date range; εκτελείται ο κώδικας; συμφωνούν τα totals και τα γραφήματα με τα raw data; Η ευγένεια και η καλή δομή του μηνύματος δεν αποδεικνύουν κανένα από αυτά.
Το ίδιο μάθημα εμφανίζεται και σε benchmarks web agents, όπου το τελικό state μετρά περισσότερο από μια εύλογη περιγραφή ενεργειών. Το MAG για AI agents στο web δείχνει γιατί η rendered κατάσταση, τα side effects και το πραγματικό αποτέλεσμα πρέπει να ελέγχονται μαζί με το reasoning trace.
Το overclaiming επισημάνθηκε στο 31,4% των assessments, περισσότερο από κάθε άλλο failure tag. Ακολούθησαν missing artifacts στο 22,6%, shallow analysis στο 17,7%, truncated run στο 16,4% και premature completion στο 12,5%. Τα tags δεν ήταν αμοιβαία αποκλειόμενα και προέρχονταν από τους ίδιους judges που έβαζαν τα scores.
Σε επίπεδο run, τουλάχιστον ένας από τους τρεις κριτές επισήμανε overclaiming στο 54,4% των runs, δύο ή περισσότεροι στο 26,9% και όλοι οι κριτές στο 12,9%. Αυτές οι τιμές δεν είναι αντιφάσεις: απαντούν σε διαφορετικό aggregation rule. Είναι υπενθύμιση ότι κάθε failure rate χρειάζεται σαφή μονάδα ανάλυσης.
Το πρόβλημα είναι επικίνδυνο ακριβώς επειδή μπορεί να συνυπάρχει με καλή επικοινωνία. Ένα σύστημα μπορεί να περιγράψει μια ανάλυση ως ολοκληρωμένη ενώ λείπουν αρχεία, έχουν μείνει unchecked assumptions ή η μέθοδος δεν στηρίζει το συμπέρασμα. Η κατάλληλη αντίδραση δεν είναι γενική δυσπιστία προς την AI, αλλά traceability: σύνδεση κάθε claim με πηγή, υπολογισμό, tool output ή παραδοτέο που μπορεί να επαληθευτεί.
Το benchmark περιλάμβανε πραγματικά συνημμένα, με το .docx να είναι ο συχνότερος τύπος. Οι κριτές έλεγχαν αν τα αρχεία φορτώθηκαν, αναλύθηκαν σωστά, ελέγχθηκαν για σχήματα, εύρη και ελλείψεις και αν η τελική ανάλυση έμεινε πιστή στα δεδομένα. Αυτό διαχωρίζει την απλή παραγωγή κειμένου από πραγματική agentic εργασία.
Το overclaiming ήταν συχνότερο στα tasks με attachments: 33,9% των assessments έναντι 25,4% χωρίς αρχεία. Η συσχέτιση δεν αποδεικνύει ότι το attachment προκαλεί υπερβολή. Τα requests με αρχεία μπορούν να είναι ταυτόχρονα πιο σύνθετα, πιο ασαφή και πιο απαιτητικά ως προς το domain.
Η μελέτη εξετάζει επίσης μήκος prompt και δυσκολία, αλλά αποφεύγει έναν εύκολο αιτιώδη ισχυρισμό. Η δυσκολία ενός πραγματικού request δεν περιγράφεται από έναν μόνο αριθμό: μπορεί να προκύπτει από ασάφεια, ειδικότητα πεδίου, πολλά αρχεία, κρυμμένους περιορισμούς ή την ανάγκη παραγωγής λειτουργικού αποτελέσματος.
Σε μια επιχειρησιακή ροή, οι δοκιμές πρέπει να κρατούν την πολυπλοκότητα που έχει σημασία: ελλιπή exports, πολλαπλές πηγές, αλλαγές schema, αντιφατικές οδηγίες και ανάγκη ανθρώπινου handoff. Η ελεγχόμενη επικοινωνία μεταξύ AI agents βοηθά μόνο όταν κρίσιμο evidence βγαίνει στην επιφάνεια και επαληθεύεται· περισσότερα μηνύματα δεν ισοδυναμούν με μεγαλύτερη ακρίβεια.
Η εκτέλεση σε sandbox επιτρέπει να μετρηθούν χρόνος, χρήση εργαλείων και κόστος μαζί με την ποιότητα. Η συσχέτιση ανάμεσα στα tool calls και στο score ήταν θετική αλλά ασθενής, με Spearman ρ=0,27. Ένας agent μπορεί να κάνει πολλές κλήσεις, να περιφέρεται ανάμεσα σε αποτυχημένες προσεγγίσεις ή να παραδώσει πολλά αρχεία χωρίς να λύσει σωστά το πρόβλημα.
Αντίθετα, η αυτοεπαλήθευση έδωσε ένα πιο άμεσο, deterministic σήμα. Το claude-opus-5 πραγματοποίησε κατά μέσο όρο 23,9 verification actions ανά run, έναντι 0,58 για το gemma-4-31b-it. Η σειρά των μοντέλων ως προς verification frequency ακολούθησε στενά τη σειρά του score, χωρίς να χρειάζεται LLM judge για την καταμέτρηση.
Για procurement και operations, τα KPIs δεν πρέπει να ανταμείβουν απλώς token spend, διάρκεια ή αριθμό ενεργειών. Χρειάζονται outcome checks: αν εκπληρώθηκε το αίτημα, αν η μέθοδος είναι σωστή, αν τα δεδομένα χρησιμοποιήθηκαν πιστά, αν το παραδοτέο ανοίγει και αν ο agent ξαναέλεγξε κρίσιμα outputs.
Το K-Bench δεν αντιμετωπίζει τον LLM judge ως αόρατη αλήθεια. Μελετά τη συμφωνία, τη μετατόπιση κλίμακας, τις split decisions και την περίπτωση όπου κριτές βαθμολογούν runs της δικής τους model family. Η ουσιαστική διαπίστωση είναι ότι η σειρά αναπαράγεται καλύτερα από το απόλυτο score.
Δύο από τους τρεις κριτές ήταν και διαγωνιζόμενα μοντέλα. Μετά από calibration adjustment, το gpt-5.6-sol έδινε στα δικά του runs πλεονέκτημα +0,83 μονάδων σε σχέση με το πώς τοποθετούσαν την ίδια διαφορά οι άλλοι judges. Το qwen3.8-max, ο μόνος judge που δεν ήταν contestant, έβαλε πρώτο το claude-opus-5.
Αυτή η αρχή αφορά κάθε εταιρικό evaluation. Αν αλλάξει ο judge, το prompt ή το rubric, μπορεί να αλλάξει το επίπεδο. Η επιχείρηση χρειάζεται σταθερές άγκυρες, human review σε δείγμα, versioning, inter-rater checks και αναφορές αβεβαιότητας. Διαφορετικά, μια μεταβολή score μπορεί να είναι αλλαγή του οργάνου και όχι του μοντέλου.
Δεν υπάρχει calibration με ανθρώπους ούτε expert baseline, άρα το 8 δεν αποδεικνύει ότι ένας domain scientist θα έδινε την ίδια βαθμολογία. Κάθε run εκτελέστηκε μία φορά και τα bootstrap intervals καλύπτουν αβεβαιότητα του δείγματος των 178 sessions, όχι run-to-run variation, διαφορά κριτών ή άλλη σύνθεση panel. Τα αποτελέσματα περιγράφουν αυτά τα models, σε αυτά τα tasks, στο stock pi 0.84.0 harness και στις ημερομηνίες της καμπάνιας.
Το δείγμα δεν είναι τυχαίο δείγμα όλης της επιστήμης. Προέρχεται από traffic ενός προϊόντος, με άνιση εκπροσώπηση τεσσάρων broad domains. Είκοσι δύο sessions στα οποία τουλάχιστον ένα μοντέλο αρνήθηκε αποκλείστηκαν για να διατηρηθεί complete-case σύγκριση. Έτσι το benchmark δεν καλύπτει καλά αιτήματα κοντά στα όρια ασφάλειας των παρόχων.
Οι συνεδρίες χρησιμοποιήθηκαν βάσει των όρων της K-Dense, χωρίς ξεχωριστή ενημέρωση ή ατομικό opt-in για την καμπάνια. Τα αιτήματα και τα attachments στάλθηκαν όπως υποβλήθηκαν σε εννέα τρίτους παρόχους, χωρίς content-level de-identification ή audit identifiers. Οι endpoints ήταν ρυθμισμένοι για zero retention, αλλά αυτό δεν αντικαθιστά data minimization, redaction και ρητό governance σε μια εταιρική υλοποίηση.
Όλοι οι συγγραφείς εργάζονται στην K-Dense, της οποίας το προϊόν παρείχε το corpus και της οποίας είναι το harness και το rubric. Αυτό δεν ακυρώνει τα ευρήματα, αλλά αποτελεί σχετικό competing interest. Σε παραγωγική επιλογή μοντέλου, ένα εσωτερικό benchmark χρειάζεται ανεξάρτητα acceptance tests πάνω στα δικά σας δεδομένα και failure costs.
Go/no-go για επιχειρησιακό AI agent
Αποδεχτείτε εργασία μόνο όταν η απάντηση και τα artifacts συμφωνούν
Go σημαίνει πλήρες παραδοτέο, traceable claims, περασμένα deterministic checks, σωστό χειρισμό δεδομένων, επαρκή uncertainty και ανθρώπινη έγκριση όπου το κόστος λάθους είναι υψηλό. No-go σημαίνει άδειο ή χαλασμένο artifact, unverifiable claim, missing range, αποτυχημένο formula, μη ελεγμένη πηγή ή τελική απάντηση που δηλώνει περισσότερα από όσα έγιναν.
Η επιχειρησιακή εφαρμογή των ευρημάτων είναι αναλυτική προέκταση και όχι δοκιμή του paper σε e-commerce. Ένα σοβαρό stack ξεκινά από πραγματικά tasks της εταιρείας, frozen test set, σαφές rubric και acceptance criteria για το τελικό state. Κάθε αποτέλεσμα πρέπει να συνοδεύεται από model version, harness version, permissions, judge setup και παραδείγματα failures.
Επτά βήματα για evaluation που μετρά τη δουλειά
Διαλέξτε εργασίες με το πραγματικό μείγμα ασάφειας, attachments, εξαιρέσεων και επιχειρησιακού κόστους, αφού πρώτα αφαιρέσετε περιττά προσωπικά ή εμπιστευτικά δεδομένα.
Κρατήστε σταθερά model identifier, system prompt, tools, permissions, libraries, network access και test data ώστε μια αλλαγή score να είναι ερμηνεύσιμη.
Βαθμολογήστε σαφήνεια, ακρίβεια, κάλυψη, data handling, ειλικρίνεια και artifact quality ως διαφορετικούς άξονες, όχι ως ένα αδιαφανές συνολικό score.
Κάντε parse αρχεία, τρέξτε formulas και code, ελέγξτε schemas, totals, ranges, links και απαιτούμενες μορφές. Η ύπαρξη αρχείου δεν αποδεικνύει χρησιμότητα.
Ζητήστε παραπομπή σε πηγή, υπολογισμό, tool output ή γραμμή δεδομένων και ανιχνεύστε overclaiming, fabricated results και premature completion.
Μετρήστε συμφωνία, αυστηρότητα και οικογενειακή προκατάληψη των LLM judges απέναντι σε ειδικούς του domain και κρατήστε split decisions ορατές.
Ορίστε ποια failures μπλοκάρουν το output, πότε απαιτείται ανθρώπινη επιβεβαίωση και πώς επαναφέρεται η προηγούμενη έκδοση όταν νέο μοντέλο ή harness υποβαθμίζει κρίσιμα cases.
Για marketing, περιεχόμενο και analytics, οι έλεγχοι μπορούν να περιλαμβάνουν εγκυρότητα URLs, αντιστοίχιση claims με πηγές, συμφωνία totals με raw data, εκτέλεση formulas, σωστή γλώσσα και πλήρη παράδοση αρχείων. Για customer-facing agents χρειάζονται επιπλέον tests κλιμάκωσης, privacy, refusal behavior και human handoff.
Τα agentic tests δεν αντικαθιστούν τους deterministic ελέγχους. Όπως και σε ένα ασφαλές website που εκθέτει λειτουργίες σε AI agents, schema validation, business rules, permissions, idempotency και τελικό state πρέπει να ελέγχονται με κανονικά unit, integration και end-to-end tests.
Το K-Bench δείχνει ότι πραγματικά επιστημονικά αιτήματα παραμένουν δύσκολα ακόμη και για ισχυρά μοντέλα. Κανένα σύστημα δεν ξεπερνά αδιαμφισβήτητα το acceptable threshold και στους τρεις κριτές. Η σχετική κατάταξη είναι σταθερότερη από το απόλυτο επίπεδο, ενώ η επιστημονική ακρίβεια, η ποιότητα artifacts και το overclaiming αποκαλύπτουν αδυναμίες που μια απλή ανάγνωση του τελικού κειμένου θα έχανε.
Το benchmark έχει και ουσιαστικούς περιορισμούς: εσωτερικό corpus, LLM-only judging, μία προσπάθεια ανά run, ιδιωτικά tasks, complete-case exclusion και μη de-identified replay προς τρίτους παρόχους. Οι περιορισμοί δεν είναι υποσημείωση· καθορίζουν πού μπορεί και πού δεν μπορεί να μεταφερθεί το αποτέλεσμα.
Για τους υπεύθυνους AI, το κεντρικό μάθημα είναι απλό: αξιολογήστε τη δουλειά, όχι μόνο την απάντηση. Ανοίξτε τα αρχεία, εκτελέστε τον κώδικα, ελέγξτε τα δεδομένα, ζητήστε τεκμήρια για τους ισχυρισμούς και μετρήστε αν το αποτέλεσμα ικανοποιεί το πραγματικό αίτημα. Η ευφράδεια είναι χρήσιμη· δεν είναι απόδειξη ακρίβειας.
Από το demo σε μετρήσιμη αξιοπιστία
Σχεδιάστε AI αυτοματισμούς με acceptance tests για το πραγματικό αποτέλεσμα
Η TWO DOTS χαρτογραφεί τα κρίσιμα tasks, ορίζει rubrics και deterministic checks, ελέγχει artifacts, permissions και handoffs και συνδέει κάθε AI workflow με monitoring, ανθρώπινη εποπτεία και rollback.
Συχνές ερωτήσεις
Είναι benchmark με 178 πρώτα αιτήματα από πραγματικές συνεδρίες επιστημονικών χρηστών. Εννέα μοντέλα τα εκτέλεσαν σε ίδια sandboxes και τρεις LLM judges αξιολόγησαν το transcript και τα παραγόμενα αρχεία.
Ολοκληρώθηκαν 1.602 runs. Τρεις κριτές παρήγαγαν 4.806 assessments και συνολικά 39.934 εφαρμοσμένες βαθμολογήσεις διαστάσεων ή συνολικού αποτελέσματος.
Το gpt-5.6-sol είχε τον υψηλότερο pooled μέσο όρο, 8,04, αλλά το 95% interval περνούσε το όριο 8 και δύο από τους τρεις κριτές έβαλαν πρώτο το claude-opus-5. Η κορυφή παραμένει μη επιλυμένη.
Η επικοινωνία είχε μέσο 7,33 και η επιστημονική ακρίβεια 6,22, με την επικοινωνία υψηλότερη και στα εννέα μοντέλα. Η πειστική διατύπωση επομένως δεν αρκεί ως ένδειξη ορθότητας.
Το overclaiming, στο 31,4% των assessments. Επειδή τα failure tags ήταν judge-assigned και όχι αμοιβαία αποκλειόμενα, κάθε ποσοστό πρέπει να διαβάζεται μαζί με τη μονάδα aggregation.
Επειδή ένας agent μπορεί να περιγράψει καλά μια εργασία χωρίς να έχει παραδώσει λειτουργικό κώδικα, σωστά δεδομένα ή τα ζητούμενα αρχεία. Το 47,9% των runs τελείωσε χωρίς αρχείο στο output tree, αν και όχι κάθε task απαιτούσε artifact.
Όχι. Ήταν τρία language models. Δεν υπήρχε human calibration ή expert baseline, επομένως το απόλυτο επίπεδο των scores εξαρτάται από το judge panel και το rubric.
Όχι με νέα μοντέλα στα ίδια tasks, επειδή prompts, attachments, transcripts και artifacts δεν δημοσιεύονται. Τα de-identified scores, το analysis code και το rubric επιτρέπουν έλεγχο των υπολογισμών, όχι πλήρη επανάληψη της καμπάνιας.
Πηγές
