BenchBench-Protocol: πόσο καλά προσαρμόζουν τα AI τα πραγματικά εργαστηριακά πρωτόκολλα

Το BenchBench-Protocol μετατρέπει 149 πραγματικές αλλαγές πρωτοκόλλων σε benchmark και δείχνει τι χρειάζονται τα αξιόπιστα AI evals για επιχειρήσεις.

Μπορεί ένα μοντέλο τεχνητής νοημοσύνης να πάρει ένα δημοσιευμένο εργαστηριακό πρωτόκολλο και να το προσαρμόσει σωστά σε ένα νέο πείραμα; Το BenchBench-Protocol απαντά με έναν ασυνήθιστα πρακτικό τρόπο: δεν ζητά από ειδικούς να επινοήσουν θεωρητικές ερωτήσεις, αλλά ανακατασκευάζει 149 εργασίες από αλλαγές που έκαναν πραγματικοί επιστήμονες κατά τη διάρκεια πειραμάτων.

Η εικόνα που προκύπτει είναι χρήσιμη πολύ πέρα από το wet lab. Το ισχυρότερο από τα εννέα μοντέλα έφτασε μέσο normalized rubric score 59,2%, ενώ τα υπόλοιπα κινήθηκαν από 34,1% έως 47,1%. Ακόμη και όταν επιλέγεται η καλύτερη από δέκα προσπάθειες, το benchmark δεν κορέστηκε. Για επιχειρήσεις που αναθέτουν σε AI σύνθετες διαδικασίες, το μήνυμα είναι σαφές: η εύλογη απάντηση δεν είναι το ίδιο πράγμα με την απάντηση που σέβεται όλες τις εξαρτήσεις μιας πραγματικής ροής.

Γιατί η τροποποίηση ενός πρωτοκόλλου είναι δύσκολο τεστ

Η προσαρμογή ενός εργαστηριακού πρωτοκόλλου δεν είναι άσκηση απλής ανάκλησης γνώσης. Μια αλλαγή σε αντιδραστήριο, κλίμακα, όργανο ή δείγμα μπορεί να επηρεάσει προηγούμενα βήματα, ελέγχους, μετρήσεις και επόμενες αποφάσεις. Η σωστή απάντηση πρέπει επομένως να παρακολουθεί τις συνέπειες της αλλαγής σε όλη την ακολουθία.

Οι συγγραφείς υποστηρίζουν ότι πολλά υπάρχοντα life-science benchmarks χρησιμοποιούν ρεαλιστικές αλλά expert-authored εργασίες. Αυτό εξασφαλίζει επιστημονική ποιότητα, όχι όμως κατ’ ανάγκη την ίδια κατανομή προβλημάτων που συναντά ένας επιστήμονας όταν περιορίζεται από διαθέσιμα αντιδραστήρια, πρόσβαση σε όργανα και προηγούμενα αποτελέσματα. Το BenchBench-Protocol συμπληρώνει αυτή την προσέγγιση με πραγματικές τροποποιήσεις.

Πώς μετατράπηκαν πραγματικές αλλαγές σε 149 εργασίες

Η ομάδα συνέκρινε δημοσιευμένα πρωτόκολλα με εκδόσεις που είχαν τροποποιήσει επιστήμονες στην πλατφόρμα Benchling. Οι διαφορές ανάμεσα στις δύο εκδόσεις έδωσαν τη βάση τόσο για το ερώτημα όσο και για τα κριτήρια βαθμολόγησης. Έτσι το ground truth δεν είναι απλώς μια πιθανή καλή απάντηση· συνδέεται με την αλλαγή που πράγματι εφαρμόστηκε και με τις downstream συνέπειές της.

Το τελικό corpus περιλαμβάνει 149 tasks από 96 πρωτόκολλα και εννέα κλάδους wet-lab βιολογίας. Κάθε task δίνει στο μοντέλο ένα φυσικά διατυπωμένο ερώτημα σε πρώτο πρόσωπο και το αρχικό πρωτόκολλο. Το μοντέλο επιστρέφει ελεύθερο κείμενο μαζί με αιτιολόγηση, ενώ η χρήση εργαλείων αναζήτησης επιτρέπεται σύμφωνα με τη ρύθμιση κάθε οικογένειας μοντέλων.

Η κάλυψη δεν περιορίζεται σε έναν τύπο εργαστηρίου

Το μεγαλύτερο τμήμα αφορά βιοχημεία και καθαρισμό πρωτεϊνών, με 32 tasks ή 21,5%. Ακολουθούν cell culture και cell-based assays με 27 tasks, molecular biology και cloning με 26, staining, imaging και cytometry με 24, και genomics, transcriptomics και sequencing με 19. Υπάρχουν ακόμη 14 εργασίες μικροβιολογίας, τέσσερις προετοιμασίας αντιδραστηρίων, δύο για model organisms ή primary tissue και μία χημικής σύνθεσης.

Οι ανισότητες στο πλήθος έχουν σημασία. Ένας μέσος όρος σε domain με μία ή δύο εργασίες δεν έχει την ίδια σταθερότητα με έναν μέσο όρο σε domain με δεκάδες tasks. Οι ίδιοι οι συγγραφείς παρουσιάζουν confidence intervals όπου είναι εφικτό και δεν ισχυρίζονται ότι το benchmark καλύπτει ολόκληρο το εύρος των αλλαγών που γίνονται σε κάθε εργαστήριο.

Επτά είδη κρίσης που απαιτούν διαφορετική σκέψη

Οι εργασίες ταξινομήθηκαν και με βάση την κύρια πρόθεσή τους. Το plan audit καλύπτει 38 tasks: το μοντέλο πρέπει να εντοπίσει τι λείπει, τι είναι ασυνεπές ή τι δεν υποστηρίζεται. Η ερμηνεία μετρήσεων και αποτελεσμάτων καλύπτει 35, το troubleshooting 29 και το recordkeeping 23. Μικρότερες κατηγορίες είναι η προσαρμογή διαδικασίας με 14, η ποσοτική διατύπωση με έξι και ο σχεδιασμός follow-up πειράματος με τέσσερις.

Η διάκριση αυτή δείχνει γιατί ένας ενιαίος δείκτης δεν εξηγεί όλη την ικανότητα. Άλλο είναι να υπολογίζει ένα μοντέλο μια ποσότητα και άλλο να γνωρίζει ποια απόκλιση πρέπει να καταγραφεί ώστε ένα πείραμα να παραμένει αναπαραγώγιμο. Η ποιοτική ανάλυση των συγγραφέων υποδεικνύει ότι τα μοντέλα είναι συγκριτικά καλύτερα όταν συνδέουν πειραματικά δεδομένα με συμπεράσματα και δυσκολεύονται περισσότερο όταν χρειάζεται άρρητη γνώση ή κρίση για το «πιθανότερο» και το «καλύτερο».

Η ποιότητα των tasks ελέγχθηκε από επιστήμονες

Κάθε εργασία εξετάστηκε από τουλάχιστον δύο ανεξάρτητους reviewers με PhD σε σχετικό πεδίο και τουλάχιστον τρία χρόνια εμπειρίας στον πάγκο. Η αξιολόγηση κάλυψε συνάφεια ερώτησης, επιστημονική ορθότητα, βάθος συλλογισμού του rubric, ακρίβεια rubric και συνολική ποιότητα. Στο τελικό dataset κρατήθηκαν μόνο tasks που βαθμολογήθηκαν ως “Very Strong” ή “Excellent” στα βασικά κριτήρια.

Τα rubrics είναι σταθμισμένα. Κάθε κριτήριο βαθμολογείται με 0, 1 ή 2 και διαθέτει βάρος ανάλογο με τη σημασία του. Το normalized score είναι το άθροισμα των σταθμισμένων επιδόσεων προς το μέγιστο διαθέσιμο σύνολο. Η coarse κλίμακα επιλέχθηκε για μεγαλύτερη σταθερότητα του LLM judge, όχι επειδή αποτυπώνει κάθε λεπτή διαφορά ποιότητας.

Η λογική αυτή συγγενεύει με τη βασική αρχή ότι η επιτυχία ενός AI agent δεν αρκεί χωρίς behavioral testing. Το κρίσιμο δεν είναι μόνο αν ολοκληρώθηκε μια εργασία, αλλά ποια συμπεριφορά θεωρείται αποδεκτή, ποια εξάρτηση δεν επιτρέπεται να χαθεί και πώς τεκμηριώνεται η απόφαση.

Εννέα μοντέλα, δέκα προσπάθειες ανά task

Αξιολογήθηκαν Claude Opus 5, τρία GPT-5.6 μοντέλα —Sol, Terra και Luna—, Gemini 3.6 Flash, Grok 4.5, Kimi K3, GLM 5.2 και Inkling. Όλα έτρεξαν στο υψηλότερο διαθέσιμο reasoning setting και έγιναν δέκα attempts ανά task. Συνολικά, αυτό σημαίνει 1.490 προσπάθειες για κάθε μοντέλο.

Τα κλειστά μοντέλα είχαν τα first-party search tools των παρόχων τους, ενώ τα open models που σερβίρονταν μέσω Baseten χρησιμοποιούσαν Exa σε “auto” effort. Η διαφορά εργαλείων αποτελεί περιορισμό της σύγκρισης. Οι graders δεν είχαν πρόσβαση σε web search ή άλλα εργαλεία. Γι’ αυτό το αποτέλεσμα πρέπει να διαβάζεται μαζί με το evaluation setup, όπως εξηγεί και η ανάλυση για το πώς το harness μπορεί να αλλάξει τον νικητή ενός AI benchmark.

Το 59,2% δεν είναι νίκη χωρίς αστερίσκους

Το Claude Opus 5 ήταν πρώτο με 59,2% και 95% confidence interval 56,8%–61,5%. Τα υπόλοιπα μοντέλα κυμάνθηκαν από 34,1% έως 47,1%. Οι συγγραφείς επισημαίνουν ότι απομένει τουλάχιστον 40% ανεκμετάλλευτο rubric credit ανάμεσα στις οικογένειες μοντέλων, άρα το benchmark αφήνει ουσιαστικό χώρο για μελλοντική πρόοδο.

Το αποτέλεσμα δεν ισοδυναμεί με ποσοστό επιτυχίας πραγματικών πειραμάτων. Μετρά πόσο καλά οι απαντήσεις κάλυψαν σταθμισμένα κριτήρια για την τροποποίηση πρωτοκόλλων. Η μελέτη δεν έβαλε τα μοντέλα να εκτελέσουν τα πειράματα και δεν μέτρησε αν αύξησαν yield, ποιότητα ή ασφάλεια στον πάγκο.

Τι αλλάζει όταν ζητάς δέκα απαντήσεις αντί για μία

Η expected best-of-k ανάλυση προσομοιώνει την περίπτωση όπου ένας επιστήμονας συγκρίνει πολλές υποψήφιες απαντήσεις. Στο k=10, το Claude Opus 5 ανεβαίνει από 59,2% σε 75,3%, το Kimi K3 από 45,7% σε 62,8% και το GPT-5.6 Sol από 47,1% σε 57,5%. Το Kimi K3 έτσι ξεπερνά το Sol, παρότι σε μία προσπάθεια ήταν ελαφρώς χαμηλότερα.

Η εξήγηση των συγγραφέων είναι ότι το Sol έδινε πιο συνεπείς απαντήσεις και ακολουθούσε καλύτερα ακριβείς περιορισμούς, ενώ το Kimi είχε μεγαλύτερη διακύμανση: παρήγαγε τόσο πιο αδύναμες όσο και πιο πλήρεις απαντήσεις. Η επιλογή της καλύτερης από δέκα ανταμείβει αυτή τη βαριά άνω ουρά. Όμως πρόκειται για oracle selection, δηλαδή για θεωρητικό ανώτατο όριο αν κάποιος μπορούσε να αναγνωρίζει πάντα την καλύτερη απάντηση.

Η επανάληψη δεν λύνει το πρόβλημα αξιολόγησης

Για μια επιχείρηση, το best-of-k είναι δελεαστικό: δημιουργείς πολλές απαντήσεις και κρατάς την καλύτερη. Το κρίσιμο ερώτημα είναι ποιος την επιλέγει. Αν η επιλογή γίνεται από άνθρωπο με βαθιά expertise, αυξάνεται το κόστος και ο χρόνος. Αν γίνεται από δεύτερο μοντέλο, μεταφέρεις το ρίσκο στον selector. Η μελέτη δείχνει το πιθανό όφελος της ποικιλίας, όχι μια αυτόματη μέθοδο παραγωγής αξιόπιστης απόφασης.

Υπάρχει και κόστος inference. Οι δοκιμές έγιναν σε maximum reasoning settings, με συχνή αναζήτηση και μεγάλο token volume. Η performance–cost frontier περιλάμβανε GPT-5.6 Luna, Kimi K3 και Claude Opus 5, αλλά οι αριθμοί κόστους εξαιρούσαν web search και hosted-tool charges. Επομένως, κάθε production ομάδα χρειάζεται δικό της cost model και μέτρηση AI ROI στην αξία της πραγματικής εργασίας, όχι μόνο στο κόστος των tokens.

Πού απέτυχαν τα outputs πριν καν βαθμολογηθούν

Αποτυχημένες προσπάθειες λόγω λάθος format ή refusal πήραν μηδενική βαθμολογία. Το GLM 5.2 είχε 181 misformatted outputs σε 1.490 προσπάθειες, δηλαδή 12,1%. Το Kimi K3 είχε 62 ή 4,2%, το Inkling 28 ή 1,9% και το Grok 10 ή 0,7%. Το Gemini 3.6 Flash αρνήθηκε 106 φορές, ποσοστό 7,1%.

Claude Opus 5 και τα τρία GPT-5.6 μοντέλα παρήγαγαν valid response και στις 1.490 προσπάθειες. Για production workflows, αυτή η διάσταση είναι εξίσου πρακτική με τον μέσο δείκτη ποιότητας: μια ισχυρή αλλά μη έγκυρη απάντηση μπορεί να διακόψει pipeline, να απαιτήσει retry ή να αφήσει downstream σύστημα χωρίς δεδομένα.

Το LLM-as-a-judge χρειάζεται δικό του audit

Όλες οι προσπάθειες βαθμολογήθηκαν με GPT-5.6 Terra σε medium reasoning. Σε subset 20 tasks, η επαναβαθμολόγηση με Claude Opus 5 έδωσε exact agreement 81,2% και συμφωνία εντός μίας βαθμίδας 99,95%. Ωστόσο, το Opus ήταν ελαφρώς πιο επιεικές, με pooled αύξηση 0,057 στο normalized score.

Αυτό δεν ακυρώνει τα αποτελέσματα, αλλά δείχνει ότι ο grader είναι μέρος του measurement system. Η τριβάθμια κλίμακα περιορίζει μεταβλητότητα, ενώ τα κριτήρια παρουσιάζονται ξεχωριστά στον judge. Παρ’ όλα αυτά, η ανοιχτή απάντηση δεν μετατρέπεται σε απόλυτα αντικειμενικό αριθμό. Ο έλεγχος με εναλλακτικό grader είναι καλό πρότυπο και για εταιρικά evals.

Η ανάγκη για δεύτερο έλεγχο γίνεται ακόμη πιο καθαρή όταν η AI καλείται να κρίνει την AI. Ένα πρακτικό audit συγκρίνει graders, εντοπίζει συστηματική επιείκεια ή αυστηρότητα και κρατά human review για τις κατηγορίες όπου η διαφωνία αλλάζει επιχειρησιακή απόφαση.

Τι σημαίνει για AI agents σε επιχειρηματικές διαδικασίες

Το σημαντικότερο μάθημα είναι ότι τα evals πρέπει να προέρχονται από πραγματικές αλλαγές εργασίας. Για ένα e-commerce αυτό μπορεί να σημαίνει αιτήματα πελατών που ανάγκασαν την ομάδα να αλλάξει fulfillment flow. Για ένα marketing team, briefs που εξελίχθηκαν λόγω brand constraints, καναλιού ή διαθέσιμων assets. Για customer support, tickets όπου μια αλλαγή πολιτικής είχε downstream συνέπειες σε refund, inventory και επικοινωνία.

Η μεταφορά αυτή είναι ανάλυση και όχι εύρημα του paper. Βασίζεται όμως στη μεθοδολογική αρχή του: σύγκρινε την αρχική διαδικασία με την πραγματική προσαρμογή και μετέτρεψε τις διαφορές σε task και weighted rubric. Έτσι ένα εσωτερικό benchmark μπορεί να ελέγχει όχι μόνο αν η απάντηση ακούγεται σωστή, αλλά αν καλύπτει τις συγκεκριμένες εξαρτήσεις που ο οργανισμός γνωρίζει ότι μετρούν.

Για παράδειγμα, ένα customer-support agent δεν αρκεί να γράψει ευγενική απάντηση. Πρέπει να αναγνωρίζει πότε μια αλλαγή επιστροφής επηρεάζει πληρωμή, απόθεμα, courier, CRM και επόμενη επικοινωνία. Η επιλογή εργαλείου έχει νόημα μόνο όταν συνδεθεί με τέτοια σενάρια· αυτό είναι το ουσιαστικό φίλτρο και σε μια σύγκριση AI agents για customer support.

Ένα πρακτικό σχέδιο αξιολόγησης χωρίς ψεύτικη βεβαιότητα

Ξεκίνα από version histories, resolved tickets και εγκεκριμένες αλλαγές διαδικασιών. Αφαίρεσε ευαίσθητα δεδομένα και κράτησε την αρχική κατάσταση, το αίτημα αλλαγής, το τελικό αποτέλεσμα και τις συνέπειες που έπρεπε να ληφθούν υπόψη. Ζήτησε από domain experts να ελέγξουν αν το task είναι απαντήσιμο και να ορίσουν λίγα, σαφή, σταθμισμένα κριτήρια.

Έπειτα μέτρησε πολλαπλές προσπάθειες, όχι μόνο ένα prompt. Κατέγραψε validity rate, μέση επίδοση, διακύμανση, failures ανά είδος εργασίας και κόστος. Μην θεωρείς το best-of-k production αποτέλεσμα χωρίς αξιόπιστο selection mechanism. Τέλος, έλεγξε ένα subset με δεύτερο grader και ανθρώπους, ιδιαίτερα όταν ένα σφάλμα μπορεί να επηρεάσει ασφάλεια, συμμόρφωση ή πελάτες.

Η ίδια πειθαρχία μετατρέπει τα AI employees από πρόχειρο prompt σε επαναλήψιμο σύστημα εργασίας: σαφές input, αποδεκτό output, ιστορικό αλλαγών, evaluation gate και υπεύθυνος για την τελική απόφαση.

Τα όρια που δεν πρέπει να κρύβονται

Το benchmark περιλαμβάνει δύσκολα επιλεγμένα tasks, άρα οι βαθμολογίες μπορεί να μην αντιπροσωπεύουν τις πιο συνηθισμένες καθημερινές προσαρμογές. Είναι single-turn, ενώ η πραγματική συνεργασία επιστήμονα και μοντέλου είναι συνήθως multi-turn και περιλαμβάνει διευκρινίσεις για χρόνο, όργανα και αντιδραστήρια. Δεν υπάρχει άμεσο human-expert baseline στα ίδια tasks.

Επιπλέον, ένας από τους αξιολογούμενους μοντέλους χρησιμοποιήθηκε και ως grader, τα search tools διέφεραν μεταξύ κλειστών και ανοικτών συστημάτων και τα maximum reasoning settings αυξάνουν κόστος και token usage. Τα αποτελέσματα αφορούν το συγκεκριμένο harness και τις ρυθμίσεις του Αυγούστου 2026· δεν αποδεικνύουν ότι ένα μοντέλο είναι γενικά ασφαλές για αυτόνομη εργαστηριακή χρήση.

Τα tasks ανακατασκευάστηκαν από πραγματικές τροποποιήσεις, όμως το benchmark δεν εκτέλεσε ξανά τα πειράματα για να επαληθεύσει bench outcomes. Η διάκριση ανάμεσα σε σωστή τεκμηριωμένη απάντηση και σωστή πραγματική δράση είναι η ίδια που αναδεικνύεται και στο K-Bench για επιστημονικούς AI agents.

Η ουσία: αξιολόγηση πάνω στη δουλειά όπως πραγματικά αλλάζει

Το BenchBench-Protocol δεν παρουσιάζει ένα λυμένο πρόβλημα. Παρουσιάζει έναν πιο γειωμένο τρόπο να το μετρήσουμε. Πραγματικές τροποποιήσεις, expert-reviewed rubrics, πολλαπλές προσπάθειες, ανάλυση validity και σαφείς περιορισμοί σχηματίζουν ένα eval που μοιάζει περισσότερο με εργασία και λιγότερο με quiz.

Για κάθε οργανισμό που χτίζει AI agents, το ενδιαφέρον δεν είναι ποιο μοντέλο κέρδισε μια κατάταξη. Είναι αν το δικό του evaluation αντιπροσωπεύει τις αποφάσεις όπου ένα λάθος εξαπλώνεται στα επόμενα βήματα. Αν όχι, μια υψηλή βαθμολογία μπορεί να μετρά ακριβώς το λάθος πράγμα.

Η ώριμη προσέγγιση συνδέει το evaluation με versioned διαδικασίες, πραγματικά failure modes και ανθρώπινη ευθύνη. Έτσι το AI δεν αξιολογείται επειδή «ακούγεται ειδικό», αλλά επειδή αναγνωρίζει τις κρίσιμες εξαρτήσεις, παράγει έγκυρο output και περνά το κατάλληλο gate πριν επηρεάσει πελάτη, παραγωγή ή ασφάλεια.