LLM evaluation

Αξιολόγηση αποκαλυπτόμενων προτιμήσεων σε AI μοντέλα και agents

Τα AI μοντέλα έχουν προτιμήσεις; Τι αποκαλύπτουν οι επιλογές τους

Τι αποκαλύπτει η μελέτη AI Revealed Preferences για τις επιλογές 20 μοντέλων και πώς μια επιχείρηση μπορεί να ελέγξει task selection, effort και position bias στους AI agents.

ΠερισσότεραΤα AI μοντέλα έχουν προτιμήσεις; Τι αποκαλύπτουν οι επιλογές τους
Αναλυτής αξιολογεί ακολουθίες για LLM και limit order books

LLM και limit order books: σωστή σύνταξη δεν σημαίνει σωστή πρόβλεψη

Μελέτη σε συνθετικά limit order books δείχνει γιατί οι έγκυρες ακολουθίες ενός LLM δεν αρκούν: η πρόβλεψη χρειάζεται calibration, σωστό state και ελέγχους σε πολλούς ορίζοντες.

ΠερισσότεραLLM και limit order books: σωστή σύνταξη δεν σημαίνει σωστή πρόβλεψη
Επιστήμονας ελέγχει αυτοματοποιημένη προσαρμογή εργαστηριακού πρωτοκόλλου με AI

BenchBench-Protocol: πόσο καλά προσαρμόζουν τα AI τα πραγματικά εργαστηριακά πρωτόκολλα

Το BenchBench-Protocol μετατρέπει 149 πραγματικές αλλαγές πρωτοκόλλων σε benchmark και δείχνει τι χρειάζονται τα αξιόπιστα AI evals για επιχειρήσεις.

ΠερισσότεραBenchBench-Protocol: πόσο καλά προσαρμόζουν τα AI τα πραγματικά εργαστηριακά πρωτόκολλα
Ερευνητής συγκρίνει διαφορετικές διαμορφώσεις για αξιόπιστο AI benchmark harness

Δεν υπάρχει ουδέτερο AI benchmark: πώς το harness αλλάζει τον νικητή

Νέα μελέτη δείχνει ότι 26 έγκυρα evaluation harnesses μπορούν να αλλάξουν δραστικά τα scores και τον νικητή ενός LLM leaderboard. Τι σημαίνει για τις επιχειρήσεις.

ΠερισσότεραΔεν υπάρχει ουδέτερο AI benchmark: πώς το harness αλλάζει τον νικητή
Ειδικός συγκρίνει δύο ανώνυμες βιβλιογραφικές ανασκοπήσεις για το LitReview Arena
Ομάδα ειδικών ελέγχει ανεξάρτητα ένα σύνθετο σύστημα για αξιολόγηση AI

Reasoning Jury: όταν μια «επιτροπή» AI εντοπίζει λάθη που ένας κριτής χάνει

Το Reasoning Jury συνδυάζει πολλαπλούς AI κριτές για να εντοπίζει λάθη σε reasoning traces. Δείτε benchmarks, κόστος και ασφαλές pilot για επιχειρήσεις.

ΠερισσότεραReasoning Jury: όταν μια «επιτροπή» AI εντοπίζει λάθη που ένας κριτής χάνει