AI benchmarks

Ομάδα επιβλέπει υποδομή server για terminal agents

Terminal agents: γιατί το AI στο command line είναι ολόκληρο σύστημα, όχι μόνο μοντέλο

Οι terminal agents είναι model, harness, runtime και governance μαζί. Τι δείχνει η έρευνα και πώς στήνεται ένα ασφαλές επιχειρηματικό pilot.

Read MoreTerminal agents: γιατί το AI στο command line είναι ολόκληρο σύστημα, όχι μόνο μοντέλο
Έλεγχος visual AI με μερικώς κρυμμένα αντικείμενα σε περιβάλλον αποθήκης

StateSight: γιατί τα vision-language models βλέπουν σωστά αλλά χάνουν τη χωρική δομή

Το StateSight δείχνει γιατί μια format-valid απάντηση δεν αποδεικνύει χωρική ορθότητα και πώς σχεδιάζεται task-specific έλεγχος πριν από το production.

Read MoreStateSight: γιατί τα vision-language models βλέπουν σωστά αλλά χάνουν τη χωρική δομή
Ομάδα αξιολογεί compute-aware benchmark για diffusion LLMs

CaRE για diffusion LLMs: όταν το benchmark μετρά λάθος πρόοδο

Το CaRE δείχνει πώς το πραγματικό compute, τα metrics και η stochasticity μπορούν να αλλάξουν την κατάταξη ενός diffusion LLM benchmark. Πρακτικός οδηγός για δίκαιες συγκρίσεις μοντέλων και ασφαλέστερες επιχειρηματικές αποφάσεις.

Read MoreCaRE για diffusion LLMs: όταν το benchmark μετρά λάθος πρόοδο