Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Η ανοιχτή αναπαραγωγή 2.226 papers δείχνει πώς AI agents, audit trails, ανεξάρτητοι evaluators και ανθρώπινη κρίση κάνουν τον έλεγχο πιο αξιόπιστο.
Οι AI agents στην επιστημονική έρευνα δεν αντικατέστησαν την ανθρώπινη κρίση· έδειξαν ότι ο έλεγχος μεγάλης κλίμακας γίνεται πιο αξιόπιστος όταν κάθε ισχυρισμός συνδέεται με επαναλήψιμο πείραμα, δημόσιο trace και ανεξάρτητη αξιολόγηση.
Στην ανοιχτή προσπάθεια της Hugging Face για το ICML 2026, περισσότεροι από 1.200 συμμετέχοντες δημοσίευσαν 6.816 Trackio logbooks για 2.226 papers και 35.908 επιμέρους ισχυρισμούς. Το ουσιαστικό μάθημα για επιχειρήσεις δεν είναι ότι «η AI ελέγχει μόνη της», αλλά ότι η παραγωγή πρέπει να κλιμακώνεται μαζί με audit trail, επαναλήψεις, σαφές inconclusive αποτέλεσμα και ανθρώπινο escalation.
Σύμφωνα με το άρθρο της Hugging Face, το ICML 2026 δέχθηκε 23.918 υποβολές και αποδέχθηκε 6.352 εργασίες, περίπου διπλάσιες από την προηγούμενη χρονιά. Η διαθέσιμη ικανότητα αξιολόγησης δεν αυξήθηκε με τον ίδιο ρυθμό. Οι reviewers είναι συνήθως εθελοντές και συχνά δεν διαθέτουν ούτε τον χρόνο ούτε την εξειδίκευση για να ελέγξουν κάθε απόδειξη, πείραμα και λεπτομέρεια υλοποίησης.
Αυτή η ασυμμετρία θυμίζει όσα συμβαίνουν και στις επιχειρήσεις. Η AI επιτρέπει σε μια ομάδα να παράγει περισσότερες καμπάνιες, σελίδες προϊόντων, αναφορές και πειράματα. Αν όμως η παραγωγή κλιμακώνεται χωρίς να κλιμακώνεται ο έλεγχος, αυξάνεται το απόθεμα μη επαληθευμένων αποφάσεων. Γι’ αυτό η ομάδα χρειάζεται να ξέρει σε ποιο βήμα ενός AI workflow γεννιέται το σφάλμα, αντί να αποδίδει κάθε αποτυχία αόριστα στο μοντέλο. Το πραγματικό ζητούμενο, λοιπόν, δεν είναι μόνο η ταχύτερη δημιουργία. Είναι η σχεδίαση ενός αντίστοιχα γρήγορου αλλά ελέγξιμου μηχανισμού επιβεβαίωσης.
Η πρόκληση έτρεξε από τις 15 Ιουλίου έως τις 2 Αυγούστου 2026. Οι διοργανωτές ευρετηρίασαν τις αποδεκτές εργασίες μαζί με τις περιλήψεις τους και εξήγαγαν τους βασικούς επιστημονικούς ισχυρισμούς, ώστε κάθε agent να ξεκινά από έναν συγκεκριμένο και ελέγξιμο στόχο. Επιτρεπόταν σε πολλές ομάδες να εξετάζουν την ίδια εργασία, στοιχείο κρίσιμο για την ανεξαρτησία των αποτελεσμάτων.
Οι συμμετέχοντες έφεραν το δικό τους agent και εργαλεία, μεταξύ άλλων Claude Code, Codex, Cursor και το orx της OpenResearch. Κάθε εκτέλεση παρήγαγε ένα Trackio logbook: ένα δημόσιο τεκμήριο με αναφορά, κώδικα, παραγόμενα artifacts και, προαιρετικά, ολόκληρο το trace του agent. Με άλλα λόγια, δεν αρκούσε να δηλωθεί ένα αποτέλεσμα. Έπρεπε να είναι ορατή η διαδρομή που οδήγησε σε αυτό.
Ένας αυτοματοποιημένος Logbook Judge, βασισμένος στο open-weight μοντέλο GLM-5.2, διάβαζε εκ νέου κάθε logbook και χαρακτήριζε κάθε ισχυρισμό ως verified, falsified, toy ή inconclusive. Οι οδηγίες του judge αντιμετώπιζαν ρητά την αυτοαξιολόγηση του logbook ως μη αξιόπιστη. Αυτός ο διαχωρισμός παραγωγού και αξιολογητή είναι σημαντικός και εκτός έρευνας: το σύστημα που δημιουργεί ένα αποτέλεσμα δεν πρέπει να είναι ο μοναδικός κριτής της ορθότητάς του. Σε σύνθετα συστήματα, η ίδια αρχή απαιτεί διακυβέρνηση πολλών agents πέρα από το αρχικό prompt.
Τέσσερις έλεγχοι που έκαναν την αναπαραγωγή επιθεωρήσιμη
Κάθε agent ξεκινούσε από συγκεκριμένο claim και όχι από αόριστη εντολή να «ελέγξει το paper».
Το Trackio logbook συνέδεε αναφορά, κώδικα, artifacts, υπολογιστική εργασία και προαιρετικά ολόκληρη την τροχιά του agent.
Ο GLM-5.2 Logbook Judge ξαναδιάβαζε την απόδειξη και δεν αποδεχόταν την αυτοαξιολόγηση του logbook ως τεκμήριο.
Οι δηλώσεις falsification επανεξετάστηκαν από τους διοργανωτές με νέα μαθηματική ή υπολογιστική αναπαραγωγή.
Στην κοινότητα εντάχθηκαν 1.221 άτομα και δημοσιεύθηκαν 6.816 logbooks. Εξετάστηκαν 2.226 papers, δηλαδή περίπου το 34% του συνεδρίου, και κρίθηκαν συνολικά 35.908 επιμέρους ισχυρισμοί. Οι συμμετέχοντες εκτέλεσαν 2.962 εργασίες στο HF Jobs, ενώ δημοσιεύθηκαν 274 datasets με πλήρη traces agents.
Οι αριθμοί αυτοί δεν αποδεικνύουν από μόνοι τους ότι κάθε αποτέλεσμα ήταν σωστό. Αποδεικνύουν όμως ότι ένας ανοικτός, καταγεγραμμένος μηχανισμός μπορεί να επεκτείνει δραστικά το εύρος του ελέγχου. Όταν δεδομένα, κώδικας και ίχνη εκτέλεσης παραμένουν διαθέσιμα, ένα εύρημα μπορεί να αμφισβητηθεί, να διορθωθεί ή να επαναληφθεί. Το audit trail βοηθά το σύστημα να ενεργοποιεί τον σωστό τρόπο ελέγχου, όχι απλώς να παράγει άλλη μία βέβαιη απάντηση.
Η κλίμακα του ICML 2026 Open Reproductions
Οι μετρήσεις είναι τα τελικά, παγωμένα αποτελέσματα που δημοσίευσαν οι διοργανωτές για το challenge· περιγράφουν εύρος ελέγχου, όχι αυτόματη εγκυρότητα κάθε verdict.
Περίπου 34% των papers του συνεδρίου εξετάστηκε από τουλάχιστον μία ομάδα.
Οι δημόσιες καταγραφές επέτρεπαν ανεξάρτητη επιθεώρηση της μεθόδου και των artifacts.
Κάθε ισχυρισμός έλαβε ξεχωριστό verdict αντί για μία γενική βαθμολογία ανά paper.
Αυτοί οι ισχυρισμοί επιβεβαιώθηκαν με πραγματικά πειράματα, σύμφωνα με την τελική αναφορά.
Στο 51% των εξετασμένων papers, δηλαδή σε 1.103 εργασίες, επαληθεύθηκε ανεξάρτητα τουλάχιστον ένας ισχυρισμός. Από αυτές, 266 αναπαράχθηκαν πλήρως και 632 μερικώς χωρίς να διαψευστεί κάτι. Συνολικά, 3.978 μεμονωμένοι ισχυρισμοί επιβεβαιώθηκαν με πραγματικά πειράματα.
Στο 23% των papers, ή 496 εργασίες, υπήρξε τουλάχιστον ένας ισχυρισμός που διαψεύστηκε ή αμφισβητήθηκε. Σε 49 εργασίες διαψεύστηκαν όλοι οι ισχυρισμοί χωρίς να επαληθευτεί κάποιος, ενώ σε 242 διαφορετικές ομάδες κατέληξαν σε αντίθετες ετυμηγορίες για τους ίδιους ισχυρισμούς. Το τελευταίο εύρημα είναι ιδιαίτερα χρήσιμο: η αναπαραγωγιμότητα δεν λειτουργεί πάντα ως δυαδικός διακόπτης. Συχνά χρειάζεται αντιπαραβολή μεθόδων, παραμέτρων και υποθέσεων.
Στη μέση έμειναν 502 papers με αποδείξεις μόνο σε μικρότερη, «toy» κλίμακα και 280 για τα οποία δεν μπορούσε να εξαχθεί συμπέρασμα. Η συχνότερη αιτία ήταν τα ελλιπή artifacts. Αυτό μεταφέρεται άμεσα στα εταιρικά AI workflows: όταν λείπουν τα αρχικά δεδομένα, οι εκδόσεις, οι ρυθμίσεις και τα logs, η αξιόπιστη επαλήθευση γίνεται αδύνατη ακόμη και με ισχυρά μοντέλα.
Ορισμένες εργασίες άντεξαν σε πολλούς ανεξάρτητους ελέγχους. Η εργασία «Flat Minima and Generalization: Insights from Stochastic Convex Optimization» εξετάστηκε από 20 ομάδες και 12 επαλήθευσαν κάθε ισχυρισμό. Στην εργασία «A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness», 14 από 17 logbooks επαλήθευσαν όλους τους ισχυρισμούς.
Η συμφωνία πολλών ανεξάρτητων προσπαθειών δεν αποτελεί απόλυτη εγγύηση, αλλά προσφέρει ισχυρότερο σήμα από μία μοναδική εκτέλεση. Για μια επιχείρηση αυτό σημαίνει ότι μια κρίσιμη αυτοματοποιημένη απόφαση δεν πρέπει να βασίζεται σε ένα μόνο prompt, run ή evaluator. Οι επαναλήψεις, η σύγκριση διαφορετικών προσεγγίσεων και ο έλεγχος των αποκλίσεων είναι μέρος της ποιότητας, όχι περιττό κόστος. Η αξιολόγηση πρέπει να αφορά ολόκληρη τη διαδρομή ενεργειών, όπως συμβαίνει και στα benchmarks για AI agents στο web.
Κανόνας για αντίθετα verdicts: διατηρήστε τη διαφωνία ορατή και συγκρίνετε dataset, έκδοση κώδικα, μονάδες, παρονομαστή, κλίμακα, seed και χρονικό ορίζοντα. Αν η απόκλιση δεν εξηγείται, το αποτέλεσμα παραμένει inconclusive και κλιμακώνεται σε άνθρωπο· δεν λύνεται με μηχανική πλειοψηφία agents.
Οι διοργανωτές δεν αποδέχθηκαν αυτομάτως τις 35 επίσημες δηλώσεις falsification. Τις επανεξέτασαν αντιπαραθετικά: διάβασαν ξανά το paper και το logbook και επανέλαβαν τα μαθηματικά ή την υλοποίηση. Σε μία εργασία για learning-augmented paging, η αναπαραγωγή εντόπισε ότι ένας πρόσθετος όρος μεγάλωνε περίπου ως 0,38 ln k. Η νέα υλοποίηση επέκτεινε το sweep έως k=1.024 και επιβεβαίωσε την αύξηση με περίπου εννέα τυπικές αποκλίσεις, οδηγώντας σε διαφορετικό συμπέρασμα για την πραγματική robustness.
Σε άλλη εργασία, τρεις ανεξάρτητες ομάδες βρήκαν αντιπαραδείγματα σε θεώρημα για το forward pass του attention και τη μέθοδο Frank-Wolfe. Οι παραβιάσεις εμφανίζονταν μετά από 224, περίπου 3.800 και 6.416 βήματα. Αυτό εξηγεί γιατί συντομότεροι έλεγχοι είχαν θεωρήσει τον ισχυρισμό επιβεβαιωμένο: ο ορίζοντας δοκιμής τελείωνε πολύ νωρίς.
Άλλο logbook αποκάλυψε ασυμφωνία ανάμεσα στη θεωρία και στον κώδικα: η εργασία ανέλυε reverse KL divergence, ενώ ο προεπιλεγμένος κώδικας που είχε παράγει τα αποτελέσματα υπολόγιζε forward KL. Σε διαφορετική περίπτωση, περίπου το 66% των θέσεων αξιολόγησης ήταν EOS padding tokens, γεγονός που μείωνε τεχνητά το perplexity περίπου κατά τρεις φορές. Μετά τη διόρθωση, το αναφερόμενο κόστος ποιότητας 3,1% για μείωση cache 50% έγινε περίπου 9,4%.
Η διαδικασία εντόπισε και ψευδείς διαψεύσεις. Ένα logbook υποστήριξε ότι μια μέθοδος ήταν δύο φορές πιο αργή από το baseline. Το συμπέρασμα βασιζόταν σε αριθμητικό σφάλμα: είχε συγκριθεί χρόνος ανά trajectory με χρόνο ανά batch 50 trajectories. Με σωστή κανονικοποίηση, τα ίδια δεδομένα επιβεβαίωναν την ταχύτητα οκτώ φορές που δήλωνε το paper.
Αυτό το παράδειγμα είναι ίσως το καθαρότερο μήνυμα για τη χρήση AI στην επιχείρηση. Η εμφάνιση ενός αναλυτικού report δεν ισοδυναμεί με εγκυρότητα. Οι μονάδες, οι παρονομαστές, η περίοδος μέτρησης και το επίπεδο aggregation πρέπει να είναι σαφή. Ένα dashboard μπορεί να είναι τεχνικά σωστό και επιχειρηματικά παραπλανητικό αν συγκρίνει ανόμοια μεγέθη. Σε οικονομικά workloads, αυτός είναι ένας ακόμη λόγος να αξιολογούνται χωριστά η αρχιτεκτονική, το decomposition και το post-training των agents.
Οι agents κόλλησαν σε τοπικούς βρόχους, παρερμήνευσαν συμπεριφορές που εξαρτώνταν από την κλίμακα και μερικές φορές έχτισαν ολόκληρη διάψευση πάνω σε λάθος μονάδες. Τα πιο αξιόπιστα αποτελέσματα προέκυψαν όταν άνθρωποι ανακατεύθυναν τον agent, αμφισβητούσαν μια υπόθεση ή σταματούσαν ένα πείραμα με προβληματική βάση πριν καταναλωθεί άσκοπα υπολογιστικός χρόνος.
Σε μια εργασία για παραγωγή εικόνων υπό ακραία quantization, οι αριθμητικές μετρικές έδειχναν ότι δεν υπήρχε collapse. Το αν οι εικόνες ήταν πραγματικά χρησιμοποιήσιμες παρέμενε αντιληπτική κρίση. Ο agent δημιούργησε ειδικό interface και ο άνθρωπος αξιολόγησε προσωπικά 128 ζεύγη εικόνων. Οι σημειώσεις αποθηκεύτηκαν στο repository και ο agent έλεγξε έπειτα τη συνέπειά τους. Η αυτοματοποίηση δεν αφαίρεσε τον άνθρωπο· οργάνωσε το σημείο στο οποίο η ανθρώπινη κρίση πρόσθετε τη μεγαλύτερη αξία. Το human-in-the-loop δεν είναι διακοσμητική έγκριση στο τέλος, αλλά σχεδιασμένο checkpoint με σαφή evidence και δικαίωμα να σταματήσει το run.
Η προσεκτική ερμηνεία του παραδείγματος οδηγεί σε ένα χρήσιμο μοντέλο εργασίας. Πρώτον, κάθε AI output πρέπει να συνδέεται με σαφή ισχυρισμό ή απόφαση: τι ακριβώς υποστηρίζει και ποιο τεκμήριο θα το επιβεβαιώσει; Δεύτερον, το run χρειάζεται audit trail με πηγή, έκδοση δεδομένων, prompt ή οδηγίες, εργαλεία, ενδιάμεσα βήματα και τελικό αποτέλεσμα. Τρίτον, ο αξιολογητής πρέπει να είναι ανεξάρτητος από τον παραγωγό και να αντιμετωπίζει την αυτοαξιολόγηση ως μη επαρκή.
Σε ένα e-commerce αυτό μπορεί να εφαρμοστεί σε αλλαγές τιμών, προτάσεις merchandising, περιγραφές προϊόντων ή πειράματα conversion. Η ομάδα δεν χρειάζεται να ελέγχει χειροκίνητα κάθε λέξη με τον ίδιο τρόπο. Χρειάζεται όμως κανόνες κλιμάκωσης: ποια outputs περνούν αυτοματοποιημένα, ποια απαιτούν δεύτερο έλεγχο και ποια χρειάζονται ανθρώπινη έγκριση λόγω οικονομικού, νομικού ή brand risk. Όταν χρησιμοποιούνται δεδομένα πελατών, ο σχεδιασμός πρέπει να συνδέεται και με κανόνες CRM compliance, σκοπού επεξεργασίας και πρόσβασης.
Τέταρτον, οι ασυμφωνίες πρέπει να διατηρούνται ως πληροφορία. Αν δύο agents ή δύο runs δίνουν αντίθετα αποτελέσματα, η λύση δεν είναι να επιλεγεί μηχανικά η πλειοψηφία. Πρέπει να εξεταστούν οι παράμετροι, η κλίμακα, τα δεδομένα και οι υποθέσεις. Πέμπτον, η ένδειξη «inconclusive» είναι νόμιμο αποτέλεσμα. Είναι προτιμότερη από μια βεβιασμένη βεβαιότητα όταν λείπουν δεδομένα ή artifacts.
Έξι βήματα για ελέγξιμο AI-agent workflow
Γράψτε τι ακριβώς υποστηρίζει η πρόταση τιμής, το merchandising rule ή η ανάλυση καμπάνιας και ποιο evidence θα την επιβεβαιώσει.
Καταγράψτε dataset, χρονικό παράθυρο, prompt, μοντέλο, εργαλεία, παραμέτρους και κώδικα ώστε το run να μπορεί να επαναληφθεί.
Κρατήστε τα ενδιάμεσα βήματα, τα queries, τα αποτελέσματα εργαλείων και το τελικό παραδοτέο χωρίς να εκθέτετε προσωπικά ή μυστικά δεδομένα.
Χρησιμοποιήστε διαφορετικό validation pass, deterministic checks και σαφές rubric· μην αποδέχεστε την αυτοαξιολόγηση του agent ως απόδειξη.
Συγκρίνετε seeds, κλίμακα, χρονικό ορίζοντα και δεύτερη μέθοδο πριν μια απόφαση επηρεάσει τιμές, budget, πελάτες ή δημόσιο περιεχόμενο.
Όταν λείπουν artifacts ή τα verdicts συγκρούονται, σταματήστε την αυτοματοποίηση, διατηρήστε τη διαφωνία και παραδώστε το evidence σε υπεύθυνο άνθρωπο.
Η Hugging Face περιγράφει τον ανθρώπινο ρόλο ως αποτελεσματική διαχείριση νοημοσύνης: δημιουργία του κατάλληλου περιβάλλοντος με compute, εργαλεία, πρόσβαση σε δεδομένα και στοχευμένο feedback. Αυτή η εικόνα είναι πιο ώριμη από την υπόσχεση «βάζουμε έναν agent και αυτοματοποιούμε τα πάντα».
Για τους decision makers, το ανταγωνιστικό πλεονέκτημα δεν θα προκύψει μόνο από την πρόσβαση στο καλύτερο μοντέλο. Θα προκύψει από το workflow γύρω του: καθαρούς στόχους, ελέγξιμα inputs, επαναλήψιμα runs, ανεξάρτητο quality control και ανθρώπινη κρίση εκεί όπου οι μετρικές δεν συλλαμβάνουν όλη την πραγματικότητα. Η κλίμακα χωρίς έλεγχο παράγει περισσότερο ρίσκο. Η κλίμακα με ιχνηλασιμότητα μπορεί να παράγει περισσότερη γνώση. Αυτό είναι το ώριμο πέρασμα από ένα demo agent σε ελεγχόμενο επιχειρησιακό αυτοματισμό με AI.
Από το agent demo σε ελέγξιμη λειτουργία
Η TWO DOTS χαρτογραφεί claims, επιτρεπόμενα δεδομένα, agent actions, deterministic checks, audit logs και σημεία ανθρώπινης έγκρισης για workflows marketing, e-commerce και επιχειρησιακού λογισμικού.
Συχνές ερωτήσεις
Ήταν ανοιχτή προσπάθεια της Hugging Face και της κοινότητας να ελέγξουν, claim προς claim, papers του ICML 2026 με coding agents και δημόσια Trackio logbooks.
Δημοσιεύθηκαν 6.816 logbooks για 2.226 papers, περίπου το 34% του συνεδρίου, και ο Logbook Judge εξέδωσε verdicts για 35.908 επιμέρους claims.
Σημαίνει ότι 1.103 εξετασμένα papers είχαν τουλάχιστον έναν ανεξάρτητα verified ισχυρισμό. Δεν σημαίνει ότι επαληθεύτηκε ολόκληρο το 51% κάθε paper.
Όχι. Οι διοργανωτές κατέγραψαν λάθη, βρόχους και ψευδείς διαψεύσεις, ενώ τα πιο αξιόπιστα αποτελέσματα χρειάστηκαν ανθρώπινη κατεύθυνση και αντιπαραθετική επαλήθευση.
Είναι έλεγχος σε μικρότερη ή συνθετική κλίμακα όταν λείπουν τα πλήρη δεδομένα, checkpoints ή compute. Πρέπει να επισημαίνεται ρητά και να μη παρουσιάζεται ως πλήρης αναπαραγωγή.
Επειδή ο agent που παράγει το αποτέλεσμα μπορεί να αξιολογήσει ευνοϊκά τη δική του εργασία. Ξεχωριστό rubric, deterministic checks και δεύτερο validation pass μειώνουν αυτόν τον κίνδυνο.
Διατηρούμε τη διαφωνία και ελέγχουμε dataset, εκδόσεις, μονάδες, παρονομαστές, seeds, κλίμακα και χρονικό ορίζοντα. Αν δεν εξηγείται, το αποτέλεσμα μένει inconclusive και κλιμακώνεται σε άνθρωπο.
Κάθε κρίσιμο AI output χρειάζεται σαφές claim, κλειδωμένα inputs, trace, ανεξάρτητο έλεγχο, επαναλήψεις και human handoff πριν επηρεάσει τιμές, budget, πελάτες ή δημόσιο περιεχόμενο.
Πηγές
