With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Μια νέα μελέτη για clinical agents δείχνει ότι το AI δεν βελτιώνεται με περισσότερο hype, αλλά με καθαρό feedback, σωστά benchmarks και ανθρώπινη γνώση στα κρίσιμα σημεία.
Το άρθρο εξηγεί πώς οι AI agents γίνονται αξιόπιστοι μόνο όταν έχουν καθαρό context, σωστά δεδομένα, όρια αυτονομίας και ανθρώπινη εποπτεία πριν επηρεάσουν πελάτες, budget ή κρίσιμες λειτουργίες.
Category: digital marketing
Tags: AI στην υγεία, FHIR, Reinforcement Learning, Business AI, Digital Transformation
Excerpt: Μια νέα μελέτη για clinical agents δείχνει ότι το AI δεν βελτιώνεται με περισσότερο hype, αλλά με καθαρό feedback, σωστά benchmarks και ανθρώπινη γνώση στα κρίσιμα σημεία.
Η μελέτη World Feedback for Clinical Agents: Diagnosing RL in FHIR Environments δεν είναι ακόμη μία υπόσχεση ότι οι AI agents θα αντικαταστήσουν τους ειδικούς. Το βασικό της θέμα είναι πολύ πιο πρακτικό: πότε μπορεί ένα μοντέλο να μάθει να εκτελεί σωστά μια γνωστή διαδικασία, όταν το περιβάλλον μπορεί να ελέγξει αντικειμενικά αν η ενέργεια ήταν σωστή. Αυτό έχει σημασία για την υγεία, αλλά και για κάθε επιχείρηση που θέλει να βάλει AI σε διαδικασίες με κανόνες, φόρμες, συστήματα και ευθύνη.
Οι συγγραφείς εξετάζουν εργασίες σε περιβάλλον FHIR, δηλαδή σε ένα πρότυπο ανταλλαγής δεδομένων υγείας. Το μοντέλο δεν καλείται να κάνει διάγνωση, να κρίνει ιατρικά ένα περιστατικό ή να πάρει ρίσκο χωρίς επίβλεψη. Καλείται να εκτελέσει πρωτόκολλα: να διαβάσει μία τιμή, να εφαρμόσει ένα όριο, να αποφασίσει αν απαιτείται ενέργεια και, όταν απαιτείται, να δημιουργήσει σωστά δομημένη παραγγελία ή εγγραφή.
Αυτό το πλαίσιο είναι χρήσιμο για marketers, e-commerce owners και επιχειρηματικές ομάδες επειδή μοιάζει με πολλά καθημερινά workflows. Ένα CRM rule, ένα stock alert, ένα refund policy, ένα lead scoring rule ή ένα compliance checklist δεν χρειάζεται δημιουργικότητα από τον agent. Χρειάζεται αξιόπιστη εκτέλεση, σωστή ανάγνωση δεδομένων, καθαρή μορφή εξόδου και μηχανισμό που εντοπίζει το λάθος πριν γίνει λειτουργικό πρόβλημα.
Η ουσία της έρευνας είναι ότι το reinforcement learning με world feedback έχει αξία μόνο όταν το feedback κανάλι είναι καθαρό και όταν το μοντέλο έχει αρκετή αρχική ικανότητα για να παράγει κάτι που μπορεί να βελτιωθεί. Αν το benchmark επιβραβεύει κατά λάθος την αδράνεια ή αν η σωστή απάντηση απαιτεί κωδικούς που δεν μπορούν να ανακαλυφθούν με δοκιμή και λάθος, το RL δεν κάνει μαγικά. Εκπαιδεύει πάνω σε λάθος σήμα ή σε επίπεδο τοπίο ανταμοιβής.
Από AI agent χωρίς πλαίσιο σε ελεγχόμενο agent workflow
Το εργαλείο παράγει προτάσεις με ελλιπή δεδομένα, ασαφή permissions και χωρίς κοινή πηγή αλήθειας. Το αποτέλεσμα μπορεί να φαίνεται πειστικό, αλλά είναι δύσκολο να ελεγχθεί πριν επηρεάσει πελάτη, budget ή διαδικασία.
Η ροή ορίζει inputs, data sources, όρια αυτονομίας, review points και μετρήσιμα failure modes, ώστε ο agent να υποστηρίζει την ομάδα χωρίς να γίνεται αόρατο ρίσκο.
Στο κλασικό RLHF, άνθρωποι αξιολογούν απαντήσεις ή προτιμήσεις και αυτές οι αξιολογήσεις γίνονται σήμα εκπαίδευσης. Στο world feedback, το περιβάλλον είναι σχεδιασμένο ώστε να μπορεί να κρίνει το αποτέλεσμα χωρίς άνθρωπο σε κάθε επεισόδιο. Ένας verifier ελέγχει αν η ενέργεια πέρασε τον κανόνα. Στο παράδειγμα της μελέτης, ο verifier μπορεί να δει αν ο agent πήρε τη σωστή FHIR πληροφορία, αν εφάρμοσε σωστά το threshold και αν το POST payload έχει την απαιτούμενη δομή.
Η διαφορά είναι σημαντική οικονομικά. Η προσπάθεια των subject matter experts δεν καταναλώνεται σε ατελείωτη χειροκίνητη αξιολόγηση επεισοδίων. Μεταφέρεται μπροστά, στον σχεδιασμό του περιβάλλοντος, των κανόνων και του grader. Για μια επιχείρηση αυτό σημαίνει ότι οι ειδικοί δεν χρειάζεται να διορθώνουν κάθε πιθανή απάντηση ενός agent. Χρειάζεται να κωδικοποιήσουν με ακρίβεια το τι θεωρείται σωστή ενέργεια, λάθος ενέργεια, περιττή ενέργεια και αποδεκτή μορφή.
Αυτή η λογική συνδέεται άμεσα με business automation. Ένα e-commerce μπορεί να έχει verifier για επιστροφές, τιμολογήσεις, αλλαγές αποθέματος ή δημιουργία ticket. Μια ομάδα marketing μπορεί να έχει verifier για UTM συνέπεια, campaign taxonomy ή χρήση brand claims. Μια ομάδα operations μπορεί να έχει verifier για SLA, σωστά πεδία ERP και αποδεκτή σειρά βημάτων. Το AI agent δεν πρέπει απλώς να ακούγεται πειστικό. Πρέπει να περνά έλεγχο πραγματικού κόσμου.
Η μελέτη δείχνει όμως ότι αυτός ο verifier πρέπει να είναι αυστηρός και δίκαιος. Αν αφήνει παράθυρο επιβράβευσης για λάθος στρατηγική, το μοντέλο θα τη βρει. Αν το πιο εύκολο κέρδος είναι να μην κάνει τίποτα, θα μάθει να μην κάνει τίποτα. Αν κάθε action παίρνει έστω λίγο credit, μπορεί να μάθει να ενεργεί υπερβολικά. Το feedback δεν είναι λεπτομέρεια υλοποίησης. Είναι το προϊόν που εκπαιδεύει τον agent.
Main decision
Ποια εργασία είναι αρκετά καθαρή για AI agent;Ξεκινήστε από workflows με σαφή inputs, επαληθεύσιμα δεδομένα και χαμηλό ρίσκο, όπως reports, data quality checks, monitoring, αρχικές προτάσεις ή back-office triage. Αν η απόφαση επηρεάζει πελάτη, budget ή ασφάλεια, χρειάζεται ανθρώπινη έγκριση πριν εκτελεστεί.
Ένα από τα πιο χρήσιμα σημεία της μελέτης είναι η διάγνωση του αρχικού benchmark. Στις εκδόσεις MedAgentBench v1 και v2 υπήρχε υψηλό silent-finish ceiling: ένας null agent, που τελείωνε αμέσως χωρίς να κάνει tool calls, μπορούσε να περάσει το 41,7% των tasks. Δεν ήταν απαραίτητα bug σε κάθε task. Σε πολλές κλινικές ροές όντως δεν χρειάζεται ενέργεια. Το πρόβλημα είναι ότι, συνολικά, το benchmark έκανε την αδράνεια πολύ καλή στρατηγική.
Για reinforcement learning αυτό είναι επικίνδυνο. Το μοντέλο δεν καταλαβαίνει την πρόθεση του benchmark. Βλέπει ανταμοιβή. Αν η ανταμοιβή δείχνει ότι η αδράνεια κερδίζει συχνά, η εκπαίδευση μπορεί να οδηγήσει σε agent που αποφεύγει δράση ακόμη και όταν πρέπει να δράσει. Οι συγγραφείς αναφέρουν ότι σε uncorrected MAB-v2 το GRPO συνέκλινε σε 0% action-branch pass. Με απλά λόγια, το μοντέλο έμαθε την εύκολη έξοδο.
Η ομάδα κατασκεύασε το MedAgentBench-v3 με 508 tasks και μείωσε το silent-finish ceiling στο 8,9%. Αυτό έγινε με διορθώσεις στο context, πάγωμα προβληματικού timestamp, labeling των silent-finish περιπτώσεων και 1:1 cap ανάμεσα σε action και no-action instances. Η αλλαγή δεν είναι απλώς τεχνική. Είναι μάθημα για κάθε εταιρεία που χτίζει AI αξιολόγηση: αν το dataset επιβραβεύει την αποφυγή ευθύνης, ο agent θα μοιάζει ασφαλής στα aggregates αλλά θα αποτυγχάνει εκεί που απαιτείται δράση.
Για marketing και customer operations το αντίστοιχο πρόβλημα εμφανίζεται όταν οι αξιολογήσεις μετρούν μόνο μη ζημιά και όχι σωστή ενέργεια όταν χρειάζεται. Ένας support agent που κλείνει λίγα tickets αλλά δεν κάνει λάθος μπορεί να φαίνεται καλός. Ένας lead qualification agent που δεν προωθεί κανέναν μπορεί να έχει μηδενικά false positives. Το σωστό benchmark πρέπει να βλέπει και τα δύο branches: πότε πρέπει να δράσεις και πότε πρέπει να σταματήσεις.
Η μελέτη εντόπισε επίσης undocumented format requirements. Κάποιοι graders απαιτούσαν συγκεκριμένες μορφές που δεν υπήρχαν καθαρά στο task context, όπως bare-string route fields, tiered dose formulas ή two-element return arrays. Αυτό δημιουργεί ένα συνηθισμένο πρόβλημα στα AI workflows: το μοντέλο μπορεί να έχει καταλάβει την ουσία αλλά να αποτυγχάνει επειδή η έξοδος δεν ταιριάζει σε μια αθέατη σύμβαση.
Στον πραγματικό κόσμο, η μορφή δεν είναι δευτερεύουσα. Ένα σωστό μήνυμα που δεν περνά schema validation, ένα order με λάθος πεδίο, ένα προϊόν με λάθος category mapping ή ένα campaign export με ασυνεπές naming μπορεί να μπλοκάρει ολόκληρη διαδικασία. Η έρευνα δείχνει ότι αν η μορφή είναι απαίτηση, πρέπει να υπάρχει ρητά στο context ή να διδάσκεται με supervised examples. Δεν είναι δίκαιο να ζητάμε από το RL να ανακαλύψει αόρατες συμβάσεις.
Υπήρχε και wall-clock bug: ένας grader χρησιμοποιούσε την τρέχουσα ημερομηνία ως reference date για CT follow-up, με αποτέλεσμα να ταξινομεί λάθος ορισμένα instances όταν έτρεχε το 2025-2026. Οι συγγραφείς πάγωσαν το timestamp σε συγκεκριμένη ημερομηνία. Για επιχειρήσεις, αυτό θυμίζει ότι κάθε automation που εξαρτάται από σήμερα, τρέχουσα καμπάνια ή ενεργή πολιτική χρειάζεται deterministic tests. Διαφορετικά, το ίδιο prompt μπορεί να περάσει τη Δευτέρα και να αποτύχει την Παρασκευή.
Το πρακτικό συμπέρασμα είναι ότι δεν αρκεί να μετράμε αν ο agent έχει δίκιο. Πρέπει να μετράμε αν έχει δίκιο στη μορφή που δέχεται το σύστημα. Για CRM, ERP, CMS και ad platforms αυτό σημαίνει schemas, examples, negative tests και σαφή ownership των αλλαγών όταν οι κανόνες μεταβάλλονται.
Το περιβάλλον MAB-v3 στηρίζεται σε σταθερό snapshot HAPI FHIR server με περίπου 100 πραγματικούς ανωνυμοποιημένους ασθενείς. Κάθε rollout είναι deterministic: το ίδιο query επιστρέφει την ίδια απάντηση, δεν υπάρχει μεταβαλλόμενο server state και τα επεισόδια ολοκληρώνονται γρήγορα. Αυτό είναι προϋπόθεση για RL, επειδή χρειάζονται χιλιάδες rollouts και το μοντέλο πρέπει να μαθαίνει από τις πράξεις του, όχι από θόρυβο υποδομής.
Η ανταμοιβή δεν ήταν μόνο pass/fail. Οι συγγραφείς τη διέσπασαν σε terminal reward, action reward και penalties. Υπήρχε πλήρης ανταμοιβή όταν ο grader περνούσε, μερικό credit για σωστό resource type και POST structure, penalty για off-target POST σε no-action task και penalty για finish χωρίς tool use. Αυτή η διαμόρφωση είναι κρίσιμη επειδή δημιουργεί gradient και για τη δράση και για τη συνθήκη.
Χωρίς partial credit, το μοντέλο βλέπει επίπεδο τοπίο μέχρι να πετύχει ακριβώς τη σωστή παραγγελία. Χωρίς penalty για spurious action, μπορεί να μάθει να δρα πάντα επειδή κάθε action παίρνει κάτι. Αυτό ισχύει και σε εμπορικά συστήματα. Αν δίνεις bonus στον agent μόνο επειδή άνοιξε ticket, θα ανοίγει tickets. Αν τον τιμωρείς μόνο για λάθος ticket και δεν τον επιβραβεύεις για σωστό escalation, θα παγώνει. Ο σχεδιασμός reward είναι σχεδιασμός συμπεριφοράς.
Ο verifier της μελέτης ήταν rule-based και auditable, με 1.340 γραμμές προδιαγραφών για 20 task types. Κάθε αποτυχία μπορούσε να συνδεθεί με συγκεκριμένο criterion. Για επιχειρήσεις αυτό είναι ίσως το πιο χρήσιμο pattern: όταν ο agent αποτυγχάνει, η ομάδα δεν πρέπει να βλέπει μόνο ένα score. Πρέπει να βλέπει ποιο criterion χάθηκε, ποιο πεδίο έλειπε, ποιος κανόνας παραβιάστηκε και αν το πρόβλημα είναι δεδομένα, prompt, tool call, schema ή πραγματική έλλειψη γνώσης.
Στα frontier models, οι συγγραφείς παρατήρησαν ότι πολλά μοντέλα είχαν υψηλότερη επιτυχία στο no-action branch από ό,τι στο action branch. Για παράδειγμα, το paper αναφέρει GPT-5.5 με 93,3% no-action pass έναντι 77,3% action pass και Gemini με 95,6% έναντι 76,5%. Το GPT-4o εμφανίστηκε ως εξαίρεση με μικρότερη caution bias. Δεν χρειάζεται να γενικεύσουμε πέρα από τη μελέτη. Το σημαντικό είναι η μετρική: τα aggregate scores κρύβουν αν ένα μοντέλο είναι καλό επειδή ξέρει πότε να μην ενεργεί ή επειδή ξέρει και πώς να ενεργεί σωστά.
Στα trained models, το base Qwen3-8B πέτυχε 16,6% pass@1. Το any pass ήταν 21,4%, άρα οι αποτυχίες δεν ήταν κυρίως θέμα τύχης ή sampling. Το μοντέλο δεν είχε αρκετή latent capability για να λυθούν τα tasks απλώς με περισσότερες προσπάθειες. Υπήρχε επίσης έντονο corpus gap: τα v2 tasks είχαν 28,0%, ενώ τα v1 tasks μόλις 4,8%. Οι συγγραφείς το συνδέουν με τη φύση των tasks: κάποια decision tasks μοιάζουν περισσότερο με γνώση που μπορεί να έχει δει το μοντέλο, ενώ lookup και format-heavy tasks απαιτούν ακριβή χειρισμό.
Το rule-based SFT ανέβηκε σε 34,1% pass@1, με any pass 44,9% και all pass 25,5%. Αυτό δείχνει ότι τα supervised demos έδωσαν στο μοντέλο κώδικες, μορφή και παραδείγματα που δεν μπορούσε να ανακαλύψει μόνο του. Το RL με GRPO στην πρώτη εποχή έφτασε 18,2% pass@1: μικρή βελτίωση πάνω από το base, αλλά 15,9 ποσοστιαίες μονάδες κάτω από το SFT. Το εύρημα δεν λέει ότι το RL είναι άχρηστο. Λέει ότι το pure RL από μικρή βάση και χωρίς prior code knowledge έχει δομικά όρια.
Για τις επιχειρήσεις, το αντίστοιχο είναι σαφές. Αν ένας agent πρέπει να χρησιμοποιεί ακριβείς κωδικούς προϊόντων, internal status values, taxonomies, SKU formats ή νομικές φράσεις, δεν πρέπει να περιμένεις να τα μάθει με trial and error. Δώσε του supervised examples, retrieval, lookup tables ή constrained tools. Χρησιμοποίησε RL ή feedback loops για να βελτιώσεις αποφάσεις υπό συνθήκες, όχι για να ανακαλύψεις τυχαία κρυφά identifiers.
Η πιο πρακτική συμβολή της μελέτης είναι η ταξινόμηση των tasks σε decision, lookup και format-knowledge. Οι decision tasks απαιτούν ανάγνωση τιμής και εφαρμογή ορίου, όπως potassium replacement όταν K<3.5 mEq/L ή flu vaccine recall. Εκεί υπάρχει gradient επειδή η σωστή απόφαση αλλάζει με παρατηρήσιμη τιμή. Το μοντέλο μπορεί να δοκιμάσει action και no-action, να δει τις ανταμοιβές και να μάθει το conditional pattern.
Οι lookup tasks απαιτούν ακριβή ανάκτηση τιμής: MRN, ηλικία, πιο πρόσφατο lab result. Εδώ το RL μπορεί να βοηθήσει λίγο στο ποιο tool να καλέσει και πώς να διαβάσει την απάντηση, αλλά demonstrations είναι συνήθως πιο αποδοτικά. Το πρόβλημα δεν είναι σκέψη αλλά αξιόπιστη ανάκτηση και μορφοποίηση. Σε business περιβάλλον, αυτά είναι tasks τύπου βρες customer ID, τελευταίο invoice, ενεργή συνδρομή, stock value ή latest campaign spend.
Οι format-knowledge tasks είναι οι πιο δύσκολες για pure RL. Απαιτούν ακριβή κλινικό κωδικό, όπως SNOMED ή NDC, που δεν προκύπτει από exploration. Αν ο agent δώσει λάθος code, παίρνει αρνητική ανταμοιβή όπως θα έπαιρνε για οποιονδήποτε τυχαίο λάθος κωδικό. Δεν υπάρχει βαθμιαίο σήμα που να τον οδηγεί στον σωστό identifier. Αυτό είναι flat reward landscape.
Αυτή η ταξινόμηση μπορεί να γίνει εργαλείο σχεδιασμού AI roadmap. Πριν βάλεις agent σε μια διαδικασία, ρώτα: είναι decision, lookup ή format-knowledge; Αν είναι decision, χρειάζεσαι καθαρά thresholds και καλό feedback. Αν είναι lookup, χρειάζεσαι αξιόπιστη πρόσβαση σε δεδομένα και parsing. Αν είναι format-knowledge, χρειάζεσαι knowledge injection, tables, validators και πιθανώς constrained generation. Το ίδιο μοντέλο δεν πρέπει να αντιμετωπίζει όλα τα tasks με μία στρατηγική.
Παρότι το paper είναι κλινικό, οι αρχές του είναι εξαιρετικά σχετικές για digital operations. Ένας marketing agent που διαχειρίζεται καμπάνιες έχει decision tasks: να αυξήσει budget όταν CPA πέφτει κάτω από στόχο, να σταματήσει ad set όταν frequency ανεβαίνει υπερβολικά, να προτείνει νέο creative όταν engagement πέφτει. Έχει lookup tasks: να ανακτήσει spend, ROAS, audience name, product feed status. Έχει και format-knowledge tasks: να χρησιμοποιήσει σωστό naming convention, UTM taxonomy, product category ID ή policy-safe claim.
Αν τα ανακατέψεις όλα και μετράς μόνο ένα συνολικό score, θα χάσεις το πραγματικό bottleneck. Μπορεί ο agent να είναι καλός στις αποφάσεις αλλά να αποτυγχάνει στα naming conventions. Μπορεί να κάνει σωστά lookup αλλά να μην ξέρει πότε πρέπει να δράσει. Μπορεί να φαίνεται ασφαλής επειδή δεν κάνει αλλαγές. Η μελέτη υπενθυμίζει ότι χρειάζονται branch-specific metrics: action vs no-action, correct lookup vs wrong value, valid schema vs invalid payload, policy-safe vs risky output.
Για e-commerce, ένα παρόμοιο benchmark θα μπορούσε να έχει tasks όπως: αν το stock είναι κάτω από threshold, δημιούργησε reorder alert· αν ο πελάτης έχει επιστροφή εντός πολιτικής, πρότεινε refund path· αν το προϊόν έχει missing GTIN, άνοιξε data-quality ticket· αν η παραγγελία έχει ύποπτο συνδυασμό, ζήτησε manual review. Κάθε task πρέπει να έχει verifier που κρίνει και την απόφαση και τη μορφή της ενέργειας.
Η μεγάλη παγίδα είναι να ξεκινήσει μια ομάδα από τον agent αντί από το περιβάλλον. Το paper δείχνει ότι το περιβάλλον είναι συχνά το πραγματικό προϊόν. Αν δεν έχεις καθαρά δεδομένα, deterministic tests, τεκμηριωμένες μορφές, error labels και branch balance, το καλύτερο μοντέλο θα μάθει λάθος πράγματα. Για τις επιχειρήσεις, η επένδυση δεν είναι μόνο σε prompts. Είναι σε αξιολόγηση, data contracts και operational feedback.
Η συζήτηση γύρω από AI συχνά παρουσιάζει τις μεθόδους εκπαίδευσης σαν ανταγωνιστικές. Η συγκεκριμένη μελέτη δείχνει το αντίθετο. Το SFT δίνει στο μοντέλο αυτό που το RL δυσκολεύεται να ανακαλύψει: μορφή, κώδικες, παραδείγματα, σωστή σειρά βημάτων. Το RL δίνει αυτό που το SFT δυσκολεύεται να κλιμακώσει: προσαρμογή σε πολλές περιπτώσεις μέσω world feedback, ειδικά όταν οι κανόνες μπορούν να αξιολογηθούν αυτόματα.
Οι συγγραφείς δεν λένε ότι το SFT είναι η τελική λύση. Το SFT πέτυχε καλύτερο pass@1, αλλά το any/all gap δείχνει ασυνέπεια: κάποια tasks λύνονται μερικές φορές αλλά όχι πάντα. Το RL θα μπορούσε να χρησιμοποιηθεί μετά το SFT για να βελτιώσει conditional reasoning, δηλαδή πότε πρέπει να δράσει και πότε όχι. Αυτό είναι η ουσία της προτεινόμενης κατεύθυνσης SFT+RL.
Στην πράξη, ένα business team μπορεί να το μεταφράσει ως εξής. Πρώτα φτιάχνεις curated examples για τις κρίσιμες μορφές, τα codes, τα edge cases και τα εργαλεία. Μετά τρέχεις agents σε sandbox με verifier και συλλέγεις feedback. Έπειτα βελτιώνεις prompts, retrieval, tool schemas ή fine-tuning όπου χρειάζεται. Δεν περιμένεις από ένα γενικό μοντέλο να μάθει εσωτερικούς κανόνες από αόριστες επιπλήξεις.
Αυτή η λογική ταιριάζει ιδιαίτερα σε εταιρείες που θέλουν AI χωρίς να χάσουν έλεγχο. Οι ειδικοί παραμένουν ιδιοκτήτες των κανόνων. Το μοντέλο μαθαίνει να εκτελεί μέσα σε πλαίσιο. Το feedback είναι auditable. Και οι αλλαγές πρωτοκόλλου γίνονται update στον verifier ή στα examples, όχι χαοτική επανεκπαίδευση συμπεριφοράς.
Οι συγγραφείς είναι προσεκτικοί με το scope. Η εργασία αφορά protocol-execution tasks, όχι ανοιχτή κλινική συλλογιστική, differential diagnosis ή περιπτώσεις όπου η ορθότητα είναι αμφισβητήσιμη. Αυτό έχει σημασία γιατί η αγορά συχνά μετατρέπει στενά ερευνητικά αποτελέσματα σε γενικές υποσχέσεις. Εδώ το σωστό takeaway είναι πιο πειθαρχημένο: AI agents μπορούν να μάθουν καλύτερα όταν η εργασία έχει γνωστό κανόνα και επαληθεύσιμη έξοδο.
Υπάρχουν και περιορισμοί στα δεδομένα. Το MAB-v3 χρησιμοποιεί περίπου 100 ανωνυμοποιημένους ασθενείς, 30 instances ανά task type και, μετά το 1:1 cap, ορισμένοι τύποι έχουν λίγα action instances. Οι οδηγίες των tasks είναι πιο ρητές από την πραγματική κλινική τεκμηρίωση. Άρα τα αποτελέσματα δεν πρέπει να διαβαστούν ως readiness για deployment. Πρέπει να διαβαστούν ως διάγνωση του τι χρειάζεται για αξιόπιστη εκπαίδευση και αξιολόγηση.
Για την αγορά, αυτό είναι υγιές μάθημα. Δεν χρειάζεται κάθε AI initiative να υπόσχεται πλήρη αυτονομία. Μερικές από τις πιο αξιόλογες εφαρμογές θα είναι περιορισμένες, ελεγχόμενες, audit-friendly και συνδεδεμένες με κανόνες. Ένας agent που μειώνει manual checks σε ένα καλά ορισμένο workflow μπορεί να έχει μεγαλύτερη επιχειρηματική αξία από έναν agent που υπόσχεται να σκέφτεται αλλά δεν μπορεί να εξηγήσει γιατί απέτυχε.
Η μελέτη προσφέρει επίσης λεξιλόγιο για συζήτηση με προμηθευτές. Ρωτήστε αν μετρούν silent-finish ceiling. Ρωτήστε αν ξεχωρίζουν action και no-action performance. Ρωτήστε πώς χειρίζονται format-knowledge tasks. Ρωτήστε αν οι verifiers είναι auditable. Αυτές οι ερωτήσεις είναι πιο ουσιαστικές από το να ζητάτε απλώς ένα demo που δείχνει εντυπωσιακό σε τρεις επιλεγμένες περιπτώσεις.
Το πρώτο βήμα είναι inventory των workflows. Μην ξεκινήσετε με πού να βάλουμε agent. Ξεκινήστε με ποια διαδικασία έχει καθαρούς κανόνες, επαναλαμβανόμενα inputs και μετρήσιμη σωστή έξοδο. Χωρίστε τα tasks σε decision, lookup και format-knowledge. Αυτό θα δείξει πού χρειάζεστε RL-like feedback, πού χρειάζεστε καλύτερη σύνδεση δεδομένων και πού χρειάζεστε explicit knowledge injection.
Το δεύτερο βήμα είναι verifier design. Γράψτε τους κανόνες σαν να γράφετε product requirements για σύστημα παραγωγής. Ποιο input είναι απαραίτητο; Ποιο output είναι αποδεκτό; Πότε η αδράνεια είναι σωστή; Πότε είναι αποτυχία; Ποιο λάθος είναι format error και ποιο είναι decision error; Ποια failures πρέπει να σταματούν αυτόματα και ποια να στέλνονται σε άνθρωπο;
Το τρίτο βήμα είναι balanced evaluation. Αν 90% των ιστορικών περιπτώσεων δεν χρειάζονται action, ένα μοντέλο που δεν κάνει τίποτα θα φαίνεται καλό. Δημιουργήστε test sets που αναγκάζουν τον agent να αποδείξει και τα δύο: restraint και action. Μετρήστε ξεχωριστά false action, missed action, invalid payload, wrong lookup, policy violation και unsupported confidence. Μόνο έτσι θα ξέρετε τι πραγματικά βελτιώνεται.
Το τέταρτο βήμα είναι staged autonomy. Ξεκινήστε με read-only recommendations, περάστε σε draft actions, μετά σε supervised execution και μόνο αργότερα σε περιορισμένη αυτόματη εκτέλεση. Το paper δεν υποστηρίζει άλμα σε ανεξέλεγκτους agents. Υποστηρίζει καλύτερο feedback, καλύτερα benchmarks και συνδυασμό ανθρώπινης γνώσης με μοντέλα που μαθαίνουν από επαληθεύσιμο περιβάλλον.
Για την TWO DOTS, το ενδιαφέρον της μελέτης δεν βρίσκεται μόνο στην υγεία. Βρίσκεται στο πώς σχεδιάζουμε υπεύθυνα AI συστήματα για επιχειρήσεις. Το μήνυμα είναι ότι οι agents δεν γίνονται αξιόπιστοι επειδή τους δίνουμε πιο φιλικό prompt. Γίνονται αξιόπιστοι όταν ο κόσμος γύρω τους είναι μετρήσιμος, οι κανόνες είναι καθαροί και τα λάθη επιστρέφουν ως χρήσιμο feedback.
Η επόμενη φάση του AI σε marketing, e-commerce και operations θα απαιτήσει λιγότερο εντυπωσιακές παρουσιάσεις και περισσότερη μηχανική αξιολόγησης. Θα χρειαστεί να ξέρουμε αν ο agent αποτυγχάνει επειδή δεν βρήκε δεδομένα, επειδή δεν ήξερε κωδικό, επειδή μπερδεύτηκε στη συνθήκη ή επειδή το benchmark του έμαθε λάθος συμπεριφορά. Αυτή η διάγνωση είναι το πραγματικό competitive advantage.
Η μελέτη δείχνει επίσης ότι οι άνθρωποι δεν εξαφανίζονται από τη διαδικασία. Μετακινούνται σε πιο κρίσιμο σημείο: στον σχεδιασμό κανόνων, verifiers, examples και ασφαλών ορίων. Αυτό είναι πολύ πιο ρεαλιστικό από την ιδέα ότι ένας agent θα καταλάβει μόνος του κάθε εσωτερική διαδικασία. Η ανθρώπινη γνώση γίνεται infrastructure.
Αν κρατήσουμε ένα πρακτικό μάθημα, είναι αυτό: πριν ζητήσουμε από ένα AI agent να δράσει, πρέπει να ξέρουμε πώς θα αποδείξουμε ότι έδρασε σωστά. Χωρίς αυτό, δεν έχουμε automation. Έχουμε απλώς ένα μοντέλο που ακούγεται πειστικό μέσα σε ένα σύστημα που δεν ξέρει να το ελέγξει.
| Εύρημα της μελέτης | Τι σημαίνει για μια επιχείρηση | Πρακτική κίνηση |
|---|---|---|
| Silent-finish ceiling 41,7% στις παλιές εκδόσεις | Ένα benchmark μπορεί να επιβραβεύει αδράνεια και να κρύβει missed actions | Μετρήστε action και no-action branches ξεχωριστά |
| MAB-v3 με 508 tasks και 8,9% silent-finish ceiling | Το καθαρό feedback απαιτεί καθαρό design αξιολόγησης | Ισορροπήστε test sets και αφαιρέστε reward shortcuts |
| SFT 34,1% pass@1 έναντι RL 18,2% | Η supervised γνώση βοηθά όταν απαιτούνται ακριβείς μορφές και κώδικες | Δώστε examples, schemas και lookup tables πριν από RL loops |
| Decision / lookup / format-knowledge taxonomy | Δεν μαθαίνουν όλα τα tasks με τον ίδιο τρόπο | Χαρτογραφήστε κάθε workflow πριν επιλέξετε τεχνική |
| Auditable verifier 1.340 γραμμών | Το score πρέπει να εξηγεί το failure criterion | Κρατήστε logs ανά κανόνα, πεδίο και tool call |
Ξεκινήστε από την αποτύπωση των επιτρεπτών ενεργειών. Κάθε tool call πρέπει να έχει σαφή σκοπό, schema, απαιτούμενα πεδία και κανόνα επιτυχίας. Αν ένα πεδίο είναι υποχρεωτικό για downstream σύστημα, μην το αφήνετε ως φυσική γλώσσα. Κάντε το typed, validated και εύκολο να αποτύχει νωρίς.
Ορίστε χωριστά την επιτυχία περιεχομένου και την επιτυχία μορφής. Ένας agent μπορεί να πάρει σωστή επιχειρησιακή απόφαση αλλά να στείλει payload που απορρίπτεται. Μπορεί επίσης να στείλει valid payload για λάθος συνθήκη. Αυτά τα failure modes απαιτούν διαφορετική θεραπεία, άρα πρέπει να καταγράφονται ξεχωριστά.
Δημιουργήστε negative tests. Μην δοκιμάζετε μόνο εύκολες περιπτώσεις όπου πρέπει να γίνει action. Δοκιμάστε περιπτώσεις όπου ο agent πρέπει να αρνηθεί, να ζητήσει ανθρώπινη έγκριση, να περιμένει καλύτερα δεδομένα ή να επιστρέψει structured uncertainty. Η ασφάλεια δεν είναι παθητικότητα· είναι σωστή επιλογή branch.
Μην αφήνετε εσωτερικούς κωδικούς να είναι μυστήριο για το μοντέλο. Αν η διαδικασία απαιτεί campaign IDs, ERP statuses, diagnosis codes, product type enums ή νομικά approved phrases, δώστε τα μέσω retrieval, constrained options ή examples. Το RL μπορεί να βελτιώσει συμπεριφορά γύρω από αυτά, όχι να τα μαντέψει αξιόπιστα.
Μετρήστε την πρόοδο με τρόπο που να οδηγεί σε απόφαση. Ένα aggregate score βοηθά για dashboard, αλλά δεν λέει τι να φτιάξετε αύριο. Ένα καλό evaluation report πρέπει να δείχνει: ποια tasks είναι dead zones, ποια έχουν high variance, ποια έχουν format failures, ποια έχουν missed actions και ποια χρειάζονται νέο verifier.
Βήματα για αξιόπιστο AI agent workflow
Περιγράψτε ποια είσοδο παίρνει ο agent, ποιες πηγές θεωρούνται αξιόπιστες και ποια δεδομένα δεν επιτρέπεται να χρησιμοποιηθούν.
Ξεχωρίστε τι μπορεί να προτείνει, τι μπορεί να εκτελέσει και πότε πρέπει να σταματά για έγκριση από άνθρωπο.
Συγκρίνετε το αποτέλεσμα με ανθρώπινο baseline και καταγράψτε πότε ο agent αποτυγχάνει, καθυστερεί ή χρειάζεται περισσότερα δεδομένα.
Για μια ομάδα που χτίζει agent, η πρακτική ερμηνεία του ευρήματος είναι ότι κάθε αυτοματοποίηση πρέπει να έχει δικό της μικρό benchmark πριν φτάσει σε παραγωγή. Το benchmark δεν πρέπει να περιλαμβάνει μόνο ιδανικές περιπτώσεις. Πρέπει να περιλαμβάνει παραδείγματα αδράνειας που είναι σωστή, παραδείγματα αδράνειας που είναι λάθος, σωστές ενέργειες με δύσκολη μορφή και λάθος ενέργειες που μοιάζουν πειστικές στη φυσική γλώσσα.
Η μελέτη βοηθά επίσης να αποφευχθεί η υπερβολική εμπιστοσύνη στα συνολικά ποσοστά. Ένας agent μπορεί να έχει αξιοπρεπές συνολικό score επειδή κερδίζει εύκολα no-action cases, ενώ χάνει τα action cases που έχουν πραγματική επιχειρησιακή αξία. Για αυτό χρειάζεται reporting ανά branch και ανά task taxonomy, ώστε η ομάδα να ξέρει αν πρέπει να βελτιώσει δεδομένα, μορφή, decision logic ή knowledge injection.
Σε περιβάλλον marketing, αυτό μεταφράζεται σε αυστηρή διάκριση ανάμεσα σε σύσταση και εκτέλεση. Ο agent μπορεί πρώτα να προτείνει αλλαγές budget, audience ή copy και ο verifier να ελέγχει αν η πρόταση συμβαδίζει με στόχους και περιορισμούς. Μόνο όταν τα failure modes είναι κατανοητά έχει νόημα να επιτραπούν περιορισμένες αυτόματες αλλαγές.
Σε περιβάλλον e-commerce, το αντίστοιχο είναι να δοκιμάζονται οι agents πάνω σε πραγματικές αλλά ανωνυμοποιημένες καταστάσεις: επιστροφές, αποθέματα, αλλαγές τιμών, feed errors, missing attributes και support escalations. Οι κανόνες πρέπει να είναι γραμμένοι με τρόπο που μπορεί να ελεγχθεί από μηχανή και να επιθεωρηθεί από άνθρωπο όταν κάτι πάει λάθος.
Για μια ομάδα που χτίζει agent, η πρακτική ερμηνεία του ευρήματος είναι ότι κάθε αυτοματοποίηση πρέπει να έχει δικό της μικρό benchmark πριν φτάσει σε παραγωγή. Το benchmark δεν πρέπει να περιλαμβάνει μόνο ιδανικές περιπτώσεις. Πρέπει να περιλαμβάνει παραδείγματα αδράνειας που είναι σωστή, παραδείγματα αδράνειας που είναι λάθος, σωστές ενέργειες με δύσκολη μορφή και λάθος ενέργειες που μοιάζουν πειστικές στη φυσική γλώσσα.
Η μελέτη βοηθά επίσης να αποφευχθεί η υπερβολική εμπιστοσύνη στα συνολικά ποσοστά. Ένας agent μπορεί να έχει αξιοπρεπές συνολικό score επειδή κερδίζει εύκολα no-action cases, ενώ χάνει τα action cases που έχουν πραγματική επιχειρησιακή αξία. Για αυτό χρειάζεται reporting ανά branch και ανά task taxonomy, ώστε η ομάδα να ξέρει αν πρέπει να βελτιώσει δεδομένα, μορφή, decision logic ή knowledge injection.
Σε περιβάλλον marketing, αυτό μεταφράζεται σε αυστηρή διάκριση ανάμεσα σε σύσταση και εκτέλεση. Ο agent μπορεί πρώτα να προτείνει αλλαγές budget, audience ή copy και ο verifier να ελέγχει αν η πρόταση συμβαδίζει με στόχους και περιορισμούς. Μόνο όταν τα failure modes είναι κατανοητά έχει νόημα να επιτραπούν περιορισμένες αυτόματες αλλαγές.
Σε περιβάλλον e-commerce, το αντίστοιχο είναι να δοκιμάζονται οι agents πάνω σε πραγματικές αλλά ανωνυμοποιημένες καταστάσεις: επιστροφές, αποθέματα, αλλαγές τιμών, feed errors, missing attributes και support escalations. Οι κανόνες πρέπει να είναι γραμμένοι με τρόπο που μπορεί να ελεγχθεί από μηχανή και να επιθεωρηθεί από άνθρωπο όταν κάτι πάει λάθος.
Για μια ομάδα που χτίζει agent, η πρακτική ερμηνεία του ευρήματος είναι ότι κάθε αυτοματοποίηση πρέπει να έχει δικό της μικρό benchmark πριν φτάσει σε παραγωγή. Το benchmark δεν πρέπει να περιλαμβάνει μόνο ιδανικές περιπτώσεις. Πρέπει να περιλαμβάνει παραδείγματα αδράνειας που είναι σωστή, παραδείγματα αδράνειας που είναι λάθος, σωστές ενέργειες με δύσκολη μορφή και λάθος ενέργειες που μοιάζουν πειστικές στη φυσική γλώσσα.
Η μελέτη βοηθά επίσης να αποφευχθεί η υπερβολική εμπιστοσύνη στα συνολικά ποσοστά. Ένας agent μπορεί να έχει αξιοπρεπές συνολικό score επειδή κερδίζει εύκολα no-action cases, ενώ χάνει τα action cases που έχουν πραγματική επιχειρησιακή αξία. Για αυτό χρειάζεται reporting ανά branch και ανά task taxonomy, ώστε η ομάδα να ξέρει αν πρέπει να βελτιώσει δεδομένα, μορφή, decision logic ή knowledge injection.
Σε περιβάλλον marketing, αυτό μεταφράζεται σε αυστηρή διάκριση ανάμεσα σε σύσταση και εκτέλεση. Ο agent μπορεί πρώτα να προτείνει αλλαγές budget, audience ή copy και ο verifier να ελέγχει αν η πρόταση συμβαδίζει με στόχους και περιορισμούς. Μόνο όταν τα failure modes είναι κατανοητά έχει νόημα να επιτραπούν περιορισμένες αυτόματες αλλαγές.
Τι αυξάνει την εμπιστοσύνη σε AI agents
Ενδεικτική προτεραιοποίηση για ασφαλή agent workflows σε marketing, e-commerce και back office.
Sources
Θέλετε AI agents με έλεγχο και καθαρή διαδικασία;
Σχεδιάζουμε ελεγχόμενους αυτοματισμούς, agent workflows και back-office ροές με καθαρές πηγές δεδομένων, ανθρώπινη εποπτεία και μετρήσιμα σημεία ελέγχου πριν επηρεαστούν πελάτες, budget ή κρίσιμες λειτουργίες.
Είναι feedback που προκύπτει από το ίδιο το περιβάλλον ή έναν verifier, όχι από ανθρώπινη αξιολόγηση κάθε απάντησης. Ο verifier ελέγχει αν η ενέργεια πέρασε τους κανόνες και επιστρέφει σήμα εκπαίδευσης.
Το FHIR είναι πρότυπο ανταλλαγής δεδομένων υγείας. Επιτρέπει στο benchmark να δοκιμάζει agents που κάνουν tool use σε δομημένο κλινικό περιβάλλον, όπως ανάκτηση lab values και δημιουργία σωστών orders.
Ήταν το ποσοστό tasks που μπορούσε να περάσει ένας agent κάνοντας αμέσως finish χωρίς καμία ενέργεια. Στις παλιές εκδόσεις ήταν 41,7%, κάτι που έκανε την αδράνεια ελκυστική στρατηγική για RL.
Το SFT παρείχε παραδείγματα, μορφή και κωδικούς που το pure RL δεν μπορούσε να ανακαλύψει εύκολα. Το RL είχε μικρή βελτίωση, αλλά έπεσε πάνω σε capability ceiling και format-knowledge barriers.
Βοηθά περισσότερο σε decision tasks όπου υπάρχει παρατηρήσιμη συνθήκη και σαφής reward διαφορά ανάμεσα σε σωστή και λάθος ενέργεια. Δεν είναι ιδανικό για τυφλή ανακάλυψη ακριβών codes.
Σημαίνει ότι πρέπει να ξεχωρίζουμε decision tasks, lookup tasks και format-knowledge tasks. Για κάθε τύπο χρειάζονται διαφορετικά εργαλεία αξιολόγησης, παραδείγματα και verifiers.
Η μελέτη δεν υποστηρίζει ανεξέλεγκτη αυτονομία. Δείχνει ότι οι agents χρειάζονται καθαρά περιβάλλοντα, verifier, examples και staged autonomy πριν αναλάβουν κρίσιμες ενέργειες.
Πριν ζητήσουμε από έναν agent να εκτελέσει workflow, πρέπει να ξέρουμε πώς θα επαληθεύσουμε την εκτέλεση. Το feedback design είναι τόσο σημαντικό όσο και το μοντέλο.
