With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Το DoctorAgents οργανώνει το AutoML ως κύκλο εξειδικευμένων agents με εκτέλεση, επίμονη μνήμη και στοχευμένη βελτίωση αντί για τυφλή αναζήτηση.
Το DoctorAgents μετατρέπει το AutoML από διαδοχικές, συχνά τυφλές δοκιμές σε stateful κύκλο έξι εξειδικευμένων agents. Κάθε iteration εκτελείται, αξιολογείται και καταγράφεται, ενώ το feedback οδηγεί σε τοπικές αλλαγές αντί για πλήρη αναγέννηση. Η μελέτη δείχνει ισχυρά αποτελέσματα σε τέσσερα μικρά κλινικά temporal datasets, αλλά παραμένει preprint και όχι έτοιμο κλινικό ή επιχειρησιακό προϊόν.
Τι αλλάζει όταν ένα σύστημα AutoML σταματά να δοκιμάζει τυφλά συνδυασμούς και αρχίζει να θυμάται τι απέτυχε, να αιτιολογεί τις επιλογές του και να διορθώνει μόνο το σημείο που χρειάζεται; Η ερευνητική εργασία DoctorAgents εξετάζει ακριβώς αυτή τη μετάβαση: από την εξαντλητική αναζήτηση σε μια διαδικασία βελτίωσης που βασίζεται σε ρόλους, εκτέλεση, αξιολόγηση και επίμονη μνήμη.
Το πεδίο εφαρμογής της μελέτης είναι ιδιαίτερα απαιτητικό. Πρόκειται για μικρά, ετερογενή και χρονικά κλινικά δεδομένα, όπου η χρονική στιγμή μιας μέτρησης, η απουσία της ή η απόστασή της από το σημείο πρόβλεψης μπορεί να αλλάξει το νόημά της. Οι συγγραφείς δεν παρουσιάζουν ένα έτοιμο ιατρικό προϊόν. Παρουσιάζουν και αξιολογούν ένα ερευνητικό framework για την κατασκευή και βελτιστοποίηση pipelines machine learning.
Ένα κλινικό αρχείο δεν είναι απλώς ένας στατικός πίνακας με επιπλέον timestamps. Οι ασθενείς παρακολουθούνται με διαφορετική συχνότητα και για διαφορετικό διάστημα, ενώ οι μετρήσεις είναι ασύγχρονες και ελλιπείς. Η ίδια τιμή μπορεί να έχει διαφορετική προγνωστική σημασία ανάλογα με το πότε καταγράφηκε, πόσο πρόσφατη είναι και ποια πορεία προηγήθηκε.
Η απλή συγκέντρωση όλων των παρατηρήσεων σε ένα στατικό vector μπορεί να χάσει τη σειρά, τον ρυθμό αλλαγής, τη διάρκεια και την επιμονή ενός σήματος. Από την άλλη, η χρήση της ακατέργαστης ακολουθίας χωρίς αυστηρό ορισμό observation window και prediction time μπορεί να εισαγάγει πληροφορία που δεν θα ήταν διαθέσιμη τη στιγμή της πραγματικής πρόβλεψης. Αυτό είναι leakage και σε κλινική χρήση αποτελεί κρίσιμο σχεδιαστικό κίνδυνο.
Τα παραδοσιακά AutoML εργαλεία αυτοματοποιούν preprocessing, επιλογή μοντέλου και hyperparameter search, αλλά συχνά λειτουργούν πάνω σε προκαθορισμένους χώρους αναζήτησης. Η εργασία υποστηρίζει ότι αυτή η προσέγγιση κοστίζει υπολογιστικά, εξηγεί λίγο το γιατί μιας λύσης και δεν χειρίζεται επαρκώς τις λεπτές, task-specific αποφάσεις μικρών temporal datasets.
Το DoctorAgents αντιμετωπίζει την ανάπτυξη pipeline ως stateful διαδικασία. Ξεκινά από metadata, κατασκευάζει μια αρχική λύση, εκτελεί τον κώδικα, καταγράφει το αποτέλεσμα και επαναλαμβάνει στοχευμένες αλλαγές. Η επόμενη κίνηση δεν είναι ανεξάρτητη από την προηγούμενη· ενημερώνεται από όσα δοκιμάστηκαν και από το τι βελτιώθηκε ή χειροτέρεψε.
Η διαφορά είναι ουσιαστική. Αν ένα pipeline έχει ήδη ένα επιτυχημένο preprocessing βήμα αλλά ακατάλληλο μοντέλο, η λογική του framework είναι να διατηρήσει το πρώτο και να τροποποιήσει το δεύτερο. Έτσι αποφεύγεται η πλήρης αναγέννηση κώδικα που μπορεί να καταστρέψει στοιχεία τα οποία είχαν λειτουργήσει.
Για επαγγελματικές ομάδες εκτός υγείας, αυτή είναι η πιο μεταφέρσιμη αρχή της μελέτης: ένα agentic workflow γίνεται πιο ελέγξιμο όταν κάθε iteration έχει ορατό input, συγκεκριμένη αλλαγή, εκτελέσιμο αποτέλεσμα και μνήμη της επίδρασης. Αυτό είναι αναλυτική προέκταση της αρχιτεκτονικής, όχι αποτέλεσμα που δοκιμάστηκε από τους ερευνητές σε marketing ή e-commerce.
Η διάσπαση ενός σύνθετου workflow σε σαφείς ευθύνες είναι χρήσιμη μόνο όταν κάθε ρόλος έχει περιορισμένο input και ελέγξιμο output. Το ίδιο κριτήριο αναλύεται στο multi-agent AI με όρια, permissions και validation.
Το framework δεν αναθέτει όλη τη δουλειά σε ένα γενικό prompt. Χωρίζει τη διαδικασία σε έξι εξειδικευμένους ρόλους, ώστε κάθε κρίσιμο βήμα να έχει σαφή ευθύνη.
Οι έξι ευθύνες του loop DoctorAgents
Μετατρέπει metadata και περιγραφή δεδομένων σε σταθερό task specification με κατευθύνσεις για preprocessing, αλγορίθμους και ελλιπείς τιμές.
Παράγει το αρχικό end-to-end pipeline, από τη φόρτωση και την προεπεξεργασία έως την εκπαίδευση, την αξιολόγηση και την αναφορά αποτελεσμάτων.
Λαμβάνει error traces ή timeouts και κάνει την ελάχιστη αναγκαία διόρθωση χωρίς να αλλάζει άσκοπα την αλγοριθμική πρόθεση.
Καταγράφει ουσιώδη diffs σε preprocessing, μοντέλα και hyperparameters μαζί με την επίδρασή τους, αντί να αποθηκεύει αδιακρίτως όλο το raw output.
Ελέγχει το evaluation protocol, το overfitting, τις επιλογές preprocessing και μοντέλου και προτείνει συγκεκριμένες ευκαιρίες βελτίωσης.
Μετατρέπει το feedback σε στοχευμένες τροποποιήσεις κώδικα, διατηρώντας όσα στοιχεία είχαν ήδη αποδειχθεί χρήσιμα στο pipeline.
Η διάκριση ανάμεσα στον Repairer και τον Optimizer έχει σημασία. Ο πρώτος αποκαθιστά την εκτέλεση, ενώ ο δεύτερος επιδιώκει καλύτερη ποιότητα. Ένα pipeline που τρέχει δεν είναι απαραίτητα σωστό, leakage-safe ή αποτελεσματικό.
Η μελέτη χρησιμοποιεί προσαρμοσμένο Textual Gradient Descent. Ο όρος δεν σημαίνει ότι υπολογίζεται ένα κλασικό αριθμητικό gradient πάνω στον πηγαίο κώδικα. Ο Evaluator παράγει feedback σε φυσική γλώσσα και το σύστημα το μετατρέπει σε εντολές που εντοπίζουν ποια τμήματα του pipeline πρέπει να βελτιωθούν, να αντικατασταθούν ή να διατηρηθούν.
Το feedback μπορεί να αφορά λάθος evaluation protocol, overfitting, ανεπαρκή preprocessing, ακατάλληλο model family, hyperparameters ή training procedure. Ο Optimizer εφαρμόζει localized updates και το νέο pipeline εκτελείται ξανά. Το αποτέλεσμα επιστρέφει στον Logger και στον επόμενο κύκλο αξιολόγησης.
Η προσέγγιση δημιουργεί μια διαδρομή ελέγχου: αξιολόγηση, προτεινόμενη αλλαγή, diff κώδικα και αποτέλεσμα. Σε πραγματικό production περιβάλλον θα απαιτούνταν επιπλέον approvals, tests και περιορισμοί εκτέλεσης. Η εργασία τεκμηριώνει το ερευνητικό loop, όχι ένα πλήρες πλαίσιο επιχειρησιακής ασφάλειας.
Η μνήμη δεν πρέπει να συγχέεται με απλή συσσώρευση context. Το SPARK και η ενεργοποίηση της σωστής συλλογιστικής δείχνει γιατί η διαθέσιμη πληροφορία δεν εγγυάται ότι ένα σύστημα θα τη χρησιμοποιήσει όταν χρειάζεται.
Χωρίς επίμονη μνήμη, ένας agent μπορεί να επαναφέρει ένα λάθος που είχε ήδη διορθωθεί ή να ξαναδοκιμάσει μια αναποτελεσματική επιλογή. Ο Logger δεν αποθηκεύει απλώς όλο το raw output. Καταγράφει ουσιώδεις αλλαγές σε preprocessing, μοντέλα και hyperparameters και τις συνδέει με την επίδρασή τους στην απόδοση.
Επειδή η απεριόριστη συσσώρευση context μπορεί επίσης να υποβαθμίσει το reasoning, το DoctorAgents καθαρίζει και συνοψίζει το log σε checkpoints, όπως κάθε 15 iterations ή όταν φτάσει το όριο των 5.000 tokens. Διατηρεί σημαντικές βελτιώσεις ή υποβαθμίσεις και ένα μικρό σύνολο πρόσφατων παρατηρήσεων.
Το ablation study υποστηρίζει τον ρόλο της μνήμης. Στο παράδειγμα πρόβλεψης επανεισαγωγής στη ΜΕΘ, το πλήρες σύστημα έφτασε περίπου 0,255 validation AUPRC, η έκδοση χωρίς Consultant περίπου 0,246 και η έκδοση χωρίς Memory περίπου 0,215. Οι συγγραφείς παρατήρησαν ότι χωρίς μνήμη εμφανίζονταν προσωρινές βελτιώσεις που ακολουθούνταν από έντονη πτώση.
Οι τοπικές αλλαγές διατηρούν μια ελεγχόμενη διαδρομή από feedback σε code diff και αποτέλεσμα. Αυτό συνδέεται με το ερώτημα ποιος ευθύνεται όταν μια αυτοματοποίηση AI αποτυγχάνει: κάθε ενέργεια χρειάζεται owner, evidence και rollback path.
Το DoctorAgents-DS αποσυνθέτει το pipeline σε δύο περιοχές. Οι Data Preprocessing agents επικεντρώνονται στη δημιουργία χαρακτηριστικών και οι Model Development agents εξερευνούν οικογένειες μοντέλων και ρυθμίσεις εκπαίδευσης. Κάθε περιοχή έχει δικό της Generator και Evaluator.
Το preprocessing pipeline παράγει εμπλουτισμένες αναπαραστάσεις, metadata μετασχηματισμών και προεπεξεργασμένο dataset. Στη συνέχεια ο model agent δημιουργεί το μοντέλο και επιστρέφει αποτελέσματα μαζί με feature importance που υπολογίζεται μέσω SHAP. Οι δύο ενότητες ενημερώνονται διαδοχικά μέσα στον ίδιο optimization loop.
Αυτός ο διαχωρισμός αποτρέπει μια συνηθισμένη σύγχυση: η απόδοση δεν εξαρτάται μόνο από την επιλογή classifier. Σε temporal data, ο τρόπος που ορίζονται recency, slopes, variability, observation counts και missingness μπορεί να είναι εξίσου καθοριστικός.
Η αξιολόγηση κάλυψε τρεις εργασίες από το δημόσιο MIMIC-IV και μία από την κοόρτη EUPA για ρευματοειδή αρθρίτιδα. Οι εργασίες ήταν θνητότητα στη ΜΕΘ, επανεισαγωγή, παρατεταμένη διάρκεια νοσηλείας και ανταπόκριση σε θεραπεία.
Τα τέσσερα benchmarks και το σωστό metric για κάθε task
4.763 ασθενείς, 420 features και οι πρώτες 48 ώρες ως observation window.
6.891 ασθενείς, 482 features και πρόβλεψη επανεισαγωγής εντός επτά ημερών.
7.975 ασθενείς, 399 features και πρόβλεψη παραμονής άνω των τριών ημερών από τις πρώτες 24 ώρες.
105 ασθενείς, 82 features και 1–9 έτη αραιών longitudinal δεδομένων πριν από τη θεραπεία.
Η μέση επίδοση του DoctorAgents-DS στα τέσσερα meta-test benchmarks
Οι τιμές είναι mean scores από stratified five-fold cross-validation της συγκεκριμένης preprint εργασίας. Δεν αποτελούν εγγύηση απόδοσης σε άλλο dataset ή production περιβάλλον.
Η υψηλότερη μέση επίδοση στο MIMIC-IV mortality task.
Καλύτερη μέση επίδοση από τα baselines του συγκεκριμένου setup.
Το υψηλότερο mean score στο task παραμονής άνω των τριών ημερών.
Η καλύτερη μέση επίδοση στη μικρή longitudinal κοόρτη EUPA.
Οι τέσσερις πρωτιές είναι αποτέλεσμα ενός συγκεκριμένου preprint setup. Όλα τα agentic frameworks χρησιμοποίησαν GPT-5 ως backbone, τα αποτελέσματα προέρχονται από πέντε folds και η κοόρτη EUPA είχε μόνο 105 ασθενείς. Η σύγκριση τεκμηριώνει το πείραμα· δεν αποδεικνύει κλινική ετοιμότητα ή γενική υπεροχή του framework.
Οι συγγραφείς αναφέρουν ότι το DoctorAgents-DS είχε την ισχυρότερη μέση επίδοση στα benchmarks. Πέτυχε την υψηλότερη AUPRC στις τρεις MIMIC-IV εργασίες και την υψηλότερη AUROC στη μικρή longitudinal κοόρτη RA. Αυτές οι συγκρίσεις αφορούν τα συγκεκριμένα datasets, splits, budgets και baselines της εργασίας· δεν αποτελούν γενική εγγύηση για οποιοδήποτε κλινικό dataset.
Η δημιουργία task-specific χαρακτηριστικών έχει αξία όταν δεν χάνει την προέλευση και το πλαίσιο της πληροφορίας. Η ίδια αρχή εμφανίζεται στους αφηρημένους αιτιακούς κανόνες για συστήματα AI, όπου η μεταφορά γνώσης χρειάζεται provenance και ελέγχους σε νέες περιπτώσεις.
Η εργασία δεν περιορίστηκε στη βαθμολογία πρόβλεψης. Εξέτασε και τα χαρακτηριστικά που παρήγαγε το DoctorAgents-DS. Στη θνητότητα, τα σημαντικά features συνδύαζαν μεταβολικές και αιμοδυναμικές μεταβολές, νευρολογική κατάσταση και ένταση παρακολούθησης στις πρώτες 48 ώρες.
Στην επανεισαγωγή, εμφανίστηκαν χαρακτηριστικά κοντά στο εξιτήριο, όπως ο αριθμός μετρήσεων καρδιακού ρυθμού στις τελευταίες έξι ώρες και η κλίση του αναπνευστικού ρυθμού. Για τη διάρκεια νοσηλείας, δημιουργήθηκαν δείκτες πρόσφατης αναπνευστικής υποστήριξης, οξυγόνωσης, νευρολογικής κατάστασης και recency εργαστηριακών μετρήσεων.
Στην ανταπόκριση της ρευματοειδούς αρθρίτιδας, η αναπαράσταση συνδύαζε γενετικούς και ορολογικούς παράγοντες, πρόσφατη δραστηριότητα νόσου, διαχρονική μεταβλητότητα και επιλογή θεραπείας. Το ουσιώδες εύρημα είναι ότι το σύστημα δεν εφάρμοσε ένα ενιαίο preprocessing template σε όλες τις εργασίες.
Το production gate για ένα agentic AutoML workflow
Ένα καλύτερο validation score δεν αρκεί αν δεν μπορείτε να αναπαραγάγετε το split, το diff κώδικα, το metric και την απόφαση που επέλεξε την τελική έκδοση.
Ορίστε σταθερό evaluation protocol, sandboxed execution, όρια πόρων, approvals για κάθε αλλαγή δεδομένων ή μοντέλου, audit trail και rollback. Διαχωρίστε το repair από το optimization και στείλτε αβέβαια ή high-impact αποτελέσματα σε άνθρωπο.
Πριν περάσει ένα agentic σύστημα στην παραγωγή, χρειάζεται να ελεγχθούν retrieval, actions, identity και leakage ως ένα ενιαίο σύστημα. Το πλαίσιο RAIL για AI προσφέρει έναν πρακτικό τρόπο να οργανωθούν αυτά τα gates.
Η πρώτη πρακτική αρχή είναι να αποσυνδέεται η παραγωγή από την αξιολόγηση. Ο agent που γράφει κώδικα δεν πρέπει να είναι το μοναδικό σημείο ελέγχου του. Η δεύτερη είναι να εκτελείται και να μετριέται κάθε σημαντική αλλαγή. Η τρίτη είναι να αποθηκεύεται όχι μόνο το τελικό artifact αλλά και η σχέση ανάμεσα στην αλλαγή και στο αποτέλεσμα.
Για e-commerce ή marketing analytics, ένα ανάλογο workflow θα μπορούσε θεωρητικά να αφορά forecasting, propensity models ή segmentation pipelines. Όμως η μελέτη δεν αξιολόγησε τέτοιες χρήσεις. Η ασφαλής μεταφορά είναι αρχιτεκτονική: σαφές task specification, leakage checks, περιορισμένες αλλαγές, reproducible evaluation, persistent memory και ανθρώπινος έλεγχος πριν από production.
Ειδικά σε μικρά datasets, η βελτίωση ενός validation metric δεν αρκεί. Χρειάζονται σταθερά splits, κατάλληλο metric, uncertainty analysis και έλεγχος ότι η αυτοματοποίηση δεν εκμεταλλεύεται τυχαίες ιδιαιτερότητες του δείγματος. Το DoctorAgents προσθέτει reasoning και μνήμη, αλλά δεν καταργεί τις βασικές απαιτήσεις επιστημονικής επικύρωσης.
Η λειτουργία με plugins και εξωτερικά εργαλεία μεγαλώνει την επιφάνεια ευθύνης. Στο άρθρο για τα plugins του ChatGPT και του Codex σε επαναλήψιμα workflows, τα permissions, η εποπτεία και η επαναληψιμότητα αντιμετωπίζονται ως μέρος του σχεδιασμού και όχι ως μεταγενέστερο πρόσθετο.
Η εργασία είναι preprint και τα ευρήματα προέρχονται από τέσσερις εργασίες. Η κλινική χρησιμότητα ενός predictive pipeline δεν αποδεικνύεται μόνο από AUPRC ή AUROC. Απαιτούνται εξωτερική επικύρωση, έλεγχος calibration, μελέτη αλλαγών στη ροή εργασίας, αξιολόγηση fairness και σαφής κλινική διακυβέρνηση.
Επίσης, τα LLM-based evaluations και οι generated features χρειάζονται ανεξάρτητη επιθεώρηση. Η ύπαρξη readable code και περιγραφών βοηθά την εξέταση, αλλά δεν εγγυάται ότι μια συσχέτιση είναι κλινικά αιτιώδης ή ασφαλής για απόφαση.
Άρα το σωστό συμπέρασμα δεν είναι ότι οι agents μπορούν να αντικαταστήσουν data scientists ή κλινικούς ειδικούς. Είναι ότι η ανάπτυξη pipeline μπορεί να οργανωθεί ως ελεγχόμενος κύκλος εξειδικευμένων ρόλων, feedback, μνήμης και εκτέλεσης, με τους ανθρώπους να παραμένουν υπεύθυνοι για το πλαίσιο και την τελική χρήση.
Το DoctorAgents επαναπροσδιορίζει το AutoML ως διαδικασία που θυμάται και διορθώνεται. Ο Consultant βελτιώνει την αφετηρία, ο Generator συνθέτει το pipeline, ο Repairer αποκαθιστά την εκτέλεση, ο Evaluator εντοπίζει αδυναμίες, ο Optimizer κάνει στοχευμένες αλλαγές και ο Logger διατηρεί την ιστορία των αποφάσεων.
Τα αποτελέσματα δείχνουν ότι ο συνδυασμός αυτών των ρόλων μπορεί να είναι αποτελεσματικός στα συγκεκριμένα μικρά temporal clinical datasets και ότι η μνήμη συμβάλλει στη σταθερότητα της βελτίωσης. Η μεγαλύτερη αξία για επιχειρήσεις και τεχνικές ομάδες είναι η σχεδιαστική πειθαρχία: λιγότερη τυφλή αναγέννηση, περισσότερη τεκμηριωμένη επανάληψη.
Business Automation & AI by TWO DOTS
Σχεδιάστε agentic workflows που θυμούνται τι άλλαξε, μετρούν το αποτέλεσμα και σταματούν με ασφάλεια.
Η TWO DOTS χαρτογραφεί ρόλους, εργαλεία, permissions, evaluation gates, audit trails και ανθρώπινες εγκρίσεις, ώστε κάθε iteration ενός AI workflow να είναι αναπαραγώγιμο και αναστρέψιμο.
Frequently Asked Questions (FAQs)
Είναι ένα ερευνητικό multi-agent framework που δημιουργεί, εκτελεί, αξιολογεί και βελτιώνει pipelines machine learning για μικρά χρονικά κλινικά δεδομένα.
Αντί να στηρίζεται κυρίως σε brute-force αναζήτηση μέσα σε προκαθορισμένο χώρο, χρησιμοποιεί εξειδικευμένους ρόλους, εκτέλεση κώδικα, feedback σε φυσική γλώσσα, τοπικές αλλαγές και επίμονη μνήμη.
Ο Evaluator παράγει αξιολόγηση σε φυσική γλώσσα και αυτή μετατρέπεται σε στοχευμένες οδηγίες αλλαγής του pipeline. Δεν υπολογίζεται κλασικό αριθμητικό gradient πάνω στον πηγαίο κώδικα.
Οι ρόλοι είναι Consultant, Generator, Repairer, Logger, Evaluator και Optimizer. Χωρίζουν την ανάλυση, την παραγωγή, την αποκατάσταση εκτέλεσης, τη μνήμη, την αξιολόγηση και τη βελτίωση.
Συνδέει τις αλλαγές με τα αποτελέσματά τους, ώστε το σύστημα να μην επαναλαμβάνει αποτυχίες ή να αντικαθιστά στοιχεία που είχαν ήδη λειτουργήσει. Στο ablation της επανεισαγωγής, η έκδοση χωρίς Memory ήταν σαφώς πιο ασταθής.
Σε τρεις εργασίες από το MIMIC-IV — θνητότητα, επανεισαγωγή και παρατεταμένη νοσηλεία στη ΜΕΘ — και σε μία μικρή κοόρτη EUPA για ανταπόκριση σε θεραπεία ρευματοειδούς αρθρίτιδας.
Όχι. Πρόκειται για preprint με αποτελέσματα σε τέσσερις ερευνητικές εργασίες. Κλινική χρήση απαιτεί εξωτερική επικύρωση, calibration, fairness, ασφάλεια εκτέλεσης και σαφή ανθρώπινη διακυβέρνηση.
Η αρχιτεκτονική μπορεί να ενημερώσει άλλα AI workflows, αλλά η εργασία δεν δοκίμασε marketing ή e-commerce εφαρμογές. Κάθε μεταφορά χρειάζεται δικό της evaluation protocol, leakage checks, approvals και production tests.
