ATHENA: όταν η AI μεταφέρει γνώση αρχιτεκτονικής από νοσοκομείο σε νοσοκομείο

Γιατί δεν υπάρχει ένα Transformer για κάθε νοσοκομείο

Οι ηλεκτρονικοί φάκελοι υγείας είναι χρονικές ακολουθίες από διαγνώσεις, φάρμακα, εργαστηριακές εξετάσεις και διαδικασίες. Το μοντέλο πρέπει να συνδυάζει γεγονότα με διαφορετική πυκνότητα, διάρκεια και κλινική σημασία. Ακόμη και όταν δύο οργανισμοί χρησιμοποιούν παρόμοια κωδικοποίηση, οι πληθυσμοί, οι ροές φροντίδας, η συχνότητα των αποτελεσμάτων και η ποιότητα της καταγραφής μπορούν να διαφέρουν αισθητά.

Για αυτό η καλύτερη αρχιτεκτονική δεν είναι αυτονόητη. Το embedding dimension, το βάθος, τα attention heads και η αναλογία του feed-forward τμήματος επηρεάζουν την ικανότητα του μοντέλου, το πλήθος παραμέτρων και το κόστος. Μια ρύθμιση που αποδίδει καλά στην ενδονοσοκομειακή θνησιμότητα δεν είναι κατ’ ανάγκη η καλύτερη για επανεισαγωγή, πρόβλεψη φαινοτύπων ή πρόταση φαρμάκων.

Η πλήρης neural architecture search είναι ακριβή επειδή κάθε υποψήφιο μοντέλο μπορεί να απαιτεί δικό του pretraining και fine-tuning. Η χειροκίνητη επιλογή μειώνει τις δοκιμές, αλλά μεταφέρει το βάρος στην εμπειρία της ομάδας και δυσκολεύει την αναπαραγωγή. Το ATHENA επιχειρεί μια τρίτη διαδρομή: να επαναχρησιμοποιεί τεκμηριωμένη γνώση από προηγούμενες αναζητήσεις χωρίς να θεωρεί ότι η ίδια απάντηση ισχύει παντού.

Το πρόβλημα μοιάζει με το geographic domain shift ενός AI μοντέλου σε νέα αγορά. Η μεταφορά τεχνογνωσίας είναι χρήσιμη, αλλά η νέα κατανομή δεδομένων και οι τοπικές συνθήκες πρέπει να μετρηθούν αντί να θεωρηθούν ίδιες.

Πώς λειτουργεί το ATHENA σε δύο στάδια

Το όνομα σημαίνει Agentic Transfer across Hospitals for EHR Neural Architecture Search. Στο πρώτο στάδιο, κάθε νοσοκομείο εκπαιδεύει ένα AutoFormer-style supernet με masked language modeling. Το supernet περιέχει τις μέγιστες διαθέσιμες διαστάσεις και μπορεί να ενεργοποιεί διαφορετικά slices βαρών ώστε να προκύπτουν μικρότερα subnetworks χωρίς ανεξάρτητο pretraining για κάθε υποψήφιο.

Στα τέσσερα OneFlorida+ source sites, οι ερευνητές αξιολογούν 100 διακριτές αρχιτεκτονικές ανά συνδυασμό site και task. Κάθε record περιλαμβάνει το νοσοκομείο, την εργασία, τη διαμόρφωση, τον αριθμό παραμέτρων και τις μετρικές επίδοσης. Έτσι δημιουργείται μια βάση πειραματικής γνώσης που δεν είναι απλό κείμενο σε prompt, αλλά δομημένο ιστορικό με συγκρίσιμα πεδία.

Στο δεύτερο στάδιο, το ATHENA αναζητά αρχιτεκτονική σε ένα target site. Συνδυάζει δύο layers prior γνώσης με το validation feedback που παράγεται τοπικά. Το held-out OneFlorida+ Site E και το εξωτερικό MIMIC-IV αποκλείονται από την κατασκευή του prior, ώστε το σύστημα να μην «βλέπει» τα target αποτελέσματα πριν ξεκινήσει η αναζήτηση.

Αυτή η λογική θυμίζει το DoctorAgents για AutoML με μνήμη και διακριτούς ρόλους: η αξία δεν βρίσκεται στην ετικέτα «multi-agent», αλλά στη ρητή κατάσταση του πειράματος, στις νόμιμες επιλογές και στον μηχανισμό αξιολόγησης που κλείνει τον βρόχο.

Τι μεταφέρεται και τι παραμένει τοπικό

Το πρώτο layer του prior ανακτά πέντε υψηλής επίδοσης αρχιτεκτονικές από source site που ταιριάζει στην εργασία ή, όταν δεν υπάρχει ακριβής αντιστοίχιση, από συγγενές task. Το δεύτερο layer συγκεντρώνει evaluations από τα source hospitals, εκπαιδεύει XGBoost meta-regression και χρησιμοποιεί SHAP για να εκτιμήσει ποιες επιλογές αρχιτεκτονικής συνδέονται θετικά ή αρνητικά με την επίδοση.

Το paper δεν περιγράφει μεταφορά ατομικών φακέλων ασθενών μεταξύ των target συστημάτων. Μεταφέρονται task descriptors, αρχιτεκτονικές, parameter counts και aggregate metrics. Αυτό είναι διαφορετικό από federated learning, όπου πολλοί κόμβοι συνεισφέρουν στην εκπαίδευση ενός κοινού μοντέλου. Η ανάλυση για το FL-MAESTRO και το federated learning δείχνει την άλλη πλευρά: ακόμη και όταν τα raw δεδομένα μένουν τοπικά, gradients, metadata, access policies και logs εξακολουθούν να χρειάζονται governance.

Στο ATHENA, το target validation παραμένει το κρίσιμο control. Η εμπειρία από άλλο νοσοκομείο μπορεί να περιορίσει τον χώρο αναζήτησης ή να δώσει καλύτερη αρχική κατεύθυνση, αλλά δεν αποδεικνύει ότι η ίδια αρχιτεκτονική θα έχει ίδια επίδοση, calibration ή fairness σε νέο πληθυσμό.

Πώς το supernet αλλάζει το κόστος της αναζήτησης

Με συμβατική αξιολόγηση, ο συνολικός χρόνος αυξάνεται περίπου με το πλήθος των υποψηφίων, επειδή κάθε αρχιτεκτονική προεκπαιδεύεται και γίνεται fine-tune ανεξάρτητα. Με weight sharing, το νοσοκομείο πληρώνει μία φορά το pretraining του supernet και κατόπιν ενεργοποιεί το κατάλληλο subnetwork για κάθε δοκιμή.

Σε μία NVIDIA L4, για 30 υποψηφίους στο held-out OneFlorida+ site, η μελέτη αναφέρει 90 GPU-minutes με shared weights έναντι εκτιμώμενων 960 GPU-minutes με ανεξάρτητο pretraining, δηλαδή επιτάχυνση 10,7 φορές. Στο MIMIC-IV, οι αντίστοιχες τιμές είναι 59 και 900 GPU-minutes, ή 15,3 φορές. Η επιτάχυνση αυξάνεται όσο προστίθενται υποψήφιοι, επειδή το αρχικό κόστος του supernet μοιράζεται σε περισσότερες αξιολογήσεις.

Το weight sharing είναι proxy αξιολόγηση και όχι τέλειο υποκατάστατο του πλήρους training. Σε 150 sampled αρχιτεκτονικές στο MIMIC-IV, η συσχέτιση κατάταξης ήταν υψηλή για τα multilabel tasks, αλλά η AUPRC Spearman correlation έπεσε στο 0,412 για readmission. Άρα η γρήγορη κατάταξη είναι χρήσιμη, αλλά η πιστότητά της αλλάζει ανά εργασία.

Τρεις agents με διαφορετικούς ρόλους

Ο Proposal Agent βλέπει το budget, τα priors, το ιστορικό και τη στρατηγική exploration ή exploitation και προτείνει υποψηφίους με αιτιολόγηση. Ο Critic Agent ελέγχει αν η διαμόρφωση είναι νόμιμη, αν έχει ήδη δοκιμαστεί και αν χρειάζεται αναθεώρηση. Ο Experiment Agent κάνει fine-tune τα αποδεκτά subnetworks και επιστρέφει validation metrics στο ordered search memory.

Ένα strategy module επιλέγει για τον επόμενο γύρο αν πρέπει να εξερευνηθούν υποεκπροσωπημένες περιοχές ή να αξιοποιηθούν οι καλύτερες έως τώρα. Το paper επιτρέπει έως τρία critique passes ανά γύρο και σταματά ύστερα από τρεις συνεχόμενους γύρους χωρίς νέο νόμιμο υποψήφιο. Για όλες τις LLM-based μεθόδους χρησιμοποιήθηκε το ίδιο Claude 3.5 Haiku, ώστε η σύγκριση να αφορά τη search policy και όχι διαφορετικό backbone.

Η διάσπαση δεν αποδεικνύει ότι οι agents «σκέφτονται» όπως κλινικοί ή ML architects. Δείχνει όμως έναν πρακτικό κανόνα: παραγωγή, policy validation, εκτέλεση και στρατηγική μπορούν να έχουν ξεχωριστά contracts και logs. Αυτό κάνει ένα workflow πιο ελέγξιμο από μια ενιαία αδιαφανή κλήση που προτείνει και εγκρίνει τη δική της πρόταση.

Σε επιχειρησιακό περιβάλλον, η ίδια αρχή βοηθά να οριστούν δικαιώματα και ευθύνες. Ένα component προτείνει, άλλο επιβεβαιώνει schema και όρια, ένα τρίτο εκτελεί μόνο εγκεκριμένη ενέργεια και η τελική απόφαση καταγράφεται. Η αξιοπιστία προκύπτει από τη ροή, όχι από το πλήθος των agents.

Έξι εργασίες, δύο target συστήματα και 256 αρχιτεκτονικές

Η μελέτη καλύπτει έξι εργασίες: θνησιμότητα εντός νοσοκομείου, παραμονή άνω των επτά ημερών, επανεισαγωγή σε τρεις μήνες, πρόβλεψη φαινοτύπων σε έξι μήνες, πρόβλεψη φαινοτύπων σε δώδεκα μήνες και πρόταση φαρμάκων στην ίδια επίσκεψη. Τα phenotype tasks έχουν 18 labels και το drug recommendation 55 ATC level-4 κλάσεις.

Οι τέσσερις OneFlorida+ πηγές σχηματίζουν το prior. Το Site E λειτουργεί ως internal held-out target και το MIMIC-IV ως external target. Μετά τα κριτήρια cohort construction, το paper αναφέρει 84.479 ασθενείς και 135.955 εισαγωγές στο Site E, καθώς και 60.706 ασθενείς και 84.492 εισαγωγές στο MIMIC-IV study cohort. Αυτοί οι αριθμοί είναι μικρότεροι από το σύνολο της δημόσιας MIMIC-IV βάσης, επειδή εφαρμόζονται συγκεκριμένα inclusion criteria.

Ο ακατέργαστος search space έχει τέσσερις τιμές για καθεμία από τις τέσσερις διαστάσεις: embedding 32, 64, 128 ή 256 και depth, attention heads και MLP ratio 1, 2, 4 ή 8. Αυτό δίνει 4⁴, δηλαδή 256 συνδυασμούς. Αποκλείονται configurations όπου το embedding dimension δεν διαιρείται από τα heads ή όπου το μοντέλο ξεπερνά τα τέσσερα εκατομμύρια παραμέτρων.

Το validation set καθοδηγεί την αναζήτηση και την επιλογή αρχιτεκτονικής. Το test set αξιολογείται μία φορά, αφού ολοκληρωθεί η search διαδικασία. Αυτή η διάκριση είναι ουσιώδης: αν ένα σύστημα συμβουλεύεται επανειλημμένα το test set, το «ανεξάρτητο» αποτέλεσμα παύει να είναι ανεξάρτητο.

Τι έδειξαν οι συγκρίσεις ίσου κόστους

Οι συγγραφείς οργανώνουν δύο συμπληρωματικές συγκρίσεις. Στην αυστηρή equal-compute ρύθμιση, το ATHENA έχει budget 30 evaluations με shared weights, ενώ οι baselines ακολουθούν ανεξάρτητο pretraining και fine-tuning μέσα στο ίδιο συνολικό compute. Εκεί το ATHENA έχει την υψηλότερη μέση test AUPRC σε 10 από 12 hospital-task γραμμές και σημαντική υπεροχή έναντι όλων των baselines σε 9 από 12, με paired bootstrap στα ίδια seeds και test sets.

Η εικόνα δεν είναι απόλυτη. Στο OneFlorida+ mortality, το GENIUS έχει ελαφρώς υψηλότερη μέση AUPRC, ενώ στο readmission το ATHENA βρίσκεται κάτω από όλες τις baselines. Στα έξι MIMIC-IV tasks, αντίθετα, το ATHENA υπερέχει σημαντικά και των τεσσάρων baselines. Η σωστή ανάγνωση είναι ισχυρή συνολική επίδοση υπό συγκεκριμένο budget, όχι καθολική νίκη σε κάθε endpoint.

Στη δεύτερη ρύθμιση, όλες οι μέθοδοι ξεκινούν από το ίδιο pretrained supernet και διαφέρουν μόνο στον τρόπο αναζήτησης. Με budget 5 evaluations, το ATHENA κατατάσσεται πρώτο σε 10 από 12 περιπτώσεις. Με budgets 20 και 30, κατατάσσεται πρώτο σε 9 από 12. Η διαφορά εμφανίζεται νωρίς στα multilabel tasks, ενώ mortality, length of stay και readmission συγκλίνουν πιο στενά.

Το αποτέλεσμα έχει μεγαλύτερη αξία επειδή το ATHENA δεν κερδίζει απλώς αξιολογώντας περισσότερα ή μεγαλύτερα μοντέλα. Στο budget 30, αξιολογεί κατά μέσο όρο 22,5 αρχιτεκτονικές στο OneFlorida+ και 19,6 στο MIMIC-IV, λιγότερες από το μέγιστο. Στο OneFlorida+, η επιλεγμένη αρχιτεκτονική έχει κατά μέσο όρο 1,55 εκατ. παραμέτρους, χαμηλότερα από τα 1,90 εκατ. του GENIUS.

Γιατί η σταθερότητα επιλογής δεν σημαίνει κλινική ποιότητα

Οι ερευνητές τρέχουν κάθε search method σε πέντε random seeds και μετρούν πόσο συχνά επιλέγεται η modal αρχιτεκτονική ανά task. Στο OneFlorida+, ATHENA και evolutionary search φτάνουν μέση modal selection rate 40,0%. Στο MIMIC-IV, το ATHENA φτάνει 43,3%, έναντι 20,0%-33,3% για τις baselines.

Η μετρική δείχνει συνέπεια, όχι ότι η επιλεγμένη αρχιτεκτονική είναι κλινικά καλύτερη. Ένα σύστημα μπορεί να επαναλαμβάνει σταθερά την ίδια λανθασμένη επιλογή. Για αυτό η modal rate πρέπει να διαβάζεται μαζί με held-out predictive metrics, calibration, subgroup analyses, operational constraints και εξωτερική αξιολόγηση.

Ακόμη και η AUPRC δεν απαντά αν το μοντέλο είναι καλά calibrated, αν η επίδοση είναι δίκαιη σε κρίσιμες υποομάδες ή αν το output βελτιώνει πραγματική κλινική απόφαση. Το ATHENA αξιολογεί ανάπτυξη μοντέλου σε retrospective datasets. Δεν αναφέρει prospective deployment, επίδραση σε κλινικές ροές ή outcomes ασθενών.

Τι μπορούν να κρατήσουν οι επιχειρήσεις εκτός υγείας

Το πρώτο μάθημα είναι η οργανωσιακή μνήμη. Πολλές ομάδες επαναλαμβάνουν δοκιμές επειδή τα αποτελέσματα είναι διασκορπισμένα σε notebooks, tickets και προσωπικές σημειώσεις. Το ATHENA μετατρέπει κάθε evaluation σε δομημένο record με context, configuration, cost και metrics. Έτσι η επόμενη αναζήτηση ξεκινά από evidence και όχι από μνήμη ανθρώπων.

Το δεύτερο μάθημα είναι η ισοτιμία κόστους. Ένα agentic σύστημα μπορεί να φαίνεται καλύτερο απλώς επειδή έκανε περισσότερα βήματα, χρησιμοποίησε ακριβότερο model ή είχε μεγαλύτερο search budget. Η equal-compute σύγκριση του paper αναγκάζει τις μεθόδους να ανταγωνιστούν μέσα στο ίδιο υπολογιστικό όριο.

Το τρίτο μάθημα είναι η τοπική επικύρωση. Ένα prior από άλλη ομάδα, αγορά ή business unit πρέπει να περιορίζει και να ενημερώνει το search, όχι να αντικαθιστά το νέο holdout. Η χρήσιμη μεταφορά δεν είναι «κάνε ακριβώς ό,τι πέτυχε αλλού», αλλά «δοκίμασε πρώτα εκεί όπου το προηγούμενο evidence είναι ισχυρό».

Το τέταρτο είναι το audit trail. Η μετάβαση από data silos σε αρχιτεκτονική εμπιστοσύνης απαιτεί versioned datasets, πηγή κάθε prior, search transcript, rejected candidates, validation results και τελική έγκριση. Χωρίς αυτά, η πειραματική μνήμη γίνεται νέο αδιαφανές silo.

Τα όρια πριν από οποιαδήποτε παραγωγική υπόσχεση

Το paper είναι preprint και περιλαμβάνει δύο target health systems, έξι downstream tasks, ένα συγκεκριμένο Transformer family και τέσσερις διαστάσεις αρχιτεκτονικής. Tokenization, temporal representations, prediction heads, attention mechanisms και training hyperparameters παραμένουν σταθερά. Η απόδοση δεν αποδεικνύει ότι το ίδιο prior θα μεταφερθεί σε άλλα EHR schemas, χώρες, specialties ή μεγαλύτερα models.

Το MIMIC-IV προσθέτει εξωτερική αξιολόγηση, αλλά προέρχεται από ένα ακαδημαϊκό medical center. Το OneFlorida+ data δεν είναι δημόσιο και απαιτεί θεσμική πρόσβαση, ενώ το MIMIC-IV απαιτεί credentialing, training και data-use agreement. Οι study-specific analytic datasets δεν μπορούν να αναδιανεμηθούν από τους συγγραφείς. Αυτοί οι περιορισμοί δυσκολεύουν την πλήρη ανεξάρτητη αναπαραγωγή.

Η μεταφορά aggregate metadata επίσης δεν καταργεί τις υποχρεώσεις ιδιωτικότητας και ασφάλειας. Task descriptors, prevalence, performance metrics και architecture histories μπορούν να αποκαλύπτουν πληροφορίες για έναν οργανισμό ή να χρησιμοποιηθούν έξω από τον σκοπό για τον οποίο συλλέχθηκαν. Χρειάζονται data classification, access control, retention policy, provenance και έλεγχος για leakage.

Το NIST AI RMF προσφέρει χρήσιμη διάταξη: govern για ρόλους και λογοδοσία, map για context και επηρεαζόμενους ανθρώπους, measure για τεχνικές και κοινωνικές μετρικές και manage για controls, monitoring και incidents. Ο πρακτικός έλεγχος μπορεί να ξεκινήσει και από τα τέσσερα ερωτήματα του RAIL πριν μπει ένα AI μοντέλο στην παραγωγή: τι μετρήθηκε, σε ποιο πλαίσιο, ποιος αποφασίζει και πώς ανακαλείται η αλλαγή.

Ένα ελεγχόμενο pilot σε επτά βήματα

Ένα επιχειρησιακό pilot δεν χρειάζεται να αναπαράγει κλινικό NAS. Μπορεί όμως να υιοθετήσει την ίδια πειθαρχία: στενό use case, δομημένο ιστορικό, κοινό budget, ανεξάρτητο validation και σαφές deployment gate. Η πρώτη έκδοση πρέπει να περιορίζει το ρίσκο και να παράγει evidence για την επόμενη απόφαση.

Το pilot πρέπει να καταλήγει σε απόφαση με όρους, όχι σε γενική διακήρυξη ότι «οι agents απέδωσαν καλύτερα». Χρειάζεται να είναι σαφές ποιο evidence μεταφέρεται, πού απαιτείται νέα αξιολόγηση, ποιο budget εγκρίνεται και ποια αποτυχία ενεργοποιεί ανθρώπινη αναθεώρηση ή rollback.

Το πραγματικό μάθημα του ATHENA

Το ATHENA συνδυάζει τρεις ώριμες ιδέες: weight sharing για φθηνότερη αξιολόγηση, δομημένη επανάχρηση προηγούμενης γνώσης και διακριτούς agentic ρόλους. Το αποτέλεσμα είναι ισχυρό στο συγκεκριμένο πείραμα: ταχύτερη search διαδικασία, πρώτη θέση σε 9 από 12 κοινό-supernet συγκρίσεις στο budget 30 και μεγαλύτερη συνέπεια επιλογής στο MIMIC-IV.

Η αξία του δεν είναι μια κλινική υπόσχεση. Είναι ένα αρχιτεκτονικό μοτίβο για ομάδες που θέλουν να πάψουν να επαναλαμβάνουν τα ίδια πειράματα χωρίς μνήμη. Η προηγούμενη εμπειρία μπορεί να γίνει prior, αρκεί να συνοδεύεται από provenance, όρια, ίσο budget και νέα τοπική επικύρωση.

Σε κάθε σοβαρό AI workflow, η καλύτερη συντόμευση δεν είναι να παρακάμψουμε τον έλεγχο. Είναι να χρησιμοποιήσουμε παλιό evidence ώστε να ελέγξουμε πρώτα τους πιο υποσχόμενους υποψηφίους. Αυτό εξοικονομεί compute χωρίς να μετατρέπει την εμπειρία άλλου site σε αδιαμφισβήτητο κανόνα.

Για επιχειρήσεις, το συμπέρασμα είναι καθαρό: η οργανωσιακή μνήμη, η ανεξάρτητη επικύρωση και τα αναστρέψιμα deployment gates είναι πιο σημαντικά από ένα εντυπωσιακό agent prompt. Όταν αυτά υπάρχουν, η AI μπορεί να επιταχύνει την αναζήτηση χωρίς να αποκρύπτει ποιος αποφάσισε, με ποια δεδομένα και με ποια δυνατότητα ανάκλησης.