EvoPINN: όταν ένας AI agent ανακαλύπτει νέους αλγορίθμους για τη φυσική

Γιατί τα PINNs είναι δύσκολο πεδίο για αυτοματοποίηση

Τα physics-informed neural networks, ή PINNs, προσεγγίζουν τη λύση μιας μερικής διαφορικής εξίσωσης ενσωματώνοντας τους φυσικούς νόμους στη συνάρτηση απώλειας. Αντί να εκπαιδεύονται αποκλειστικά πάνω σε ζεύγη εισόδου και σωστής απάντησης, τιμωρούν τις παραβιάσεις της εξίσωσης, των οριακών συνθηκών και, όπου χρειάζεται, των αρχικών συνθηκών. Πρόκειται για μια ελκυστική mesh-free προσέγγιση, αλλά η απόδοσή της εξαρτάται από πολλές αλληλένδετες αποφάσεις.

Η αναπαράσταση των συντεταγμένων, η αρχιτεκτονική του δικτύου, η στάθμιση των επιμέρους losses, τα σημεία collocation και η ακολουθία των optimizers μπορούν να αλλάξουν δραστικά το αποτέλεσμα. Επιπλέον, διαφορετικές φυσικές συμπεριφορές απαιτούν διαφορετικούς μηχανισμούς: οι ταλαντωτικές λύσεις χρειάζονται ευαισθησία στις συχνότητες, ενώ τα προβλήματα nonlinear transport απαιτούν σταθερότητα κοντά σε απότομες κλίσεις. Όπως τονίζει η μελέτη, δεν υπάρχει ένας χειροποίητος σχεδιασμός που να κυριαρχεί παντού.

Αυτό κάνει το πεδίο κατάλληλο αλλά και επικίνδυνο για LLM αυτοματοποίηση. Ένα μοντέλο μπορεί εύκολα να παράγει κώδικα που φαίνεται εύλογος, αλλά είναι μαθηματικά άκυρος, αριθμητικά ασταθής ή ακριβότερος από τον ανταγωνιστή του. Χωρίς εκτέλεση και ελέγχους, η φαινομενική καινοτομία μπορεί να είναι απλώς μια καλογραμμένη αποτυχία.

Η ουσιαστική αλλαγή: από configuration search σε algorithm discovery

Προηγούμενες προσεγγίσεις αυτοματοποιούν κυρίως την επιλογή γνωστών ρυθμίσεων: βάθος, πλάτος, activation functions, optimizer ή συνδυασμούς μέσα σε προκαθορισμένο χώρο αναζήτησης. Ακόμη και agentic συστήματα όπως τα PINNsAgent και Lang-PINN, σύμφωνα με τη σύγκριση των συγγραφέων, συνθέτουν pipelines ή επιλέγουν configurations μέσα σε ανθρώπινα σχεδιασμένα όρια.

Το EvoPINN ανεβάζει το επίπεδο του αντικειμένου αναζήτησης. Ορίζει έναν αλγόριθμο PINN ως ζεύγος δύο προγραμματιστικών modules: το πρώτο περιγράφει τη νευρωνική αναπαράσταση και το δεύτερο το πρόγραμμα εκπαίδευσης. Ο agent μπορεί να αντικαταστήσει προγραμματιστικά το ένα ή το άλλο, άρα δεν ψάχνει μόνο «ποια τιμή να βάλω», αλλά «ποιον μηχανισμό να εκτελέσω».

Για μια ομάδα προϊόντος ή R&D, αυτή είναι κρίσιμη διάκριση. Το configuration search επιλέγει ανάμεσα σε επιλογές που κάποιος έχει ήδη φανταστεί. Το mechanism discovery επιτρέπει στο σύστημα να προτείνει νέα δομή, αλλά απαιτεί πολύ αυστηρότερη διακυβέρνηση επειδή ο χώρος πιθανών αλλαγών είναι ανοιχτός. Η ίδια διάκριση φαίνεται και όταν η AI βελτιστοποιεί εκτελέσιμους kernels για TPU: η ποιότητα κρίνεται στο πραγματικό runtime και όχι στην πειστικότητα του κώδικα.

Δύο modules ώστε η βελτίωση να έχει αιτία

Αν αλλάξουν ταυτόχρονα το δίκτυο και η διαδικασία εκπαίδευσης, είναι δύσκολο να γνωρίζουμε τι προκάλεσε τη βελτίωση ή την αποτυχία. Το EvoPINN αντιμετωπίζει αυτό το πρόβλημα με module-wise evolution: σε κάθε γενιά τροποποιεί μόνο την αναπαράσταση ή μόνο το training program, κρατώντας το άλλο σταθερό.

Η επιλογή δεν γίνεται με άκαμπτη εναλλαγή. Ένας UCB-style scheduler συνδυάζει το πρόσφατο όφελος από κάθε module με την ανάγκη εξερεύνησης του λιγότερο δοκιμασμένου. Η λογική είναι γνωστή από το exploration–exploitation trade-off: το σύστημα αξιοποιεί ό,τι αποδίδει, χωρίς να αφήνει ανεξερεύνητη μια πιθανώς χρήσιμη κατεύθυνση.

Αυτό μεταφράζεται καθαρά σε επιχειρηματικό experimentation. Όταν μια ομάδα αλλάζει μαζί prompt, retrieval, model, UI και κανόνες ασφαλείας, ένα καλύτερο KPI δεν αποκαλύπτει ποια αλλαγή δούλεψε. Ο διαχωρισμός σε ελεγχόμενα modules δημιουργεί audit trail και κάνει τις βελτιώσεις πιο επαναλήψιμες. Είναι η πρακτική πλευρά του credit assignment στους AI agents: αλλάζεις ένα πράγμα τη φορά για να ξέρεις ποια ενέργεια βοήθησε πραγματικά.

Η διάγνωση δίνει στον agent περισσότερα από ένα τελικό score

Ένα μόνο relative-L2 error λέει αν ο υποψήφιος αλγόριθμος ήταν καλύτερος, αλλά όχι γιατί. Το EvoPINN συμπυκνώνει το training trace σε διαγνωστικό state: πρόοδο σύγκλισης, συμπεριφορά προς το τέλος, ταλαντώσεις, συνεισφορά των φυσικών constraints και απόσταση ανάμεσα στο training loss και στο πραγματικό solution error.

Αυτό το state τροφοδοτεί το LLM ώστε οι επόμενες προτάσεις να στοχεύουν το παρατηρημένο πρόβλημα. Μια στάσιμη εκπαίδευση μπορεί να οδηγήσει σε διαφορετική πρόταση από μια εκπαίδευση με έντονες ταλαντώσεις. Η μελέτη δεν αφήνει το μοντέλο να ερμηνεύσει αυθαίρετα raw logs· χρησιμοποιεί μια συμπαγή, προσδιορισμένη διάγνωση ως πλαίσιο.

Παράλληλα, η evolutionary memory αποθηκεύει επιτυχημένα μοτίβα, επίμονες οικογένειες αποτυχιών και πρόσφατες αλλαγές. Διαφορετικά search focuses ενθαρρύνουν τις παράλληλες προτάσεις να εξετάσουν άλλη πτυχή — feature construction, topology, coordinate transformation, loss coordination ή sampling — ώστε να μειώνεται το mode collapse.

Η επαλήθευση είναι το πραγματικό προϊόν του pipeline

Η ισχυρότερη ιδέα του EvoPINN είναι ότι κανένα παραγόμενο πρόγραμμα δεν κερδίζει επειδή ακούγεται πειστικό. Αρχικά συγκρίνεται με τον γονέα του σε επίπεδο source code, κανονικού abstract syntax tree και normalized AST. Με την κανονικοποίηση ιδιωτικών identifiers και αριθμητικών literals, το σύστημα φιλτράρει cosmetic rewrites, μετονομασίες και αλλαγές μόνο στα constants. Οι συγγραφείς διευκρινίζουν σωστά ότι αυτό είναι πρακτικός έλεγχος δομικής πρωτοτυπίας, όχι απόδειξη σημασιολογικής καινοτομίας.

Στη συνέχεια ο υποψήφιος πρέπει να γίνεται parse, να φορτώνεται ως module, να τηρεί τα interfaces και να ολοκληρώνει smoke test. Ελέγχονται forward computation, παράγωγοι, backpropagation, optimizer, sampling interfaces, device placement, finite values, resource bounds και μια σύντομη εκπαίδευση. Επισκευάσιμες αποτυχίες επιστρέφουν στο generator για περιορισμένο αριθμό διορθώσεων· μη έγκυροι μηχανισμοί ή παραβιάσεις πόρων οδηγούν σε νέα πρόταση από τον γονέα.

Μόνο όσοι περάσουν τα gates εκτελούνται στο πλήρες budget. Ακόμη και τότε, μια πρόταση γίνεται μέρος της ενεργής lineage μόνο αν το score της είναι αυστηρά καλύτερο. Αυτό το pattern — generate, validate, execute, compare, accept — είναι πολύ πιο μεταφέρσιμο στις επιχειρήσεις από οποιοδήποτε συγκεκριμένο PINN αποτέλεσμα. Συμπληρώνει την ιδέα των εκτελέσιμων δεξιοτήτων AI: ο κανόνας ή ο κώδικας πρέπει να αποδεικνύει τη λειτουργία του έξω από τη γλωσσική απάντηση.

Δίκαιη σύγκριση: ίδιο budget, όχι κρυφή αύξηση πόρων

Ένας «καλύτερος» αλγόριθμος μπορεί απλώς να χρησιμοποιεί περισσότερα βήματα ή περισσότερα δεδομένα. Για να περιορίσει αυτή την παγίδα, το EvoPINN αξιολογεί τους υποψηφίους με κοινό training budget και κοινό random seed ανά γενιά. Ο προϋπολογισμός καλύπτει optimization steps, αρχικά collocation points και ελέγχους adaptive sampling.

Οι υποψήφιοι μπορούν να ανακατανείμουν δημιουργικά τους πόρους, όχι όμως να αυξήσουν αυθαίρετα το υπολογιστικό αποτύπωμα. Το καλύτερο αποτέλεσμα της αναζήτησης παγώνει και επανεκπαιδεύεται από την αρχή σε πέντε ανεξάρτητα seeds. Το single-run search score δεν παρουσιάζεται ως τελικό αποτέλεσμα, κάτι που μειώνει τον κίνδυνο επιλογής μιας τυχαία ευνοϊκής εκτέλεσης.

Η αυτοματοποιημένη ανακάλυψη χρειάστηκε, ανάλογα με το PDE, από 14,70 έως 51,78 GPU-hours σε NVIDIA RTX 3090 24GB. Αυτό είναι υπενθύμιση ότι agentic research δεν είναι δωρεάν. Το κόστος αξιολόγησης πρέπει να αποτελεί μέρος του σχεδιασμού και όχι υποσημείωση μετά το experiment.

Τι έδειξαν οι τέσσερις κατηγορίες PDE

Οι συγγραφείς αξιολόγησαν frozen αλγορίθμους σε Poisson2D, Burgers1D, Wave1D και Heat2D, καλύπτοντας ελλειπτική, nonlinear transport, κυματική και ανισότροπη θερμική συμπεριφορά. Με χαμηλότερο relative-L2 να σημαίνει καλύτερη λύση, το EvoPINN ξεπέρασε το seed PINN και στα τέσσερα benchmarks.

Απέναντι σε εξειδικευμένες expert baselines, είχε το χαμηλότερο μέσο σφάλμα στα Poisson2D, Burgers1D και Wave1D. Στο Heat2D, η expert-designed anisotropic Fourier baseline κράτησε μικρό προβάδισμα, ενώ το EvoPINN παρέμεινε κοντά. Η λεπτομέρεια έχει σημασία: η εργασία δεν ισχυρίζεται καθολική υπεροχή.

Σε χωριστή σύγκριση με ανώτατο όριο 56 candidate evaluations, το EvoPINN είχε το χαμηλότερο αναφερόμενο σφάλμα σε Burgers1D και Wave1D έναντι LLM Best-of-56, DPSTE και PINNsAgent. Εδώ η ερμηνεία των συγγραφέων είναι ότι feedback από εκτέλεση, μνήμη και module-wise mutation επιτρέπουν αναζήτηση πέρα από έτοιμα templates.

SLRC-PINN και TCROP: δύο διαφορετικά είδη ανακάλυψης

Η πιο χαρακτηριστική αρχιτεκτονική ανακάλυψη είναι το SLRC-PINN για Burgers1D. Συνδυάζει global και local branches, ένα adaptive bank τοπικών bases και έναν gate που ρυθμίζει μόνο τη διορθωτική διαδρομή. Το τελευταίο layer του local decoder ξεκινά με μηδενικά weights και bias, οπότε η αρχική λειτουργία ισούται ακριβώς με το global branch πριν μάθει τη διόρθωση.

Η μελέτη συγκρίνει τον μηχανισμό με parameter-matched global MLP, APINN, FBPINN και HyResPINNs, χρησιμοποιώντας κοινό equation, collocation, objective, 20.000 Adam–L-BFGS steps και πέντε seeds. Οι συγγραφείς τον παρουσιάζουν ως case study μηχανισμού και τον διαχωρίζουν από τον frozen Burgers1D winner του βασικού πίνακα.

Το TCROP δείχνει την άλλη πλευρά: ανακάλυψη training program για Poisson2D. Χαρτογραφεί το διαγνωστικό state σε κατανομή βημάτων Adam και L-BFGS και σε ρυθμό ανανέωσης collocation points. Άρα το agent δεν ανακάλυψε μόνο topology· συνέθεσε συντονισμένη πολιτική optimization και resampling.

Τα ablations αποκαλύπτουν τι δεν πρέπει να αφαιρεθεί

Η ομάδα αφαίρεσε τη διάγνωση, επέτρεψε ταυτόχρονη αλλαγή και των δύο modules και περιόρισε την αναζήτηση μόνο στην αναπαράσταση ή μόνο στο training. Η πλήρης έκδοση είχε το καλύτερο αποτέλεσμα στα Burgers1D και Wave1D υπό κοινό seed, proposal budget και evaluation protocol.

Χωρίς diagnostics η υποβάθμιση ήταν ιδιαίτερα έντονη στο Wave1D. Η ταυτόχρονη mutation των δύο modules προκάλεσε αστάθεια εκτέλεσης, ενώ οι μονομερείς αναζητήσεις υστέρησαν. Τα ευρήματα υποστηρίζουν — μέσα στα συγκεκριμένα benchmarks — ότι representation και optimization dynamics χρειάζονται συν-σχεδιασμό, αλλά με αλλαγές αρκετά απομονωμένες ώστε να παραμένει κατανοητό το credit assignment.

Η δοκιμή μεταφοράς σε γειτονικές παραμέτρους έδωσε επίσης θετικές ενδείξεις. Οι frozen αλγόριθμοι για Wave1D και Heat2D επανεκπαιδεύτηκαν σε μετατοπισμένες παραμέτρους χωρίς νέα αναζήτηση και διατήρησαν ανταγωνιστική απόδοση. Αυτό αποτελεί περιορισμένη ένδειξη adaptability, όχι απόδειξη γενίκευσης σε κάθε PDE.

Τι μπορεί να υιοθετήσει μια επιχείρηση χωρίς να λύνει εξισώσεις

Το πρώτο μάθημα είναι να μετατρέπεις την έξοδο του agent σε υποψήφιο, όχι σε τελικό deliverable. Κώδικας, καμπάνια, automation rule ή πρόταση τιμολόγησης χρειάζεται μηχανικά gates πριν φτάσει σε παραγωγή. Τα gates πρέπει να ελέγχουν εγκυρότητα, συμβατότητα, κόστος, ασφάλεια και measurable outcome.

Το δεύτερο είναι η διατήρηση lineage και μνήμης. Μια λίστα με παλιές απαντήσεις δεν αρκεί· η μνήμη πρέπει να καταγράφει ποια αλλαγή έγινε, ποια διάγνωση την προκάλεσε, αν εκτελέστηκε και γιατί απορρίφθηκε. Έτσι περιορίζεται η επανάληψη αποτυχημένων ιδεών και η ομάδα μπορεί να εξηγήσει την προέλευση ενός αποτελέσματος.

Το τρίτο είναι η δίκαιη αξιολόγηση. Αν ένας agent κερδίζει επειδή κατανάλωσε διπλάσια tokens, χρόνο ή ανθρώπινη επίβλεψη, δεν έχουμε ανακαλύψει απαραίτητα καλύτερη μέθοδο. Χρειάζονται κοινά budgets, ανεξάρτητες επαναλήψεις και reporting set διαφορετικό από εκείνο που χρησιμοποιήθηκε για επιλογή. Το audit trail πρέπει επίσης να δείχνει ποιος αναλαμβάνει όταν η αυτοματοποίηση αποτυγχάνει, ενώ τα εργαλεία του agent χρειάζονται ελάχιστα και δυναμικά δικαιώματα.

Για επιχειρησιακή χρήση, αυτά τα gates συνδέονται με δύο εξωτερικά πρότυπα αναφοράς: το NIST AI RMF ζητά μέτρηση, παρακολούθηση και διακυβέρνηση κινδύνου, ενώ το OWASP AI Agent Security Cheat Sheet δίνει πρακτική έμφαση σε least privilege, sandboxing, validation, monitoring και ανθρώπινη έγκριση για ενέργειες υψηλού αντίκτυπου.

Τα όρια που πρέπει να μείνουν ορατά

Η εργασία αφορά τέσσερα PDE benchmarks και συγκεκριμένη υποδομή. Οι δομικοί AST έλεγχοι δεν αποδεικνύουν ότι ένας μηχανισμός είναι θεωρητικά νέος. Τα reference solutions χρησιμοποιούνται για outer-loop selection, άρα το setup προϋποθέτει διαθέσιμη αξιόπιστη αξιολόγηση. Το compute cost επίσης περιορίζει πόσο εύκολα μπορεί να επεκταθεί η αναζήτηση.

Οι ίδιοι οι συγγραφείς τοποθετούν ως μελλοντική κατεύθυνση τη μεταφορά σε περισσότερα PDEs και ευρύτερες επιστημονικές εφαρμογές. Για έναν επιχειρηματικό αναγνώστη, η σωστή κατάληξη δεν είναι «οι agents θα ανακαλύπτουν τα πάντα». Είναι ότι η ανοιχτή παραγωγή αποκτά αξία όταν περικλείεται από σαφή interfaces, telemetry, verification, περιορισμούς πόρων και αυστηρά κριτήρια αποδοχής.