MolEmb: όταν τα multimodal AI μοντέλα γίνονται μηχανές μοριακής αναζήτησης

Τα μεγάλα multimodal μοντέλα τεχνητής νοημοσύνης έχουν παρουσιαστεί κυρίως ως συστήματα που «βλέπουν», διαβάζουν και παράγουν απαντήσεις. Η μελέτη MolEmb εξετάζει έναν διαφορετικό ρόλο: αν το ίδιο είδος μοντέλου μπορεί να μετατραπεί σε υποδομή αναπαράστασης μορίων, παράγοντας διανύσματα που χρησιμοποιούνται ξανά σε πρόβλεψη ιδιοτήτων, αναζήτηση και ανάκτηση επιστημονικής πληροφορίας.

Η αλλαγή δεν είναι απλώς τεχνική. Ένα κλασικό molecular encoder συνήθως βλέπει μία μορφή του μορίου, όπως γράφο, ακολουθία SMILES ή γεωμετρία, και επιστρέφει ένα σταθερό διάνυσμα. Το MolEmb προτείνει ένα interface όπου το μόριο παρουσιάζεται ως δισδιάστατη απεικόνιση και canonical SMILES, ενώ μια οδηγία φυσικής γλώσσας ορίζει το επιστημονικό πλαίσιο. Έτσι, η ίδια μοριακή ταυτότητα μπορεί να αποκτά διαφορετική χρήσιμη αναπαράσταση όταν το ερώτημα αφορά, για παράδειγμα, τοξικότητα, διαλυτότητα ή διέλευση από τον αιματοεγκεφαλικό φραγμό.

Από ένα σταθερό vector σε οικογένεια αναπαραστάσεων

Οι συγγραφείς ορίζουν το general molecular embedding model ως μια συνάρτηση που δέχεται δύο πράγματα: ένα μοριακό προφίλ με τις διαθέσιμες όψεις του μορίου και ένα σημασιολογικό context. Η έξοδος παραμένει ένα διάνυσμα σταθερού μήκους, όμως δεν είναι αναγκαστικά το ίδιο για κάθε χρήση. Για ένα σταθερό μόριο, το σύνολο των embeddings που προκύπτουν από διαφορετικά contexts σχηματίζει μια context-aware οικογένεια.

Αυτό διαχωρίζει τρεις έννοιες που συχνά συγχέονται. Η μοριακή ταυτότητα λέει ποιο είναι το μόριο. Το προφίλ περιγράφει ποιες παρατηρήσεις έχουμε διαθέσιμες, στη συγκεκριμένη εργασία εικόνα 2D και SMILES. Το context δηλώνει τον επιστημονικό φακό μέσα από τον οποίο πρέπει να οργανωθεί η αναπαράσταση. Το ζητούμενο δεν είναι να «ξέρει τα πάντα» ένα vector, αλλά να ενεργοποιεί τη σωστή πληροφορία για το σωστό έργο.

Για επιχειρήσεις που επενδύουν σε AI υποδομές, η ιδέα θυμίζει ένα ευρύτερο pattern: η αξία δεν βρίσκεται μόνο στην παραγωγή περιεχομένου, αλλά και στη δημιουργία σταθερών representations που τροφοδοτούν search, recommendations, matching και retrieval-augmented workflows. Η ίδια διάκριση εμφανίζεται στα multi-vector embeddings για εταιρική αναζήτηση, όπου η σωστή αναπαράσταση εξαρτάται από το domain και το ερώτημα. Στη χημεία, όμως, το κόστος μιας λανθασμένης γενίκευσης είναι υψηλό, γι’ αυτό η αξιολόγηση πρέπει να διαχωρίζει καθαρά την πρόβλεψη, την ανάκτηση και την ευαισθησία στο context.

Πώς το MolEmb προσαρμόζει ένα MLLM

Το MolEmb κρατά τον pretrained κορμό του multimodal large language model και προσθέτει μικρά εκπαιδεύσιμα LoRA adapters. Το input συνδυάζει τη δισδιάστατη μοριακή απεικόνιση, το canonical SMILES και, όπου χρειάζεται, μια οδηγία φυσικής γλώσσας. Ως τελικό embedding χρησιμοποιείται το hidden state στη θέση end-of-sequence, χωρίς πρόσθετο mean ή CLS pooling.

Η εκπαίδευση ευθυγραμμίζει ζεύγη μορίων και περιγραφών στον ίδιο χώρο. Η μοριακή πλευρά και η κειμενική πλευρά περνούν από τον ίδιο MLLM κορμό σε χωριστά forward passes. Ένα αμφίδρομο contrastive objective τύπου InfoNCE φέρνει κοντά το σωστό ζεύγος και απομακρύνει τα λανθασμένα ζεύγη. Η θερμοκρασία ορίζεται σε 0,07 και τα vectors κανονικοποιούνται πριν από τον υπολογισμό cosine similarity.

Οι ερευνητές δοκιμάζουν τρεις backbones: Intern-S1-mini 8B, Qwen3-VL-8B και Qwen3.5-0.8B. Η επιλογή επιτρέπει να εξεταστεί τόσο ένα επιστημονικά προεκπαιδευμένο μοντέλο όσο και γενικότερα multimodal μοντέλα διαφορετικού μεγέθους. Η προσαρμογή έγινε σε οκτώ NVIDIA A100 GPUs, με LoRA στα γλωσσικά και στα οπτικά components.

Τα δεδομένα ευθυγράμμισης και γιατί η ποικιλία τους μετρά

Η βασική molecule-text ευθυγράμμιση χρησιμοποιεί τρεις πηγές: MolTextNet, KnowMol-100k και ChEBI-20-MM. Η συνθήκη MolTextNet βασίζεται σε corpus περιγραφών μίας κύριας προέλευσης. Η συνθήκη Mixed ενώνει τις τρεις πηγές ώστε να προσθέσει ονόματα, λειτουργικές ομάδες, οντολογικού τύπου ορισμούς και φυσικοχημικά στοιχεία.

Μετά τον παγκόσμιο έλεγχο canonical SMILES, το Mixed σύνολο περιλαμβάνει 411.709 ζεύγη εκπαίδευσης, 4.149 validation και 4.165 test. Η ένωση αφαίρεσε 5.041 διπλότυπα ζεύγη. Οι αριθμοί είναι σημαντικοί όχι για να παρουσιαστεί η κλίμακα ως αυτοσκοπός, αλλά επειδή η μελέτη καταλήγει ότι η κάλυψη των επιστημονικών contexts έχει μεγαλύτερη σημασία από την απλή προσθήκη περισσότερων παρόμοιων περιγραφών.

Στις δοκιμές ιδιοτήτων, η Mixed ευθυγράμμιση βελτιώνει ορισμένα endpoints, ιδιαίτερα ESOL και Tox21, όμως δεν κερδίζει παντού. Το MolTextNet παραμένει ισχυρότερο σε άλλες εργασίες. Αυτό εμποδίζει μια υπεραπλουστευμένη ανάγνωση του τύπου «περισσότερα datasets σημαίνουν πάντα καλύτερο μοντέλο». Η σύνθεση και η σημασιολογική ποικιλία της επίβλεψης καθορίζουν ποια γνώση μεταφέρεται.

Πρόβλεψη μοριακών ιδιοτήτων σε οκτώ benchmarks

Η αξιολόγηση καλύπτει τρία regression benchmarks, ESOL, Lipophilicity και FreeSolv, και πέντε classification benchmarks: BACE, BBBP, ClinTox, Tox21 και SIDER. Για regression χρησιμοποιείται RMSE, όπου μικρότερη τιμή είναι καλύτερη. Για classification χρησιμοποιείται ROC-AUC, με macro averaging στα multi-label σύνολα Tox21 και SIDER.

Η άμεση προσαρμογή των MLLMs, χωρίς προηγούμενη molecule-text alignment, φτάνει ήδη στο εύρος αρκετών pretrained graph μεθόδων, ειδικά στα regression tasks. Για παράδειγμα, το Intern-S1-mini Direct καταγράφει RMSE 0,827 στο ESOL και 1,839 στο FreeSolv, ενώ στο ClinTox καταγράφει ROC-AUC 99,51%. Αυτά είναι αποτελέσματα του συγκεκριμένου πρωτοκόλλου και όχι απόδειξη ότι ένα MLLM υπερέχει γενικά σε κάθε περιβάλλον.

Το πιο προσεκτικό συμπέρασμα είναι ότι το multimodal interface μπορεί να βελτιστοποιηθεί για μοριακή πρόβλεψη. Η αφαίρεση της 2D εικόνας οδηγεί σε μικρές αλλά συνεπείς απώλειες στις περισσότερες εργασίες, άρα η οπτική όψη προσθέτει πληροφορία πέρα από το SMILES. Παρ’ όλα αυτά, η πρόβλεψη με task-specific head δεν αρκεί για να αποδείξει ότι έχουμε ένα επαναχρησιμοποιήσιμο embedding model.

Το κρίσιμο τεστ: molecule-text retrieval

Για να ελέγξουν αν ο χώρος είναι πραγματικά κοινός για μόρια και κείμενο, οι συγγραφείς εκτελούν ανάκτηση molecule-to-text και text-to-molecule σε 2.970 held-out ζεύγη MolTextNet. Το τυχαίο R@1 είναι περίπου 0,034%. Ένα off-the-shelf Qwen3-VL-Embedding-8B πετυχαίνει περίπου 3% R@1 και στις δύο κατευθύνσεις, ένδειξη ότι ένα γενικό multimodal embedding δεν έχει από μόνο του αξιόπιστο χημικό χώρο.

Μετά την contrastive ευθυγράμμιση, όλα τα MolEmb backbones ξεπερνούν το 73% R@1 και στις δύο κατευθύνσεις. Το Intern-S1-mini φτάνει 85,39% για molecule-to-text και 84,88% για text-to-molecule, ενώ το Qwen3.5-0.8B φτάνει αντίστοιχα 83,97% και 84,58%. Το επιστημονικά προεκπαιδευμένο Intern-S1-mini καταγράφει την καλύτερη επίδοση R@1 μεταξύ των τριών backbones.

Η σύγκριση δείχνει γιατί δεν αρκεί να αγοράσει κανείς ένα «γενικό embedding API» και να υποθέσει ότι θα λειτουργήσει σε εξειδικευμένη επιστημονική περιοχή. Το backbone παρέχει δυνατότητες και κοινό interface, αλλά ο αξιόπιστος domain space προκύπτει από στοχευμένη ευθυγράμμιση και από ελέγχους σε δεδομένα που αντιπροσωπεύουν την πραγματική χρήση. Το ίδιο σκεπτικό ισχύει όταν σχεδιάζεται hybrid AI search με λέξεις, embeddings και fallbacks.

MolCAR: όταν το ίδιο μόριο έχει πολλές σωστές απαντήσεις

Το benchmark MolCAR απομονώνει μια δυσκολότερη ερώτηση: μπορεί το μοντέλο να επιλέξει τη σωστή πληροφορία για το ίδιο μόριο όταν αλλάζει μόνο η οδηγία; Κάθε target document συνδέει ένα πραγματικό experimental outcome από μία από οκτώ οικογένειες εργασιών με το ίδιο μοριακό προφίλ. Έτσι, το μοντέλο δεν μπορεί να κερδίσει απλώς αναγνωρίζοντας το μόριο. Πρέπει να διακρίνει τον επιστημονικό φακό.

Το MolCAR-Structured δημιουργεί deterministically κάρτες από πραγματικά labels και molecular descriptors. Το evaluation έχει 4.092 molecule-context pairs πάνω σε 1.653 held-out μόρια. Το MolCAR-Natural αντικαθιστά τις δομημένες κάρτες με επιστημονικού ύφους σημειώσεις που παράγονται από Intern-S1 235B, αλλά επανασυνδέει τα επαληθευμένα observed results και το molecular profile ώστε να διατηρηθεί το ground truth.

Οι οκτώ φακοί περιλαμβάνουν BACE-1 inhibition, διέλευση αιματοεγκεφαλικού φραγμού, υδατοδιαλυτότητα, hydration free energy, lipophilicity, Tox21 toxicity outcomes, clinical toxicity και side-effect profile. Η κύρια μετρική Context R@1 εξετάζει αν το σωστό context κατατάσσεται πρώτο μέσα στα έγγραφα του ίδιου μορίου, αφαιρώντας σε μεγάλο βαθμό το πλεονέκτημα της απλής αναγνώρισης ταυτότητας.

Η αποτυχία της γενικής ευθυγράμμισης και η λύση

Πριν από το continued alignment, οι task instructions ελέγχουν ελάχιστα την κατάταξη context. Στο MolCAR-Structured, το Intern-S1-mini σημειώνει 44,4% Context R@1 με instruction και 40,4% χωρίς instruction. Το Qwen3.5-0.8B βρίσκεται στο 41,1% έναντι 40,4%. Με άλλα λόγια, η γενική molecule-text ευθυγράμμιση έμαθε να συνδέει μόρια και περιγραφές, αλλά δεν έμαθε να διαχωρίζει αξιόπιστα πολλαπλές έγκυρες περιγραφές του ίδιου μορίου.

Οι συγγραφείς αποδίδουν αυτή την κατάρρευση στη δομή των δεδομένων: οι συνηθισμένες περιγραφές είναι σχετικά στενές και templated, ενώ σπάνια παρουσιάζουν το ίδιο μόριο κάτω από διαφορετικούς task lenses. Το MolCAR-Train προσθέτει ακριβώς αυτή την επίβλεψη. Περιλαμβάνει 10.844 ζεύγη για continued alignment, αφού αφαιρεθούν από την εκπαίδευση τα evaluation μόρια με βάση το canonical SMILES.

Μετά το continued alignment, το Intern-S1-mini φτάνει 99,8% Context R@1 στο structured benchmark έναντι 40,4% χωρίς task instruction. Το Qwen3.5-0.8B φτάνει 69,4%. Στη natural παραλλαγή οι αντίστοιχες τιμές είναι 99,2% και 72,0%. Η αλλαγή δεν σημαίνει ότι λύθηκε η ανοιχτή επιστημονική αναζήτηση. Δείχνει, σε ένα ελεγχόμενο benchmark γνωστών task families, ότι η context sensitivity μπορεί να διδαχθεί όταν υπάρχει το σωστό supervision.

Το βασικό data lesson για AI προϊόντα

Το σημαντικότερο εύρημα του MolEmb είναι ότι το context-aware embedding αποτελεί κυρίως ιδιότητα των δεδομένων επίβλεψης. Ένα μεγαλύτερο ή πιο γενικό backbone δεν αρκεί αν το training corpus δεν δείχνει πώς αλλάζει η σχετική πληροφορία ανάλογα με το task. Τα embeddings δεν αποκτούν επιχειρησιακή σημασία από την ονομασία του μοντέλου, αλλά από τα contrasts που είδαν στην εκπαίδευση.

Η αρχή μεταφέρεται προσεκτικά και πέρα από τη χημεία. Σε ένα e-commerce retrieval system, το ίδιο προϊόν μπορεί να είναι σχετικό για διαφορετικές προθέσεις: συμβατότητα, περιθώριο κέρδους, βιωσιμότητα ή γρήγορη παράδοση. Σε ένα B2B knowledge base, το ίδιο έγγραφο μπορεί να αξιολογείται διαφορετικά για sales enablement, compliance ή τεχνική υποστήριξη. Αυτή είναι αναλογία σχεδιασμού, όχι αποτέλεσμα που μέτρησε η μελέτη. Το πρακτικό δίδαγμα είναι να συλλέγονται task-conditioned παραδείγματα που αντιστοιχούν στις πραγματικές αποφάσεις του προϊόντος.

Για ομάδες AI και marketing technology, αυτό αλλάζει και τη μέτρηση. Ένα ενιαίο retrieval score μπορεί να κρύβει το γεγονός ότι το σύστημα αναγνωρίζει σωστά το αντικείμενο αλλά αγνοεί την πρόθεση. Χρειάζονται tests που κρατούν σταθερή την ταυτότητα και αλλάζουν μόνο το context, όπως ακριβώς κάνει το MolCAR. Αντίστοιχη προσοχή χρειάζεται στη multimodal αναζήτηση εικόνων με embeddings, όπου το ισχυρότερο γενικό μοντέλο δεν είναι πάντα η καλύτερη λύση για το συγκεκριμένο retrieval task.

Τι δεν αποδεικνύει η έρευνα

Το MolEmb αξιολογείται ως route προσαρμογής και όχι ως πλήρως κλιμακωμένο molecular foundation model. Το μοριακό προφίλ περιορίζεται σε 2D depiction και canonical SMILES. Δεν περιλαμβάνει conformers, αντιδράσεις, φάσματα ή assay metadata, παρότι αυτά θα μπορούσαν να ενταχθούν μελλοντικά στο ίδιο interface.

Το MolCAR καλύπτει οκτώ property-related task families και δεν δοκιμάζει μεταφορά σε εντελώς άγνωστες οικογένειες εργασιών ή open-ended scientific search. Επίσης, το Mixed corpus παραμένει μικρό και λιγότερο ποικίλο από industrial-scale embedding pretraining. Άρα το 99,8% σε ένα ελεγχόμενο context benchmark δεν πρέπει να παρουσιαστεί ως γενική ακρίβεια σε drug discovery.

Υπάρχει ακόμη η συνήθης απόσταση ανάμεσα σε benchmark και παραγωγική χρήση: ποιότητα δεδομένων, drift, επιστημονική επικύρωση, υπολογιστικό κόστος και governance. Η εργασία τεκμηριώνει μια εφικτή αρχιτεκτονική κατεύθυνση και ένα διαγνωστικό εργαλείο, όχι έτοιμο σύστημα κλινικής ή φαρμακευτικής απόφασης. Σε παραγωγικό περιβάλλον χρειάζονται επίσης τεκμηριωμένοι έλεγχοι κινδύνου και ανθρώπινη εποπτεία, σύμφωνα με τη λογική του NIST AI RMF.

Μια πρακτική στρατηγική για ομάδες που χτίζουν retrieval

Η πρώτη κίνηση είναι να οριστούν χωριστά οι όψεις του αντικειμένου και τα contexts χρήσης. Στη μελέτη, οι όψεις είναι εικόνα και SMILES, ενώ τα contexts είναι οι επιστημονικές εργασίες. Σε άλλο domain, οι όψεις μπορεί να είναι κείμενο, εικόνα, attributes και ιστορικό, ενώ τα contexts πρέπει να προκύπτουν από πραγματικές επιχειρησιακές αποφάσεις.

Έπειτα απαιτείται benchmark που να ελέγχει δύσκολα αρνητικά παραδείγματα. Το σωστό αντικείμενο με λάθος context πρέπει να θεωρείται λάθος, αλλιώς το metric θα επιβραβεύει απλή ταυτοποίηση. Η αξιολόγηση πρέπει επίσης να διαχωρίζει object retrieval, document retrieval και within-object context ranking, ώστε να γίνεται ορατό πού αποτυγχάνει το σύστημα.

Τέλος, η ομάδα χρειάζεται data loop. Όταν το context routing αποτυγχάνει, η απάντηση δεν είναι αυτομάτως μεγαλύτερο μοντέλο. Το MolEmb δείχνει ότι outcome-grounded, task-diverse supervision μπορεί να αλλάξει ουσιαστικά τη γεωμετρία του embedding space με parameter-efficient adaptation. Η προτεραιότητα, επομένως, είναι να βελτιωθεί το σχήμα των παραδειγμάτων και να επαναληφθεί η αξιολόγηση χωρίς leakage.

Τι κρατάμε από το MolEmb

Η μελέτη δείχνει ότι τα multimodal language models μπορούν να λειτουργήσουν ως βάση για reusable molecular embeddings, όχι μόνο ως generators ή chemistry assistants. Η απλή direct adaptation είναι ανταγωνιστική σε αρκετά property benchmarks, η molecule-text contrastive alignment δημιουργεί ισχυρό κοινό retrieval space και η στοχευμένη continued alignment προσθέτει task sensitivity.

Το πιο ώριμο συμπέρασμα δεν είναι ότι οι specialist molecular encoders έγιναν περιττοί. Είναι ότι δημιουργείται μια δεύτερη διαδρομή: κοινό multimodal interface, natural-language conditioning και embeddings που μπορούν να εξυπηρετήσουν περισσότερα από ένα downstream workflows. Η επιτυχία αυτής της διαδρομής θα εξαρτηθεί από datasets που αποτυπώνουν όχι μόνο τι είναι ένα μόριο, αλλά και γιατί το εξετάζει ο χρήστης.

Για μια επιχείρηση, η πρακτική αξία βρίσκεται στην πειθαρχία του evaluation. Το μοντέλο πρέπει να αποδεικνύει ότι ανακτά τη σωστή πληροφορία για τη σωστή πρόθεση, με επαρκή δεδομένα, σαφή baselines και όρια λειτουργίας. Η επιλογή μεγαλύτερου μοντέλου δεν αντικαθιστά αυτό το έργο.