Quantization-Aware Healing: πώς ένα 4-bit μοντέλο ξεπέρασε το BF16 checkpoint του

Η συμπίεση ενός μεγάλου γλωσσικού μοντέλου συνήθως παρουσιάζεται ως ανταλλαγή: λιγότερη μνήμη και compute με κάποιο κόστος στην ποιότητα. Η εργασία της Multiverse Computing για το Quantization-Aware Healing εξετάζει αν το στάδιο quantization μπορεί να γίνει ταυτόχρονα στάδιο ανάκτησης ικανοτήτων.

Το αποτέλεσμα ενδιαφέρει ομάδες που σχεδιάζουν AI προϊόντα, self-hosted εφαρμογές και αυτοματισμούς: το τελικό 60B MXFP4 checkpoint αναφέρεται με περίπου τέσσερις φορές λιγότερη μνήμη weights από τον 60B BF16 student, ενώ διατηρεί ισχυρή επίδοση σε reasoning, κώδικα, tool use και long context. Η σωστή επιχειρηματική ανάγνωση δεν είναι «μικρότερο μοντέλο, άρα σίγουρα χαμηλότερο bill», αλλά «μικρότερο deployment artifact που αξίζει να δοκιμαστεί με matched controls και πραγματικό workload».

Τι αποδεικνύει — και τι όχι — το QAH

Η στενή, τεκμηριωμένη διαπίστωση είναι συγκεκριμένη: ένα GPT-OSS 120B συμπιέστηκε σε αρχιτεκτονική 60B, ανακτήθηκε ως 60B BF16 και στη συνέχεια κβαντίστηκε σε MXFP4 με πρόσθετη απόσταξη από τον αρχικό 120B teacher. Το τελικό 4-bit checkpoint βαθμολογήθηκε ίσο ή καλύτερο από το 60B BF16 checkpoint σε 7 από 9 benchmarks.

Η διατύπωση «ξεπέρασε το full-precision μοντέλο» χρειάζεται ακρίβεια. Το σημείο σύγκρισης είναι το συμπιεσμένο 60B BF16 checkpoint, όχι συνολικά το αρχικό 120B. Επιπλέον, το επίσημο GPT-OSS 120B έχει ήδη τη μεγάλη πλειονότητα των MoE weights σε MXFP4. Ο teacher είναι πλήρους μεγέθους και ασυμπίεστος, όχι ένα συμβατικό BF16 checkpoint για όλα τα weights.

Αυτή η διάκριση έχει σημασία και για το governance των open-weight συστημάτων. Όπως εξηγεί το άρθρο για τα όρια των model cards στα open-weight AI μοντέλα, η ονομασία του checkpoint δεν αρκεί. Χρειάζονται ακριβής lineage, training recipe, evaluation protocol και σαφή όρια στο τι υποστηρίζουν οι μετρήσεις.

Γιατί συμπίεση και quantization χρειάζονται healing

Η δομική συμπίεση μειώνει το μέγεθος μιας αρχιτεκτονικής αφαιρώντας ή περιορίζοντας layers, attention heads, neurons ή άλλες διαστάσεις. Η quantization αλλάζει την αριθμητική ακρίβεια με την οποία αποθηκεύονται και χρησιμοποιούνται τα weights. Οι δύο τεχνικές εξοικονομούν διαφορετικούς πόρους, αλλά όταν εφαρμόζονται διαδοχικά μπορούν να επιβαρύνουν reasoning, μαθηματική επίλυση, παραγωγή κώδικα, tool use και κατανόηση μεγάλου context.

Γι’ αυτό ένα σοβαρό production pipeline δεν τελειώνει αναγκαστικά με τη συμπίεση. Προσθέτει recovery ή healing ώστε το μικρότερο checkpoint να ανακτήσει συμπεριφορές που χάθηκαν. Το ερώτημα δεν είναι απλώς αν η συμπίεση έχει κόστος, αλλά ποιος teacher, ποια loss function και ποια δεδομένα δίνουν στο compressed και quantized μοντέλο την καλύτερη πιθανότητα να επανέλθει.

Στο quantization-aware training (QAT), fake-quantization operators μπαίνουν στο forward pass και το training συνεχίζει με task loss, συνήθως cross-entropy. Στο quantization-aware distillation (QAD), ο quantized student μιμείται την κατανομή εξόδου ενός frozen teacher μέσω KL divergence. Η κλασική QAD λογική ταιριάζει όταν teacher και student έχουν την ίδια αρχιτεκτονική πριν και μετά την quantization.

Με δομική συμπίεση, όμως, το 60B BF16 checkpoint δεν είναι ανεξάρτητα εκπαιδευμένο 60B μοντέλο. Είναι ήδη μια ανακτημένη προσέγγιση του μεγαλύτερου 120B. Αν γίνει teacher για το επόμενο στάδιο, ο student κληρονομεί το δικό του ceiling. Εκεί ακριβώς παρεμβαίνει το QAH.

Πώς λειτουργεί το Quantization-Aware Healing

Το QAH παρακάμπτει το ενδιάμεσο BF16 checkpoint ως teacher. Ο student είναι η συμπιεσμένη 60B αρχιτεκτονική με MXFP4 fake quantizers, ενώ ο teacher παραμένει το αρχικό ασυμπίεστο GPT-OSS 120B. Επειδή η απόσταξη γίνεται πάνω στα output logits, teacher και student δεν χρειάζεται να έχουν την ίδια εσωτερική αρχιτεκτονική.

Ο student δεν εκπαιδεύεται πάνω σε hard labels. Προσπαθεί να προσεγγίσει την κατανομή πιθανοτήτων που παράγει ο teacher για το επόμενο token. Η εργασία χρησιμοποιεί offline top-100 teacher logits και KL divergence, ώστε ο μεγαλύτερος teacher να μη χρειάζεται να βρίσκεται στη μνήμη σε κάθε training step.

Η επιλογή του αρχικού teacher μετατρέπει το quantization stage σε δεύτερη ευκαιρία μεταφοράς γνώσης. Το MXFP4 checkpoint δεν προσπαθεί μόνο να αντέξει τον αριθμητικό θόρυβο. Λαμβάνει supervision που μπορεί να επαναφέρει πληροφορία η οποία δεν πέρασε πλήρως στον πρώτο κύκλο recovery.

Πώς χωρά η εκπαίδευση σε context 32k tokens

Η απόσταξη σε μεγάλο context είναι απαιτητική. Αν αποθηκευτεί η πλήρης κατανομή πιθανοτήτων για κάθε token και για ολόκληρο το vocabulary, το ενδιάμεσο tensor και το autograd graph μπορούν να εξαντλήσουν γρήγορα τη GPU memory. Το QAH χρησιμοποιεί την offline top-k και fused chunked-KL προσέγγιση της συνοδευτικής εργασίας της ίδιας ομάδας.

Τα teacher logits προϋπολογίζονται και κρατιούνται μόνο για τα κορυφαία tokens, ενώ το KL loss και οι gradients συσσωρεύονται σε chunks της ακολουθίας. Αυτό επιτρέπει training με sequence length 32k στο αναφερόμενο setup. Η τεχνική κάνει το long-context healing εφικτό· δεν εγγυάται από μόνη της ότι το μοντέλο θα χρησιμοποιεί σωστά κάθε θέση του context.

Για μια τεχνική ομάδα, το σημείο είναι εξίσου σημαντικό με το benchmark. Ένα μοντέλο μπορεί να έχει καλή θεωρητική συμπεριφορά αλλά να μην χωρά στο διαθέσιμο hardware ή να επιβαρύνει δυσανάλογα το serving. Η ίδια λογική εμφανίζεται στην υβριδική προσοχή για LLM μεγάλου context: η χρήσιμη καινοτομία πρέπει να αξιολογείται μαζί με το memory envelope και όχι αποκομμένα από αυτό.

Τι έδειξαν τα εννέα benchmarks

Η δημοσιευμένη σύγκριση περιλαμβάνει τον ασυμπίεστο 120B teacher, το ανακτημένο 60B BF16 checkpoint και το 60B MXFP4 checkpoint μετά το QAH. Το τελευταίο ισοφαρίζει ή υπερέχει του BF16 σε επτά από εννέα μετρήσεις. Οι μεγαλύτερες διαφορές είναι στο AA-LCR για long-context reasoning, με 42,7 έναντι 35,3, και στο AIME 2025 για μαθηματικά, με 76,3 έναντι 70,7.

Στο MMLU-Pro και στο SciCode το QAH μένει πίσω από το BF16 κατά 0,2 και 1,4 μονάδες αντίστοιχα. Σε σχέση με τον 120B teacher, το 60B QAH φτάνει ουσιαστικά την επίδοση στο LiveCodeBench, 66,5 έναντι 66,0, διαφορά που οι ίδιοι οι συγγραφείς θεωρούν εντός run-to-run noise. Στο GPQA Diamond φτάνει 67,4 έναντι 69,0.

Τα benchmark scores δεν είναι SLA. Το evaluation harness μπορεί να αλλάξει τον φαινομενικό νικητή, ενώ task mix, prompts, decoding, hardware και serving stack επηρεάζουν το πραγματικό αποτέλεσμα. Γι’ αυτό οι εννέα μετρήσεις είναι σήμα για περαιτέρω αξιολόγηση, όχι απόφαση αγοράς ή deployment.

QAH εναντίον QAT: ταχύτητα και σταθερότητα

Για να συγκρίνουν τις δύο loss functions υπό matched συνθήκες, οι ερευνητές κβάντισαν ένα GPT-OSS 9B σε MXFP4 και παρακολούθησαν τον μέσο όρο επίδοσης στα MMLU-Pro, LiveCodeBench και GPQA Diamond. Το QAH έφτασε peak 54,9 περίπου στα 100 steps. Το QAT έφτασε σε παρόμοιο peak 54,6 περίπου στα 700 steps.

Μετά την κορυφή, το QAH παρέμεινε εντός περίπου δύο μονάδων έως τα 1.200 steps, ενώ το QAT έχασε σχεδόν 19 μονάδες. Οι συγγραφείς αποδίδουν τη διαφορά στο objective: το fixed teacher distribution δεν συνεχίζει να ωθεί τον student προς hard labels αφού πλησιάσει τον teacher. Αυτό μειώνει την ευαισθησία στο early stopping στο συγκεκριμένο πείραμα, χωρίς να καταργεί την ανάγκη για held-out validation.

Η σύγκριση αυτή είναι ισχυρότερη από το 60B headline ως προς την loss function, επειδή QAH και QAT έχουν matched συνθήκες. Παραμένει όμως ένα δεύτερο μοντέλο, τρία benchmarks και ένα συγκεκριμένο training setup. Δεν πρέπει να μετατραπεί σε καθολικό ισχυρισμό ότι το QAH είναι πάντοτε επτά φορές φθηνότερο.

Το πειραματικό κενό που αλλάζει το headline

Μετά τη δημοσίευση, σχολιαστής στο Hugging Face επισήμανε ότι η κεντρική 60B σύγκριση δεν έχει πλήρως ισοδύναμο control. Το 60B BF16 checkpoint είχε λάβει ένα distillation pass κατά το recovery. Το 60B MXFP4 είχε λάβει το ίδιο recovery και επιπλέον δεύτερο pass απέναντι στον 120B teacher. Άρα η διαφορά δεν απομονώνει το αποτέλεσμα του healing υπό quantization από το αποτέλεσμα του περισσότερου training με ισχυρό teacher.

Ο συν-συγγραφέας Antonio Tiene αναγνώρισε δημόσια το σημείο. Το συμπέρασμα που υποστηρίζει η ομάδα είναι στενότερο: το τελικό 4-bit checkpoint βαθμολογείται υψηλότερα από το BF16 checkpoint που μπήκε στο quantization stage. Για ισχυρότερη αιτιώδη απόδειξη χρειάζεται BF16 δεύτερο pass με ίδιο teacher, data και steps, καθώς και post-training quantization αυτού του control.

Η επιφύλαξη δεν ακυρώνει το πρακτικό αποτέλεσμα, αλλά περιορίζει σωστά τη διατύπωσή του. Αυτό είναι ουσιώδες για E-E-A-T: η αξιοπιστία ενός τεχνικού άρθρου δεν κρίνεται από το πόσο εντυπωσιακό είναι το headline, αλλά από το αν ξεχωρίζει measurement, inference και υπόθεση.

Τι σημαίνουν μνήμη, compute και πραγματικό κόστος

Σύμφωνα με την εργασία, το 4-bit QAH μοντέλο χρησιμοποιεί περίπου τέσσερις φορές λιγότερη μνήμη weights από τον BF16 student. Επειδή έχει το μισό parameter count από τον 120B teacher, αναφέρεται περίπου μισό compute ανά token σε σχέση με εκείνον. Οι αριθμοί αφορούν weights και τη θεωρητική σχέση του συγκεκριμένου setup· δεν ισοδυναμούν αυτομάτως με τετραπλάσια χωρητικότητα χρηστών ή μισό συνολικό cloud bill.

Η πραγματική οικονομία επηρεάζεται από accelerator support για MXFP4, serving framework, batching, concurrency, μήκος context, KV cache, memory bandwidth, data movement, utilization και observability. Ένα format μπορεί να μειώνει το αποτύπωμα των weights αλλά να μην προσφέρει την ίδια βελτίωση στο latency ή στο throughput πάνω σε κάθε hardware stack.

Η δυνατότητα να χωρέσει ένα ικανό checkpoint σε μικρότερο hardware μπορεί παρ’ όλα αυτά να αλλάξει τον σχεδιασμό υποδομής: περισσότερα replicas, καλύτερη απομόνωση workloads, on-premises deployment ή χαμηλότερο εμπόδιο για δοκιμές. Η απόφαση συνδέεται με το γενικότερο ερώτημα του ποιο AI μοντέλο αξίζει για μια επιχείρηση και όχι με ένα μόνιμο στοίχημα σε ένα checkpoint.

Πώς αξιολογείται ένα 4-bit μοντέλο σε production

Μια ομάδα e-commerce, marketing, development ή customer support δεν πρέπει να αποφασίσει από τον μέσο όρο εννέα benchmarks. Χρειάζεται αντιπροσωπευτικό evaluation set με πραγματικές περιγραφές προϊόντων, ταξινομήσεις, support ερωτήματα, tool calls, policy constraints, κώδικα και τις γλώσσες που χρησιμοποιούν οι πελάτες.

Η αξιολόγηση πρέπει να μετρά μαζί ποιότητα και λειτουργία: task success, human preference ή defect rate, latency στο p50 και p95, throughput, peak memory, αποτυχίες σε μεγάλο context, κόστος ανά αποδεκτό αποτέλεσμα και σταθερότητα μετά το training peak. Σε custom kernels ή serving optimizations, η δοκιμή πρέπει να γίνεται μέσα στο πραγματικό μοντέλο — όπως δείχνει το άρθρο για το GPU kernel που χρειάζεται end-to-end validation.

Αν ένα μικρότερο checkpoint διατηρεί τις κρίσιμες συμπεριφορές, το όφελος μπορεί να είναι ουσιαστικό. Αν χάνει σε σπάνια αλλά υψηλού ρίσκου cases, η μέση βαθμολογία μπορεί να αποκρύπτει το πραγματικό κόστος. Για διαφορετικές κατηγορίες εργασίας, μπορεί να είναι προτιμότερο model routing με επίγνωση latency, ακρίβειας και κόστους αντί για μία καθολική αντικατάσταση.

Πιλοτική εφαρμογή σε επτά βήματα

Η ασφαλέστερη υιοθέτηση ξεκινά με περιορισμένο pilot, όχι με άμεσο migration όλων των workloads. Κάθε βήμα πρέπει να παράγει αποδεικτικό στοιχείο που επιτρέπει στην ομάδα να συνεχίσει, να διορθώσει ή να σταματήσει.

Το pilot δεν χρειάζεται να ξεκινήσει με ιδιόκτητο training pipeline. Μπορεί να αρχίσει ως structured evaluation διαφορετικών checkpoints και hardware επιλογών. Αν αποδειχθεί ότι η quantization έχει επιχειρηματικό όφελος, τότε δικαιολογείται η επένδυση σε distillation, custom serving και automation.

Η ουσία για μια επιχείρηση

Το Quantization-Aware Healing παρουσιάζει μια καθαρή ιδέα: όταν ένα μοντέλο έχει ήδη υποστεί δομική συμπίεση, η quantized έκδοση μπορεί να μάθει ξανά από τον αρχικό, ασυμπίεστο teacher και όχι από ένα ενδιάμεσο checkpoint με χαμηλότερο ceiling. Τα δημοσιευμένα αποτελέσματα δείχνουν ότι αυτή η διαδικασία μπορεί να παραδώσει ένα 4-bit deployment artifact που υπερβαίνει το BF16 σημείο εισόδου του σε πολλές μετρήσεις.

Η μεθοδολογική επιφύλαξη είναι εξίσου σημαντική με το αποτέλεσμα. Δεν έχει αποδειχθεί ότι η quantization δημιούργησε από μόνη της την επιπλέον ακρίβεια. Έχει αποδειχθεί, στο αναφερόμενο case study, ότι ένα συμπιεσμένο 4-bit checkpoint με πρόσθετη distillation μπορεί να είναι καλύτερο από το BF16 checkpoint που μπήκε στο στάδιο αυτό.

Για μια επιχείρηση, το QAH δεν είναι άδεια για γενίκευση. Είναι πρόσκληση για αυστηρό πείραμα: matched controls, domain evals, end-to-end serving μετρήσεις και απόφαση ανά workload. Η αξία βρίσκεται στο μικρότερο σύστημα που περνά αξιόπιστα τα δικά σας quality gates — όχι στο χαμηλότερο bit-width ως σύνθημα.