С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Μια ελεγχόμενη σύγκριση 11 μεθόδων δείχνει πότε hints, distillation και critics βοηθούν την AI με sparse reward — και πώς ένα benchmark μπορεί να αντιστρέψει το συμπέρασμα.
Απάντηση πρώτα: στο sparse reward, όταν σχεδόν όλα τα rollouts παίρνουν μηδενικό reward, το GRPO δεν έχει αρκετές διαφορές για να βελτιώσει την policy. Η μελέτη «Hints, Critics, and Teachers» δείχνει ότι hints, annealed teacher feedback και σωστά παραμετροποιημένοι critics μπορούν να ανοίξουν τη διαδρομή προς χρήσιμο learning signal — αλλά μόνο όταν το prior φτάνει πράγματι στην policy.
Το πιο ανθεκτικό μάθημα δεν είναι ποιο arm βγήκε πρώτο. Είναι ότι ένας λανθασμένος scorer ή ένα κακοσχεδιασμένο benchmark μπορεί να αντιστρέψει την κατάταξη των μεθόδων. Για ομάδες που εκπαιδεύουν, αγοράζουν ή αξιολογούν AI, ο μηχανισμός μάθησης και το measurement pipeline χρειάζονται τον ίδιο βαθμό ελέγχου.
Το Group Relative Policy Optimization συγκρίνει rollouts για το ίδιο prompt και υπολογίζει σχετικό πλεονέκτημα μέσα στην ομάδα. Αν όλα τα rollouts είναι λάθος και παίρνουν το ίδιο reward, δεν υπάρχει διαφορά που να κατευθύνει την policy. Η ομάδα είναι all-wrong και, στο setup της εργασίας, συνεισφέρει μηδενικό gradient από το task reward.
Οι ερευνητές ξεκίνησαν από 52.964 προβλήματα ενός MathV360K-derived corpus, έκαναν οκτώ rollouts ανά πρόβλημα και παρήγαγαν περίπου 428.000 generations. Με semantic scoring επέλεξαν 21.630 προβλήματα που το base model έλυνε το πολύ μία φορά στις οκτώ. Κράτησαν 800 για αξιολόγηση και εκπαίδευσαν στα υπόλοιπα 20.830.
Σε αυτό το δύσκολο pool, το Qwen2-VL-2B απαντούσε σωστά μόλις στο 3,6% των rollouts και το 85% έως 97% των αρχικών GRPO groups ήταν ολόκληρα λάθος. Το πρόβλημα δεν ήταν απλώς ότι η εκπαίδευση χρειαζόταν περισσότερα samples. Σχεδόν όλα τα samples επέστρεφαν το ίδιο μηδενικό μήνυμα, άρα το επιπλέον compute δεν δημιουργούσε αυτομάτως συγκριτικό σήμα.
Το sparse-reward καθεστώς της ελεγχόμενης σύγκρισης
Τα μεγέθη αφορούν το συγκεκριμένο visual-math experiment και δεν αποτελούν γενικά benchmarks για κάθε AI σύστημα.
Η ίδια δομική δυσκολία μπορεί να εμφανιστεί σε agents με σπάνια επιτυχία, σε πολυβήματες ροές και σε περιβάλλοντα όπου μόνο το τελικό outcome βαθμολογείται. Αυτό δεν σημαίνει ότι οι ακριβείς μέθοδοι του paper μεταφέρονται αυτούσιες σε κάθε κλάδο. Σημαίνει ότι μια ομάδα πρέπει πρώτα να μετρήσει πόσο συχνά το reward διαφοροποιεί πραγματικά τις προσπάθειες.
Πριν εκπαιδευτεί οποιοδήποτε arm, η ομάδα βρήκε μια αστοχία που θα είχε μολύνει ολόκληρο το πείραμα. Ο training scorer απαιτούσε απάντηση στη μορφή «Answer: X» και έδινε στο base model επίδοση 3,5%. Όταν τα ίδια outputs αξιολογήθηκαν σημασιολογικά, η επίδοση έγινε 43,4%. Ο αυστηρός extractor μετρούσε κυρίως format compliance και όχι μαθηματική ικανότητα.
Αν το δύσκολο pool είχε επιλεγεί με τον πρώτο scorer, πολλά «δύσκολα» παραδείγματα θα ήταν απλώς formatting failures. Για αυτό η επιλογή δεδομένων έγινε με semantic score, ενώ οι τελικές ακρίβειες προήλθαν από model-blind LLM judge που διάβαζε ολόκληρο το output χωρίς να γνωρίζει ποιο training arm το παρήγαγε.
Το ίδιο ρίσκο εμφανίζεται σε εταιρικά evaluations: ένα bot μπορεί να αποτυγχάνει σε regex που ψάχνει συγκεκριμένη φράση, παρότι δίνει σωστή απάντηση, ή να περνά επειδή μιμείται το template χωρίς να ολοκληρώνει τη δουλειά. Η ανάλυση για το audit των preference data πριν από εκπαίδευση LLM αναδεικνύει την ίδια ανάγκη: πρώτα ελέγχουμε το σήμα και μετά βελτιστοποιούμε πάνω του.
Η μελέτη συνέκρινε έντεκα arms πάνω στο ίδιο pool, για 500 steps, με ίδιο batch size, learning rate και seed. Το baseline ήταν plain GRPO. Τα text-prior arms πρόσθεταν τμήμα reference solution στην αρχή του rollout: hintonly, uft001 και uft002. Τα δύο UFT variants πρόσθεταν auxiliary negative log-likelihood loss στα hint tokens.
Τα distribution-prior arms χρησιμοποιούσαν Qwen2-VL-7B teacher. Το OPD βασιζόταν αποκλειστικά σε on-policy distillation, το ReOPD πρόσθετε teacher-trajectory prefix replay, το SRPO ενεργοποιούσε distillation μόνο σε failed rollouts και το SAF εφάρμοζε globally ένα bounded teacher signal που μειωνόταν σταδιακά. Το hintsaf συνδύαζε hint και SAF.
Στην τρίτη οικογένεια, τα VAPO και VAPO-HL χρησιμοποίησαν pretrained critic. Το VAPO είχε clipped-MSE value loss, ενώ το VAPO-HL αντικατέστησε ακριβώς αυτό το στοιχείο με categorical HL-Gauss loss. Η κοινή βάση επιτρέπει πιο καθαρή απόδοση των διαφορών στον μηχανισμό του prior, χωρίς να καταργεί τον περιορισμό ότι όλα τα arms εκπαιδεύτηκαν με έναν μόνο seed.
Text prior
Τμήμα reference solution μεταφέρει το rollout κοντά σε περιοχή όπου η επιτυχία είναι εφικτή και εμφανίζεται διαφοροποιημένο reward.
Distribution prior
Ένας ισχυρότερος teacher δίνει πυκνότερο per-token σήμα, με το αποτέλεσμα να εξαρτάται από gating, schedule και teacher ceiling.
Value prior
Ο critic επιχειρεί να δώσει token-level credit, αλλά η παράδοση του σήματος εξαρτάται κρίσιμα από τον τρόπο εκπαίδευσης του value head.
Στο cross-domain DynaMath, τα έξι arms όπου το prior έφτανε αποτελεσματικά στην policy βρέθηκαν μεταξύ 30,6% και 32,9%. Τα υπόλοιπα πέντε — το baseline και μηχανισμοί όπου το prior περιοριζόταν από τον teacher, ενεργοποιούνταν με προβληματικό gate ή χανόταν σε κακά παραμετροποιημένο critic — βρέθηκαν μεταξύ 27,0% και 29,1%. Οι δύο περιοχές δεν επικαλύπτονταν.
Το uft002 είχε 32,9%, το VAPO-HL 31,9% και το hintonly 31,2%, ενώ το plain GRPO έφτασε 27,5%. Οι συγγραφείς προειδοποιούν ότι η σειρά μέσα στην ανώτερη ομάδα δεν πρέπει να διαβαστεί ως σταθερό ranking: το εύρος είναι μόλις 2,3 μονάδες, το DynaMath έχει 477 items και υπάρχει ένας training seed.
Το ισχυρότερο claim είναι επομένως ο διαχωρισμός delivered και undelivered priors, όχι ο «νικητής». Για ML teams αυτό μεταφράζεται σε observability μέσα στο training loop. Δεν αρκεί να είναι ενεργό ένα teacher loss, ένα memory module ή ένας verifier. Χρειάζονται μετρήσεις για το πότε ενεργοποιείται, σε ποια samples, με ποιο gradient και αν η επίδρασή του επιβιώνει μέχρι το τελικό behavior.
Η αρχή συνδέεται με την επαλήθευση πολιτικών reinforcement learning: ένα ενεργοποιημένο control δεν είναι απόδειξη αποτελεσματικότητας. Χρειάζεται observable επίδραση και ανεξάρτητη αξιολόγηση της policy που προκύπτει.
Πριν από το training, η παροχή του μισού reference solution αύξησε την ακρίβεια του base model από 7,2% σε 34,4%. Το precondition έδειξε ότι τα hints μπορούσαν όντως να ξεκλειδώσουν το επιλεγμένο sparse pool. Χωρίς αυτόν τον έλεγχο, η ομάδα θα μπορούσε να επενδύσει σε scaffold που δεν άλλαζε την πιθανότητα επιτυχίας.
Στα πειράματα, το hintonly ήταν στατιστικά αδιαχώριστο από τα uft001 και uft002 στο sparse-800: 51,4%, 52,0% και 52,4%. Το βασικό όφελος προερχόταν από την καθοδηγούμενη exploration και όχι από το πρόσθετο likelihood term πάνω στα hint tokens. Το hint μετέφερε το rollout σε περιοχή όπου υπήρχε πιθανότητα σωστής λύσης και άρα χρήσιμο reward.
Η αναλογία hinted rollouts μειωνόταν από 95% σε 5% στα πρώτα 300 steps και μετά μηδενιζόταν. Η policy έπρεπε σταδιακά να ολοκληρώνει μόνη της τη διαδρομή. Αυτό δεν αποδεικνύει ότι κάθε hint είναι ασφαλές: τα hint arms δεν χρησιμοποίησαν importance-weighted διόρθωση για το off-policy στοιχείο, κάτι που οι ίδιοι οι συγγραφείς καταγράφουν ως επόμενο βήμα.
Η πρακτική διάκριση είναι ανάμεσα σε scaffolding και μόνιμη εξάρτηση. Ένα hint μπορεί να βοηθήσει στην εξερεύνηση, αλλά ο production agent πρέπει να αξιολογείται χωρίς πρόσβαση σε privileged reference solution. Αν το scaffold παραμένει κρυφό στη δοκιμή, το evaluation μετρά διαφορετικό σύστημα από εκείνο που θα λειτουργήσει στην παραγωγή.
Η σύγκριση VAPO και VAPO-HL απομονώνει το πιο καθαρό ablation της μελέτης. Το πρώτο είχε 39,2% στο sparse-800, ενώ το δεύτερο 53,6%: διαφορά 14,4 ποσοστιαίων μονάδων. Στο DynaMath, το VAPO ήταν τελευταίο μεταξύ των trained arms με 27,0%, ενώ το VAPO-HL έφτασε 31,9%.
Το HL-Gauss δεν άλλαξε την actor update. Αντικατέστησε τη scalar MSE regression του critic με κατηγορική πρόβλεψη πάνω σε διακριτοποιημένο value support και cross-entropy σε smoothed targets. Στη συγκεκριμένη ρύθμιση, η αλλαγή αφαίρεσε cold-start pathology, βελτίωσε το value learning και επέτρεψε στο prior να φτάσει στην policy.
Το αποτέλεσμα συμφωνεί κατευθυντικά με ξεχωριστή εργασία για categorical critics σε LLM reinforcement learning, αλλά δεν μετατρέπει το HL-Gauss σε καθολική λύση. Δείχνει γιατί δεν πρέπει να απορρίπτεται μια ολόκληρη αρχιτεκτονική επειδή απέτυχε μία loss formulation. Χρειάζονται ablations που αλλάζουν ένα στοιχείο τη φορά.
Το annealed SAF ήταν η πιο ανθεκτική distillation συνταγή της σύγκρισης, με 30,6% στο DynaMath. Χρησιμοποιούσε bounded teacher-KL signal που εφαρμοζόταν globally και μειωνόταν σταδιακά. Αντίθετα, το SRPO ενεργοποιούσε persistent distillation μόνο στα failed rollouts και έφτασε 29,1%, χωρίς καθαρό πλεονέκτημα έναντι του baseline.
Η λογική «δώσε teacher signal μόνο στις αποτυχίες» φαίνεται οικονομική, αλλά το gate μπορεί να αφαιρεί το prior ακριβώς όταν χρειάζεται ευρύτερη κατεύθυνση. Η μελέτη δείχνει επίσης το ceiling της pure distillation: το OPD και το ReOPD μιμούνταν teacher που έφτανε 27,9% στο pool. Η reverse-KL imitation δεν μπορούσε να ξεπεράσει εύκολα τη συμπεριφορά που αντέγραφε, ενώ τα reward-driven hint arms έφτασαν περίπου 52% στο sparse-800.
Το hintsaf δεν πρόσθεσε τη θεωρητικά αναμενόμενη υπεραξία. Με 49,4% στο sparse-800 και 30,8% στο DynaMath βρέθηκε περίπου ανάμεσα στους γονείς του. Η ερμηνεία είναι ότι hint και annealed teacher signal αντιμετώπιζαν το ίδιο πρώιμο bottleneck: την έξοδο από την περιοχή όπου όλα τα rollouts είναι λάθος.
Η σύνδεση με το self-distillation και το reasoning είναι ουσιαστική: η μίμηση μπορεί να μεταφέρει χρήσιμο prior, αλλά μεταφέρει επίσης το όριο και τις προκαταλήψεις του teacher. Το schedule, η ανεξαρτησία του reward και η αξιολόγηση χωρίς teacher αποτελούν ξεχωριστά design decisions.
Η σημαντικότερη ανακάλυψη αφορούσε το old-319, ένα held-out MathV360K slice που λειτουργούσε ως «γενικός» έλεγχος σε προηγούμενους γύρους. Η κατάταξή του είχε Spearman συσχέτιση −0,74 με το cross-domain DynaMath για τα έντεκα arms, με permutation p=0,011. Αντίθετα, το δύσκολο sparse-800 είχε συσχέτιση +0,89, με p μικρότερο από 0,001.
Το 69% του old-319 αποτελούνταν από Geometry3K ερωτήσεις τεσσάρων επιλογών. Όλα τα arms κινούνταν κοντά στο τυχαίο επίπεδο 25%. Η ερμηνεία των συγγραφέων είναι ότι ένα μοντέλο που έμενε κοντά στο base behavior συνέχιζε να εκπέμπει σύντομα γράμματα επιλογών και μπορούσε να διατηρεί καλύτερο score, ενώ μοντέλα που είχαν αλλάξει προς πολυβήματη συλλογιστική έχαναν τυχαίες επιτυχίες.
Το VAPO είχε το υψηλότερο old-319 score, 32,6%, αλλά το χαμηλότερο DynaMath score μεταξύ των trained arms, 27,0%. Το VAPO-HL είχε μόλις 19,7% στο old-319, αλλά 31,9% στο DynaMath. Αν η απόφαση βασιζόταν μόνο στο παλιό held-out set, η κατάταξη των δύο methods θα ήταν σχεδόν αντίστροφη.
Κανόνας απόφασης για AI benchmarks
Μην επιλέγετε μοντέλο πριν ελέγξετε ποια slices παράγουν την κατάταξη
Go σημαίνει semantic scorer, ανάλυση ανά slice, πραγματικό cross-domain set, blind judging, paired tests και επανάληψη σε νέα δεδομένα. No-go σημαίνει ένα pooled accuracy, extractor ευαίσθητος στο format, near-chance multiple-choice πλειοψηφία ή held-out set που δεν έχει συγκριθεί με το πραγματικό περιβάλλον χρήσης.
Η μελέτη για το πώς το evaluation harness αλλάζει τον νικητή φωτίζει την ίδια αρχή από πλευράς υποδομής. Εδώ η ανατροπή προήλθε από τη σύνθεση του benchmark και τη συμπεριφορά του scorer. Και στις δύο περιπτώσεις, το leaderboard είναι προϊόν ολόκληρου του measurement system.
Οι συγγραφείς αναφέρουν ότι δύο προηγούμενοι γύροι είχαν ανακληθεί μετά από πέντε silent port-fidelity bugs, με διορθώσεις που μετακίνησαν μεμονωμένα scores έως 9,1 μονάδες. Στον τέταρτο γύρο αντιμετώπισαν την επαλήθευση ως παραδοτέο: scoring audit, pre-training gates, blind judging και reward-hacking analyses μπήκαν πριν από τα συμπεράσματα.
Ο heuristic extractor τιμωρούσε διαφορετικά arms κατά 19 έως 30 μονάδες και μπορούσε να αλλάξει σχεδόν κάθε pairwise σύγκριση. Για παράδειγμα, μορφές όπως «Final answer: A. 5.» δεν αναγνωρίζονταν σωστά σε multiple-choice rows. Μόνο οι blind-judged αριθμοί μπήκαν στον τελικό πίνακα.
Οι paired claims ελέγχθηκαν με exact McNemar tests. Τρεις ανεξάρτητες judging passes στα ίδια GRPO outputs έδωσαν 40,5%, 41,1% και 41,0%, άρα η judge variance ήταν περίπου ±0,5 μονάδα. Αυτό βοηθά να ξεχωρίσει η μικρή διακύμανση του scorer από τις μεγαλύτερες μεταξύ-group διαφορές.
Τα στατιστικά tests δεν διορθώνουν λάθος measurement pipeline. Μια πολύ μικρή p-value απαντά με ακρίβεια στην ερώτηση που της δόθηκε· δεν αποδεικνύει ότι ο scorer, το slice ή η ερώτηση είναι τα σωστά. Για αυτό τα hard gates και η επιθεώρηση των αποτυχημένων rows προηγούνται του leaderboard.
Η εργασία δεν δοκιμάζει καταστήματα, CRM agents ή καμπάνιες. Οι επιχειρησιακές εφαρμογές είναι επομένως μεταφορά της μεθοδολογίας, όχι άμεσο empirical claim. Όταν ένας agent αξιολογείται μόνο από ένα σπάνιο τελικό conversion, μπορεί να μη λαμβάνει αρκετό σήμα για το ποια ενδιάμεσα βήματα ήταν σωστά.
Σε e-commerce, ένα bot μπορεί να χρειάζεται να εντοπίσει προϊόν, να ελέγξει διαθεσιμότητα, να εφαρμόσει πολιτική επιστροφών και να ολοκληρώσει handoff πριν υπάρξει το τελικό outcome. Αν το reward έρχεται μόνο μετά την αγορά, αποτυχημένα sessions διαφορετικής ποιότητας συμπιέζονται στο ίδιο μηδέν. Hints, teacher feedback ή value estimates μπορούν να λειτουργήσουν ως scaffolding, αλλά πρέπει να μετριέται αν βελτιώνουν την αυτόνομη policy.
Ένα held-out set μπορεί να είναι τεχνικά ανεξάρτητο και παρ’ όλα αυτά κακός δείκτης πραγματικής χρήσης. Ένα support test υπερφορτωμένο με εύκολες template questions μπορεί να επιβραβεύει bot που δεν άλλαξε, ενώ αποτυγχάνει σε νέα προϊόντα, σύνθετες επιστροφές ή ασαφή intents. Η σωστή διαδικασία χρειάζεται δύσκολο in-domain tail, πραγματικό cross-domain set και ανάλυση ανά slice.
Το τρίτο μάθημα είναι η παρατηρησιμότητα. Οι ομάδες χρειάζεται να γνωρίζουν πόσα training groups έδωσαν μηδενική πληροφορία, πότε ενεργοποιήθηκε το teacher signal, αν ο critic παρήγαγε χρήσιμη διακύμανση και ποια υποσύνολα καθορίζουν την κατάταξη. Το behavioral testing για AI agents συμπληρώνει αυτή την εικόνα: το aggregate success rate δεν αρκεί όταν οι failure modes αλλάζουν ανά συμπεριφορά.
Από το learning signal σε audit-ready απόφαση
Καταγράψτε το ποσοστό all-wrong groups, τη διακύμανση του reward και πόσα batches συνεισφέρουν πραγματικό task gradient πριν αλλάξετε optimizer ή αυξήσετε compute.
Συγκρίνετε τον production scorer με χειροκίνητο ή blind semantic audit και κρατήστε ξεχωριστό metric για τη συμμόρφωση στο απαιτούμενο output contract.
Μετρήστε activation rate, gradient contribution, teacher agreement και αλλαγή της τελικής policy· ένα configured loss ή module δεν είναι από μόνο του evidence.
Απομονώστε exploration, auxiliary objective, teacher schedule και critic loss, ώστε η ομάδα να γνωρίζει ποιο στοιχείο παράγει την αλλαγή.
Ελέγξτε base rate, answer format, near-chance subsets και correlation με cross-domain ή production-like δεδομένα πριν εμπιστευτείτε pooled score.
Ορίστε thresholds, blind protocol, multi-seed replication όπου χρειάζεται και τεκμηριωμένη διαδικασία απόσυρσης συμπεράσματος όταν ο scorer ή το dataset αποδειχθεί ελαττωματικό.
Η πρακτική αξία αυτών των ελέγχων είναι ότι μετατρέπουν την εκπαίδευση από αδιαφανή δαπάνη compute σε ελεγχόμενο σύστημα αποφάσεων. Η ανάλυση Actor, Judge, Editor δείχνει μια συγγενή αρχή στην εκτέλεση: όταν η αξιολόγηση και η επισκευή έχουν σαφή όρια, η βελτίωση μπορεί να παραμένει πιστή στον αρχικό στόχο.
Όλα τα arms χρησιμοποίησαν seed 42. Οι συγγραφείς εκτιμούν από προηγούμενα runs ότι η seed-to-seed τυπική απόκλιση του GRPO είναι περίπου 2,4 έως 2,7 μονάδες. Οι μεγαλύτερες μεταξύ-group διαφορές ξεπερνούν αυτό το εύρος, αλλά ολόκληρη η σειρά μέσα στην delivered-prior ομάδα δεν πρέπει να μετατραπεί σε σταθερό ranking χωρίς multi-seed replication.
Το pooled MathV metric είναι size-weighted summary δύο slices που δεν είναι τυχαία δείγματα του ίδιου πληθυσμού. Το sparse-800 μοιράζεται distribution και template families με το training pool, ενώ περίπου 3 μονάδες του ισχυρότερου arm αποδίδονται σε template duplicates. Το DynaMath παρέχει το βασικό cross-domain evidence, αλλά το hard split έχει μόνο 104 ερωτήσεις και είναι υποτροφοδοτημένο για λεπτές συγκρίσεις.
Τα supervision regimes επίσης διαφέρουν: τα distillation arms δεν βλέπουν ground-truth answers, ενώ τα reward-driven arms τα χρησιμοποιούν. Ο LLM judge έχει μικρή αλλά υπαρκτή διακύμανση. Τα hint-conditioned rollouts δεν έχουν ακόμη off-context importance correction. Αυτοί οι περιορισμοί εμποδίζουν την αναγωγή των συγκεκριμένων scores σε καθολική συνταγή.
Το σωστό συμπέρασμα είναι στενότερο και πιο χρήσιμο. Σε ένα ελεγχόμενο sparse-reward visual-math experiment, delivered priors ξεχώρισαν από priors που χάνονταν ή περιορίζονταν, τα hints βοήθησαν κυρίως την exploration, το HL-Gauss άλλαξε δραστικά την εικόνα του critic και ένα φαινομενικά γενικό benchmark αντέστρεψε τη σχέση με το πραγματικό cross-domain test.
Για product και διοίκηση, η ερώτηση δεν είναι απλώς «ποιο μοντέλο κέρδισε;». Είναι αν το learning signal φτάνει στην policy, αν ο scorer μετρά τη σωστή συμπεριφορά και αν το test set προβλέπει την πραγματική χρήση. Χωρίς αυτές τις τρεις αποδείξεις, ένα υψηλότερο score μπορεί να είναι ακριβής μέτρηση του λάθος πράγματος.
Από το πείραμα σε ελεγχόμενο AI workflow
Σχεδιάστε evaluation, observability και rollout gates πριν κλιμακώσετε τον agent
Η TWO DOTS χαρτογραφεί rewards, failure slices, scorer contracts, teacher ή verifier signals, acceptance tests και monitoring ώστε η βελτίωση να μετριέται στο πραγματικό επιχειρησιακό αποτέλεσμα — όχι μόνο σε ένα βολικό benchmark.
Често задавани въпроси
Είναι καθεστώς όπου οι επιτυχημένες προσπάθειες είναι σπάνιες και πολλά rollouts παίρνουν το ίδιο μηδενικό reward. Σε group-relative methods αυτό μπορεί να αφαιρεί τη διαφοροποίηση που χρειάζεται η policy για να μάθει.
Το GRPO υπολογίζει σχετικό πλεονέκτημα μέσα στην ομάδα. Όταν όλα τα rollouts έχουν το ίδιο reward, οι group-normalized advantages από το task reward μηδενίζονται και δεν κατευθύνουν την ενημέρωση της policy.
Text prior μέσω reference-solution hints, distribution prior μέσω on-policy distillation από 7B teacher και value prior μέσω pretrained critic.
Στη συγκεκριμένη εκτέλεση το uft002 έφτασε 32,9%. Ο ένας training seed, το μέγεθος του set και η judge variance δεν επιτρέπουν να θεωρηθεί η μικρή διαφορά μέσα στην καλύτερη ομάδα σταθερή κατάταξη.
Η αντικατάσταση του clipped-MSE value loss με categorical HL-Gauss συνδέθηκε με άνοδο από 39,2% σε 53,6% στο sparse-800 και από 27,0% σε 31,9% στο DynaMath, με όλα τα άλλα βασικά στοιχεία ίδια.
Το 69% του set ήταν τετραπλής επιλογής και όλα τα arms κινούνταν κοντά στο τυχαίο 25%. Το slice φαινόταν να επιβραβεύει συμπεριφορά κοντά στο base model και είχε αρνητική συσχέτιση −0,74 με το DynaMath.
Όχι απαραίτητα. Στο hintsaf, hint και annealed teacher signal δεν πρόσθεσαν καθαρή υπεραξία, πιθανώς επειδή αντιμετώπιζαν το ίδιο bottleneck των all-wrong groups.
Πρέπει να επαληθεύεται τόσο η πραγματική παράδοση του learning signal όσο και η εγκυρότητα του measurement pipeline. Ένα ενεργό feature και ένα held-out dataset δεν αποτελούν από μόνα τους απόδειξη βελτίωσης.
Източници
