Forts de plus de 20 ans d'expérience, nous transformons votre présence numérique. Nous sommes spécialisés dans la création de sites web et de boutiques en ligne, le référencement naturel (SEO) et le marketing numérique, les logiciels ERP et les automatisations intelligentes qui permettent à votre entreprise de prendre son envol.
Adresse :
154, rue Egnatia, Thessalonique 546 36
Téléphone :
+30 231 231 4095
E-mail :
[email protected]
Prêts pour la prochaine étape ?;
Découvrez ce que révèlent les « linear probes », les « mean ablations » et la « token variability » pour les modèles de raisonnement RL et SFT, et comment les évaluer dans des charges de travail réelles.
Réponse succincte : Cette étude montre que les modèles de raisonnement orientés RL ont tendance à former des représentations de la justesse plus claires et détectables plus tôt, et à concentrer le traitement critique dans des couches plus profondes. Il ne démontre toutefois pas que l'apprentissage par renforcement (RL) garantit une longueur de réponse constante ou une charge de calcul prévisible.
Voici le message essentiel pour une entreprise : ne vous fiez pas aux étiquettes « reasoning » ou « RL ». Évaluez cette version spécifique du modèle sur votre propre charge de travail, avec le même prompt et le même échantillonnage, en effectuant des exécutions répétées et en utilisant des indicateurs communs pour la qualité, la latence, le nombre de tokens et le coût.
La découverte décisive : Les représentations internes et la répartition du travail entre les couches diffèrent selon qu'il s'agit de modèles orientés RL ou de modèles SFT/optimisés pour les instructions, mais la stabilité des tokens de sortie reste une propriété de l'ensemble du pipeline d'entraînement et de déploiement.
Le travail Explorer les origines des performances en matière de raisonnement ne se limite pas à un simple score de référence. Il s'agit de savoir si la méthode d'entraînement modifie la manière dont un modèle organise l'information en interne, répartit le calcul entre les couches du transformateur et détermine la longueur de la réponse qu'il va générer.
Les auteurs comparent des variantes des familles DeepSeek-Math et Olmo 3 à trois approches complémentaires : des sondes linéaires sur les états cachés par couche, des ablations moyennes par couche et des échantillonnages itératifs de la variance des tokens de sortie. Le résultat ne se résume pas à un simple « RL bon, SFT mauvais ». Les modèles orientés RL présentent des signaux de correction plus nets, tandis que la stabilité de la longueur varie considérablement d’une famille de modèles à l’autre.
Cette distinction vient compléter ce que nous observons lorsqu'un modèle génère davantage de raisonnements sans amélioration correspondante. Le fait d'avoir la plus grande chaîne de magasins ne constitue pas en soi une preuve d'une meilleure organisation interne ou d'une meilleure performance commerciale.
Quatre aspects de la comparaison entre RL et SFT
Les modèles orientés RL ont atteint une précision de 83%–98%, contre 75%–90% pour les modèles optimisés par instruction.
Dans DeepSeek-Math-RL, l'effet de l'ablation augmentait avec la profondeur, tandis que dans Instruct, il restait pratiquement constant.
DeepSeek-Math-RL présentait une grande variabilité en termes de longueur, mais les deux variantes d'Olmo 3 sont restées relativement stables.
La mention « RL » ou « SFT » ne suffit pas ; c'est la version exacte du modèle qui est évaluée, ainsi que le prompt, l'échantillonnage et la pile de déploiement.
Pour le test, 1 000 problèmes mathématiques synthétiques ont été créés avec des paramètres arithmétiques contrôlés. La génération synthétique réduit le risque de contamination, permet un contrôle algorithmique de la « ground truth » et fournit suffisamment d'échantillons pour une analyse statistique. Elle ne permet pas de généraliser à tous les types de raisonnement, mais elle isole mieux le phénomène étudié.
Chaque modèle a généré une réponse par problème, avec une température comprise entre 0,6 et 0,7 et un top-p de 0,95. La valeur finale était extraite du en boîte delimiter et une tolérance de ±1 était autorisée pour l'arrondi. Les chercheurs ont conservé l’ensemble commun de problèmes résolus par tous les modèles, ont équilibré correctement les échantillons corrects et incorrects, et ont utilisé une séparation entre l’entraînement 70%, 15% pour la validation et 15% pour le test.
Les activations ont été collectées juste avant le délimiteur de la réponse finale, c'est-à-dire après la génération du raisonnement mais avant l'expression du nombre. Pour chaque couche, une régression logistique a été entraînée avec une validation croisée en 5 plis. La simplicité du test est importante : si un classificateur linéaire distingue de manière fiable les solutions correctes des solutions erronées, l'information correspondante est plus clairement séparable de manière linéaire.
D'après la figure 1, les modèles DeepSeek-Math-7B-RL et Olmo-3-Think ont atteint une précision de probe comprise entre 83% et 98%, tandis que les modèles optimisés par instructions se situaient entre 75% et 90%. L'étude fait état d'un écart de huit points de pourcentage et d'une variance plus faible entre les échantillons pour les modèles de raisonnement.
Les informations relatives à la précision ont également été communiquées plus tôt. Au niveau 0, la précision de test était d'environ 70% pour les modèles dotés de capacités de raisonnement et de 65% pour les modèles Instruct. Les modèles Olmo-3-Think et DeepSeek-Math-7B-RL ont maintenu des scores compris entre environ 94% et 95% aux couches 15 à 29.
L'interprétation doit être nuancée. Une sonde linéaire démontre qu'un signal peut être extrait de l'état caché ; elle ne prouve pas que cette couche spécifique ou le signal lui-même ait conduit à la bonne solution. C'est pourquoi ce travail intègre des interventions de type « mean ablation » et ne se limite pas à une corrélation descriptive. De même, la disponibilité d'informations correctes au sein du modèle cela ne signifie pas pour autant qu'il sera utilisé correctement dans chaque production.
Les données qui étayent les principales conclusions
Ces valeurs relèvent de ce protocole de recherche spécifique et ne constituent pas un score de qualité général applicable à tous les modèles de raisonnement.
Ils ont été utilisés pour l'exploration par couches avec une génération contrôlée et une « ground truth » algorithmique.
La portée mentionnée dans cet article concernant les modèles de raisonnement orientés RL.
La relation positive entre la profondeur des couches et la baisse de précision dans DeepSeek-Math-7B-RL, avec p < 0,01.
La valeur maximale du coefficient de variation des tokens pour DeepSeek-Math-RL dans la plage de précision 40%–60%.
Le « probing » montre qu'une information est disponible. L'« ablation moyenne » examine si la contribution d'une couche est fonctionnellement significative : elle remplace ses activations par l'activation moyenne issue d'un ensemble de données de référence et mesure la baisse de précision. Le test a été réalisé sur 20 problèmes GSM8K pour les modèles DeepSeek-Math-7B-RL et DeepSeek-Math-7B-Instruct.
La précision de base était de 70% pour le modèle RL et de 65% pour Instruct. Dans le modèle RL, la corrélation entre la profondeur de la couche et l'effet de l'intervention était positive, r = 0,47 avec p < 0,01. Dans le modèle Instruct, elle était de r = -0,11 avec p = 0,55. La première tendance montre que les couches les plus profondes deviennent progressivement plus déterminantes, tandis que la seconde correspond à une répartition plus uniforme de l’importance.
La concentration du traitement critique est apparue principalement dans les couches 9 à 18 et 22 à 26 du modèle RL. Jusqu’à la couche 10, les deux modèles présentaient une vulnérabilité similaire, mais à partir de la couche 15, leurs trajectoires divergent. Les auteurs expliquent ce phénomène par une organisation plus hiérarchique dans le modèle RL et par un traitement plus distribué et redondant dans le modèle « instruction-tuned ».
La troisième analyse utilise 50 problèmes issus du GSM8K-Platinum et 50 réponses indépendantes par problème et par modèle. Elle mesure la cohérence des réponses, la médiane des tokens de sortie et le coefficient de variation, c'est-à-dire l'écart-type divisé par le nombre moyen de tokens.
Le CV permet de comparer des modèles dont la longueur de sortie varie considérablement, car les modèles de raisonnement présentés dans cet article produisaient généralement 5 à 10 fois plus de tokens que les modèles SFT. La question n’est pas de savoir si un modèle produit davantage de texte, mais s’il répartit de manière constante l’effort de calcul lorsqu’il est confronté à nouveau au même problème.
DeepSeek-Math-RL a atteint un CV d'environ 1,3 dans la plage de précision 40%–60%, environ 0,95 dans la plage 0%–20% et environ 0,35 dans la plage 80%–100%. DeepSeek-Math-Instruct présentait une variabilité plus faible. En revanche, Olmo-3-Think et Olmo-3-Instruct ont conservé un CV compris entre 0,1 et 0,125 là où des données étaient disponibles.
Par conséquent, le RL ne garantit pas une allocation adaptative et prévisible des ressources de calcul. La structure de récompense, les données, le décodage et l'ensemble du pipeline peuvent prendre le pas sur l'étiquette d'apprentissage. Dans les systèmes de production, cela est directement lié à un routage qui tient compte de la latence, de la précision et du coût.
L'étude indique que 50 problèmes ont été évalués, avec 50 réponses indépendantes par problème et par modèle. Cela correspond à 2 500 réponses par modèle. Dans le même paragraphe, il est fait mention d'un total de 15 000 réponses par modèle, un chiffre qui ne résulte pas du calcul indiqué.
C'est pourquoi cet article conserve le protocole vérifiable 50 × 50 et n'utilise pas l'ensemble incompatible comme métrique. Cette divergence n'invalide pas automatiquement les graphiques, mais réduit le degré de certitude quant au nombre exact d'exécutions jusqu'à ce qu'une correction ou une documentation supplémentaire soit fournie par les auteurs.
Voici une leçon pratique pour chaque benchmark : vérifiez si les totaux correspondent au plan d'échantillonnage et si les tableaux peuvent être reproduits. La transparence dans les benchmarks d'IA Cela fait partie de la qualité, ce n'est pas une simple note de bas de page.
Règles de lecture des tests de performance
Lorsque l'ensemble considéré n'est pas conforme au protocole, signalez la divergence et fondez votre conclusion uniquement sur les données vérifiables.
Une documentation rigoureuse permet d'éviter que la décision d'entreprise ne repose sur des chiffres spectaculaires mais non cohérents.
Pour une équipe chargée du commerce électronique, du marketing ou du service client, la conclusion n’est pas de demander des tests « hidden-state » avant d’acheter un outil. Il s’agit plutôt de ne pas considérer le score de benchmark comme une description exhaustive de la qualité. Un modèle peut atteindre une grande précision, mais présenter une forte variation en termes de latence, de longueur de sortie et de coût par token.
L'unité d'évaluation réelle correspond à la version spécifique du modèle, associée à la prompt, aux paramètres d'échantillonnage, aux outils et à la pile de déploiement. Les termes RL, SFT, Thinking et Instruct sont des étiquettes d'origine utiles, mais ne constituent pas une garantie de comportement. C'est d'ailleurs la raison pour laquelle aucun modèle d'IA ne doit devenir un pari permanent sans comparaison constante.
Mesurez des exécutions répétées sur la même entrée, et pas seulement sur différents cas de test. Utilisez de véritables tâches : classification des demandes, vérification des politiques, création de briefs, synthèse des commandes ou analyse de catalogue. L'étude mathématique ne prouve pas que les résultats s'appliquent tels quels à ces domaines, mais elle fournit une orientation méthodologique solide.
Ce processus sécurisé allie performances externes et stabilité opérationnelle. Le NIST AI RMF organise la gestion autour des axes « Govern », « Map », « Measure » et « Manage » et souligne que la mesure doit être liée au contexte d'utilisation réel, à la valeur métier, aux limites et au contrôle humain.
Six étapes pour évaluer les modèles de raisonnement sur une charge de travail réelle
Décrivez la tâche, le seuil d'erreur acceptable, le SLA et le coût d'une réponse erronée avant de comparer les modèles.
Notez précisément la version du modèle, l'invite du système, les outils, la température, le top-p, les limites de tokens et l'infrastructure d'exécution.
Sélectionnez un ensemble de paramètres et observez le résultat final sur différents exemples, invisibles, de la même charge de travail.
Exécutez chaque cas critique plusieurs fois afin de mesurer la variance, et pas seulement d'obtenir un résultat favorable.
Suivez la précision, le taux d'échec, la latence, le nombre de jetons générés, le coût et le coefficient de variation par niveau de difficulté.
Définissez des seuils d'acceptation, prévoyez une vérification humaine pour les cas à fort impact et procédez à une nouvelle évaluation en cas de changement de modèle, de prompt ou de pile de déploiement.
Pour les workflows agentiques, ajoutez des droits d'accès minimaux, une piste d'audit, un mécanisme de repli et une fonctionnalité de suspension. Lorsque le système apprend ou agit selon des politiques d'apprentissage par renforcement, la vérification de la politique avant la production C'est un critère distinct de la qualité d'une réponse individuelle.
Les sondes doivent comporter un nombre équilibré de réponses correctes et d'erreurs. Si un modèle répond presque toujours correctement ou presque toujours de manière erronée, le classificateur risque d'apprendre la classe majoritaire. Les conclusions sont donc plus fiables à proximité des limites de capacité des modèles.
L'analyse « mean-ablation » porte sur deux modèles DeepSeek et seulement 20 problèmes par modèle. L'analyse se concentre sur des modèles mathématiques contrôlés, et non sur la génération de code, le support client ou les workflows commerciaux. De plus, un signal extractible ne constitue pas en soi une preuve causale.
Les auteurs proposent d'étendre le système à la génération de code et au raisonnement scientifique, à l'analyse des étapes intermédiaires et à l'évaluation en temps réel de la qualité de la représentation. Il s'agit là d'axes de développement futurs. Ils ne doivent pas être présentés comme des outils de surveillance déjà validés.
Cet article apporte deux indices convergents indiquant que l'apprentissage axé sur le raisonnement peut restructurer le calcul interne : des représentations plus claires et plus précoces de la validité, ainsi qu'une plus grande importance fonctionnelle accordée aux couches les plus profondes. Dans le même temps, elle réfute l'idée selon laquelle l'apprentissage par renforcement (RL) garantirait une utilisation stable des tokens.
Pour une entreprise, le principe de base est simple : n'achetez pas de « training label ». Évaluez le système en question dans vos conditions réelles et mesurez non seulement s’il a donné de bons résultats, mais aussi avec quelle régularité, à quelle vitesse et à quel coût. L'interprétabilité interne est une recherche précieuse ; la décision commerciale, en revanche, nécessite des preuves externes reproductibles.
Automatisation des processus métier et IA par TWO DOTS
Sélectionnez un modèle de raisonnement à partir des données issues de votre propre charge de travail.
TWO DOTS conçoit des automatisations basées sur l'IA à l'aide d'ensembles de tests contrôlés, d'exécutions répétées, d'un suivi de la latence et des coûts, de points de validation et d'une validation humaine lorsque le risque l'exige.
Foire aux questions (FAQ)
Le SFT s'entraîne à partir d'exemples de réponses souhaitées, tandis que les variantes orientées RL sont optimisées à l'aide de signaux de récompense. Cet article compare les conséquences internes et comportementales de ces pipelines.
Elle évalue dans quelle mesure un classificateur linéaire simple peut distinguer les réponses correctes des réponses erronées en utilisant l'état caché d'une couche.
Non. Cela montre que l'information est linéairement séparable et extractible, et non que la sonde a révélé le mécanisme causal à l'origine de la réponse finale.
Dans DeepSeek-Math-7B-RL, les couches les plus profondes sont progressivement devenues plus déterminantes, tandis que dans DeepSeek-Math-7B-Instruct, l'importance était répartie de manière plus homogène.
Non. DeepSeek-Math-RL présentait une plus grande variabilité que Instruct, tandis qu'Olmo-3-Think et Olmo-3-Instruct affichaient tous deux une variabilité faible similaire.
Le protocole prévoit 50 problèmes et 50 réponses par problème, soit 2 500 réponses par modèle. Comme le chiffre de 15 000 mentionné ne correspond pas à ce calcul, l'article s'en tient au protocole et souligne cette incohérence.
Ce n'est pas une preuve directe de performance. Mais cela fournit une méthodologie utile : des tâches réelles, des itérations sur la même entrée et une mesure commune de la qualité, de la latence, du nombre de tokens et du coût.
Résultats sur sa propre charge de travail, version claire du modèle, paramètres fixes, exécutions répétées, modes de défaillance et variation de la latence et du coût.
Sources d'information
