{"id":87753,"date":"2026-08-02T09:39:45","date_gmt":"2026-08-02T06:39:45","guid":{"rendered":"https:\/\/twodots.gr\/?p=87753"},"modified":"2026-08-02T09:39:47","modified_gmt":"2026-08-02T06:39:47","slug":"rl-sft-modeles-de-raisonnement-representations-esoteriques","status":"publish","type":"post","link":"https:\/\/twodots.gr\/fr\/rl-sft-reasoning-models-esoterika-representations\/","title":{"rendered":"RL ou SFT dans les mod\u00e8les de raisonnement : ce que r\u00e9v\u00e8lent les repr\u00e9sentations internes"},"content":{"rendered":"<div class=\"td-article-lede\">\n<p><strong>R\u00e9ponse succincte :<\/strong> Cette \u00e9tude montre que les mod\u00e8les de raisonnement orient\u00e9s RL ont tendance \u00e0 former des repr\u00e9sentations de la justesse plus claires et d\u00e9tectables plus t\u00f4t, et \u00e0 concentrer le traitement critique dans des couches plus profondes. Il ne d\u00e9montre toutefois pas que l'apprentissage par renforcement (RL) garantit une longueur de r\u00e9ponse constante ou une charge de calcul pr\u00e9visible.<\/p>\n<p>Voici le message essentiel pour une entreprise : ne vous fiez pas aux \u00e9tiquettes \u00ab reasoning \u00bb ou \u00ab RL \u00bb. \u00c9valuez cette version sp\u00e9cifique du mod\u00e8le sur votre propre charge de travail, avec le m\u00eame prompt et le m\u00eame \u00e9chantillonnage, en effectuant des ex\u00e9cutions r\u00e9p\u00e9t\u00e9es et en utilisant des indicateurs communs pour la qualit\u00e9, la latence, le nombre de tokens et le co\u00fbt.<\/p>\n<\/div>\n<div class=\"td-article-note\">\n<p><strong>La d\u00e9couverte d\u00e9cisive :<\/strong> Les repr\u00e9sentations internes et la r\u00e9partition du travail entre les couches diff\u00e8rent selon qu'il s'agit de mod\u00e8les orient\u00e9s RL ou de mod\u00e8les SFT\/optimis\u00e9s pour les instructions, mais la stabilit\u00e9 des tokens de sortie reste une propri\u00e9t\u00e9 de l'ensemble du pipeline d'entra\u00eenement et de d\u00e9ploiement.<\/p>\n<\/div>\n<div class=\"td-article-toc\">\n<div class=\"td-toc-title\">Sommaire<\/div>\n<ul>\n<li><a href=\"#ti-sygkrinei-meleti\">Que compare r\u00e9ellement cette \u00e9tude ?<\/a><\/li>\n<li><a href=\"#probing-hidden-states\">Comment a \u00e9t\u00e9 mis en place le \u00ab probing \u00bb des \u00e9tats cach\u00e9s ?<\/a><\/li>\n<li><a href=\"#linear-probes-evrimata\">Quels r\u00e9sultats ont donn\u00e9 les sondes lin\u00e9aires ?<\/a><\/li>\n<li><a href=\"#mean-ablation-layers\">Ablation moyenne : quelles couches modifient le r\u00e9sultat ?<\/a><\/li>\n<li><a href=\"#token-variability-compute\">Variabilit\u00e9 des jetons : pourquoi un plus grand nombre de jetons ne garantit pas une meilleure r\u00e9partition<\/a><\/li>\n<li><a href=\"#arithmitiko-keno-paper\">Le vide num\u00e9rique qui m\u00e9rite notre attention<\/a><\/li>\n<li><a href=\"#ai-procurement-simasia\">Que signifient ces r\u00e9sultats pour les achats dans le domaine de l'IA ?<\/a><\/li>\n<li><a href=\"#axiologisi-reasoning-model-praktika\">Comment \u00e9valuer un mod\u00e8le de raisonnement dans la pratique<\/a><\/li>\n<li><a href=\"#oria-ergasias\">Ce que cette \u00e9tude ne d\u00e9montre pas<\/a><\/li>\n<li><a href=\"#asfales-epicheirimatiko-symperasma\">La conclusion commerciale qui s'impose<\/a><\/li>\n<\/ul>\n<\/div>\n<h2 id=\"ti-sygkrinei-meleti\">Que compare r\u00e9ellement cette \u00e9tude ?<\/h2>\n<p>Le travail <em>Explorer les origines des performances en mati\u00e8re de raisonnement<\/em> ne se limite pas \u00e0 un simple score de r\u00e9f\u00e9rence. Il s'agit de savoir si la m\u00e9thode d'entra\u00eenement modifie la mani\u00e8re dont un mod\u00e8le organise l'information en interne, r\u00e9partit le calcul entre les couches du transformateur et d\u00e9termine la longueur de la r\u00e9ponse qu'il va g\u00e9n\u00e9rer.<\/p>\n<p>Les auteurs comparent des variantes des familles DeepSeek-Math et Olmo 3 \u00e0 trois approches compl\u00e9mentaires : des sondes lin\u00e9aires sur les \u00e9tats cach\u00e9s par couche, des ablations moyennes par couche et des \u00e9chantillonnages it\u00e9ratifs de la variance des tokens de sortie. Le r\u00e9sultat ne se r\u00e9sume pas \u00e0 un simple \u00ab RL bon, SFT mauvais \u00bb. Les mod\u00e8les orient\u00e9s RL pr\u00e9sentent des signaux de correction plus nets, tandis que la stabilit\u00e9 de la longueur varie consid\u00e9rablement d\u2019une famille de mod\u00e8les \u00e0 l\u2019autre.<\/p>\n<p>Cette distinction vient compl\u00e9ter ce que nous observons lorsqu'un mod\u00e8le <a href=\"https:\/\/twodots.gr\/overthinking-ai-montela-enischymeni-skepsi-krymmeni-gnosi\/\">g\u00e9n\u00e8re davantage de raisonnements sans am\u00e9lioration correspondante<\/a>. Le fait d'avoir la plus grande cha\u00eene de magasins ne constitue pas en soi une preuve d'une meilleure organisation interne ou d'une meilleure performance commerciale.<\/p>\n<div class=\"td-comparison\">\n<p class=\"td-comparison-title\">Quatre aspects de la comparaison entre RL et SFT<\/p>\n<div class=\"td-comparison-cards td-comparison-cards--horizontal\">\n<div class=\"td-comparison-grid td-comparison-grid--two\">\n<div class=\"td-platform-card\">\n<h3>Signal de repr\u00e9sentation<\/h3>\n<p>Les mod\u00e8les orient\u00e9s RL ont atteint une pr\u00e9cision de 83%\u201398%, contre 75%\u201390% pour les mod\u00e8les optimis\u00e9s par instruction.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">Sonde lin\u00e9aire<\/span><span class=\"td-badge\">Exactitude<\/span><\/div>\n<\/div>\n<div class=\"td-platform-card td-platform-card--navy\">\n<h3>Criticit\u00e9 des couches<\/h3>\n<p>Dans DeepSeek-Math-RL, l'effet de l'ablation augmentait avec la profondeur, tandis que dans Instruct, il restait pratiquement constant.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">r = 0,47<\/span><span class=\"td-badge\">Ablation moyenne<\/span><\/div>\n<\/div>\n<div class=\"td-platform-card\">\n<h3>Variabilit\u00e9 des jetons<\/h3>\n<p>DeepSeek-Math-RL pr\u00e9sentait une grande variabilit\u00e9 en termes de longueur, mais les deux variantes d'Olmo 3 sont rest\u00e9es relativement stables.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">CV<\/span><span class=\"td-badge\">Effet familial<\/span><\/div>\n<\/div>\n<div class=\"td-platform-card td-platform-card--navy\">\n<h3>D\u00e9cision commerciale<\/h3>\n<p>La mention \u00ab RL \u00bb ou \u00ab SFT \u00bb ne suffit pas ; c'est la version exacte du mod\u00e8le qui est \u00e9valu\u00e9e, ainsi que le prompt, l'\u00e9chantillonnage et la pile de d\u00e9ploiement.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">Charge de travail<\/span><span class=\"td-badge\">R\u00e9p\u00e9tabilit\u00e9<\/span><\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<h2 id=\"probing-hidden-states\">Comment a \u00e9t\u00e9 mis en place le \u00ab probing \u00bb des \u00e9tats cach\u00e9s ?<\/h2>\n<p>Pour le test, 1 000 probl\u00e8mes math\u00e9matiques synth\u00e9tiques ont \u00e9t\u00e9 cr\u00e9\u00e9s avec des param\u00e8tres arithm\u00e9tiques contr\u00f4l\u00e9s. La g\u00e9n\u00e9ration synth\u00e9tique r\u00e9duit le risque de contamination, permet un contr\u00f4le algorithmique de la \u00ab ground truth \u00bb et fournit suffisamment d'\u00e9chantillons pour une analyse statistique. Elle ne permet pas de g\u00e9n\u00e9raliser \u00e0 tous les types de raisonnement, mais elle isole mieux le ph\u00e9nom\u00e8ne \u00e9tudi\u00e9.<\/p>\n<p>Chaque mod\u00e8le a g\u00e9n\u00e9r\u00e9 une r\u00e9ponse par probl\u00e8me, avec une temp\u00e9rature comprise entre 0,6 et 0,7 et un top-p de 0,95. La valeur finale \u00e9tait extraite du <code>en bo\u00eete<\/code> delimiter et une tol\u00e9rance de \u00b11 \u00e9tait autoris\u00e9e pour l'arrondi. Les chercheurs ont conserv\u00e9 l\u2019ensemble commun de probl\u00e8mes r\u00e9solus par tous les mod\u00e8les, ont \u00e9quilibr\u00e9 correctement les \u00e9chantillons corrects et incorrects, et ont utilis\u00e9 une s\u00e9paration entre l\u2019entra\u00eenement 70%, 15% pour la validation et 15% pour le test.<\/p>\n<p>Les activations ont \u00e9t\u00e9 collect\u00e9es juste avant le d\u00e9limiteur de la r\u00e9ponse finale, c'est-\u00e0-dire apr\u00e8s la g\u00e9n\u00e9ration du raisonnement mais avant l'expression du nombre. Pour chaque couche, une r\u00e9gression logistique a \u00e9t\u00e9 entra\u00een\u00e9e avec une validation crois\u00e9e en 5 plis. La simplicit\u00e9 du test est importante : si un classificateur lin\u00e9aire distingue de mani\u00e8re fiable les solutions correctes des solutions erron\u00e9es, l'information correspondante est plus clairement s\u00e9parable de mani\u00e8re lin\u00e9aire.<\/p>\n<h2 id=\"linear-probes-evrimata\">Quels r\u00e9sultats ont donn\u00e9 les sondes lin\u00e9aires ?<\/h2>\n<p>D'apr\u00e8s la figure 1, les mod\u00e8les DeepSeek-Math-7B-RL et Olmo-3-Think ont atteint une pr\u00e9cision de probe comprise entre 83% et 98%, tandis que les mod\u00e8les optimis\u00e9s par instructions se situaient entre 75% et 90%. L'\u00e9tude fait \u00e9tat d'un \u00e9cart de huit points de pourcentage et d'une variance plus faible entre les \u00e9chantillons pour les mod\u00e8les de raisonnement.<\/p>\n<p>Les informations relatives \u00e0 la pr\u00e9cision ont \u00e9galement \u00e9t\u00e9 communiqu\u00e9es plus t\u00f4t. Au niveau 0, la pr\u00e9cision de test \u00e9tait d'environ 70% pour les mod\u00e8les dot\u00e9s de capacit\u00e9s de raisonnement et de 65% pour les mod\u00e8les Instruct. Les mod\u00e8les Olmo-3-Think et DeepSeek-Math-7B-RL ont maintenu des scores compris entre environ 94% et 95% aux couches 15 \u00e0 29.<\/p>\n<p>L'interpr\u00e9tation doit \u00eatre nuanc\u00e9e. Une sonde lin\u00e9aire d\u00e9montre qu'un signal peut \u00eatre extrait de l'\u00e9tat cach\u00e9 ; elle ne prouve pas que cette couche sp\u00e9cifique ou le signal lui-m\u00eame ait conduit \u00e0 la bonne solution. C'est pourquoi ce travail int\u00e8gre des interventions de type \u00ab mean ablation \u00bb et ne se limite pas \u00e0 une corr\u00e9lation descriptive. De m\u00eame, la <a href=\"https:\/\/twodots.gr\/spark-techniti-noimosyni-xerei-apantisi-den-energopoiei-sosti-skepsi\/\">disponibilit\u00e9 d'informations correctes au sein du mod\u00e8le<\/a> cela ne signifie pas pour autant qu'il sera utilis\u00e9 correctement dans chaque production.<\/p>\n<div class=\"td-chart td-chart--metrics\">\n<p class=\"td-chart-title\">Les donn\u00e9es qui \u00e9tayent les principales conclusions<\/p>\n<p class=\"td-chart-intro\">Ces valeurs rel\u00e8vent de ce protocole de recherche sp\u00e9cifique et ne constituent pas un score de qualit\u00e9 g\u00e9n\u00e9ral applicable \u00e0 tous les mod\u00e8les de raisonnement.<\/p>\n<div class=\"td-metric-grid\">\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">1.000<\/span><strong>probl\u00e8mes de synth\u00e8se<\/strong><\/p>\n<p>Ils ont \u00e9t\u00e9 utilis\u00e9s pour l'exploration par couches avec une g\u00e9n\u00e9ration contr\u00f4l\u00e9e et une \u00ab ground truth \u00bb algorithmique.<\/p>\n<\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">83%\u201398%<\/span><strong>pr\u00e9cision de la sonde<\/strong><\/p>\n<p>La port\u00e9e mentionn\u00e9e dans cet article concernant les mod\u00e8les de raisonnement orient\u00e9s RL.<\/p>\n<\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">r = 0,47<\/span><strong>corr\u00e9lation de profondeur<\/strong><\/p>\n<p>La relation positive entre la profondeur des couches et la baisse de pr\u00e9cision dans DeepSeek-Math-7B-RL, avec p &lt; 0,01.<\/p>\n<\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">CV \u2248 1,3<\/span><strong>variabilit\u00e9 maximale<\/strong><\/p>\n<p>La valeur maximale du coefficient de variation des tokens pour DeepSeek-Math-RL dans la plage de pr\u00e9cision 40%\u201360%.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<h2 id=\"mean-ablation-layers\">Ablation moyenne : quelles couches modifient le r\u00e9sultat ?<\/h2>\n<p>Le \u00ab probing \u00bb montre qu'une information est disponible. L'\u00ab ablation moyenne \u00bb examine si la contribution d'une couche est fonctionnellement significative : elle remplace ses activations par l'activation moyenne issue d'un ensemble de donn\u00e9es de r\u00e9f\u00e9rence et mesure la baisse de pr\u00e9cision. Le test a \u00e9t\u00e9 r\u00e9alis\u00e9 sur 20 probl\u00e8mes GSM8K pour les mod\u00e8les DeepSeek-Math-7B-RL et DeepSeek-Math-7B-Instruct.<\/p>\n<p>La pr\u00e9cision de base \u00e9tait de 70% pour le mod\u00e8le RL et de 65% pour Instruct. Dans le mod\u00e8le RL, la corr\u00e9lation entre la profondeur de la couche et l'effet de l'intervention \u00e9tait positive, r = 0,47 avec p &lt; 0,01. Dans le mod\u00e8le Instruct, elle \u00e9tait de r = -0,11 avec p = 0,55. La premi\u00e8re tendance montre que les couches les plus profondes deviennent progressivement plus d\u00e9terminantes, tandis que la seconde correspond \u00e0 une r\u00e9partition plus uniforme de l\u2019importance.<\/p>\n<p>La concentration du traitement critique est apparue principalement dans les couches 9 \u00e0 18 et 22 \u00e0 26 du mod\u00e8le RL. Jusqu\u2019\u00e0 la couche 10, les deux mod\u00e8les pr\u00e9sentaient une vuln\u00e9rabilit\u00e9 similaire, mais \u00e0 partir de la couche 15, leurs trajectoires divergent. Les auteurs expliquent ce ph\u00e9nom\u00e8ne par une organisation plus hi\u00e9rarchique dans le mod\u00e8le RL et par un traitement plus distribu\u00e9 et redondant dans le mod\u00e8le \u00ab instruction-tuned \u00bb.<\/p>\n<h2 id=\"token-variability-compute\">Variabilit\u00e9 des jetons : pourquoi un plus grand nombre de jetons ne garantit pas une meilleure r\u00e9partition<\/h2>\n<p>La troisi\u00e8me analyse utilise 50 probl\u00e8mes issus du GSM8K-Platinum et 50 r\u00e9ponses ind\u00e9pendantes par probl\u00e8me et par mod\u00e8le. Elle mesure la coh\u00e9rence des r\u00e9ponses, la m\u00e9diane des tokens de sortie et le coefficient de variation, c'est-\u00e0-dire l'\u00e9cart-type divis\u00e9 par le nombre moyen de tokens.<\/p>\n<p>Le CV permet de comparer des mod\u00e8les dont la longueur de sortie varie consid\u00e9rablement, car les mod\u00e8les de raisonnement pr\u00e9sent\u00e9s dans cet article produisaient g\u00e9n\u00e9ralement 5 \u00e0 10 fois plus de tokens que les mod\u00e8les SFT. La question n\u2019est pas de savoir si un mod\u00e8le produit davantage de texte, mais s\u2019il r\u00e9partit de mani\u00e8re constante l\u2019effort de calcul lorsqu\u2019il est confront\u00e9 \u00e0 nouveau au m\u00eame probl\u00e8me.<\/p>\n<p>DeepSeek-Math-RL a atteint un CV d'environ 1,3 dans la plage de pr\u00e9cision 40%\u201360%, environ 0,95 dans la plage 0%\u201320% et environ 0,35 dans la plage 80%\u2013100%. DeepSeek-Math-Instruct pr\u00e9sentait une variabilit\u00e9 plus faible. En revanche, Olmo-3-Think et Olmo-3-Instruct ont conserv\u00e9 un CV compris entre 0,1 et 0,125 l\u00e0 o\u00f9 des donn\u00e9es \u00e9taient disponibles.<\/p>\n<p>Par cons\u00e9quent, le RL ne garantit pas une allocation adaptative et pr\u00e9visible des ressources de calcul. La structure de r\u00e9compense, les donn\u00e9es, le d\u00e9codage et l'ensemble du pipeline peuvent prendre le pas sur l'\u00e9tiquette d'apprentissage. Dans les syst\u00e8mes de production, cela est directement li\u00e9 \u00e0 <a href=\"https:\/\/twodots.gr\/llm-routing-latency-accuracy-cost\/\">un routage qui tient compte de la latence, de la pr\u00e9cision et du co\u00fbt<\/a>.<\/p>\n<h2 id=\"arithmitiko-keno-paper\">Le vide num\u00e9rique qui m\u00e9rite notre attention<\/h2>\n<p>L'\u00e9tude indique que 50 probl\u00e8mes ont \u00e9t\u00e9 \u00e9valu\u00e9s, avec 50 r\u00e9ponses ind\u00e9pendantes par probl\u00e8me et par mod\u00e8le. Cela correspond \u00e0 2 500 r\u00e9ponses par mod\u00e8le. Dans le m\u00eame paragraphe, il est fait mention d'un total de 15 000 r\u00e9ponses par mod\u00e8le, un chiffre qui ne r\u00e9sulte pas du calcul indiqu\u00e9.<\/p>\n<p>C'est pourquoi cet article conserve le protocole v\u00e9rifiable 50 \u00d7 50 et n'utilise pas l'ensemble incompatible comme m\u00e9trique. Cette divergence n'invalide pas automatiquement les graphiques, mais r\u00e9duit le degr\u00e9 de certitude quant au nombre exact d'ex\u00e9cutions jusqu'\u00e0 ce qu'une correction ou une documentation suppl\u00e9mentaire soit fournie par les auteurs.<\/p>\n<p>Voici une le\u00e7on pratique pour chaque benchmark : v\u00e9rifiez si les totaux correspondent au plan d'\u00e9chantillonnage et si les tableaux peuvent \u00eatre reproduits. La <a href=\"https:\/\/twodots.gr\/every-eval-ever-ai-benchmarks-diafaneia\/\">transparence dans les benchmarks d'IA<\/a> Cela fait partie de la qualit\u00e9, ce n'est pas une simple note de bas de page.<\/p>\n<div class=\"td-decision-band\">\n<p class=\"td-decision-label\">R\u00e8gles de lecture des tests de performance<\/p>\n<p><strong>Lorsque l'ensemble consid\u00e9r\u00e9 n'est pas conforme au protocole, signalez la divergence et fondez votre conclusion uniquement sur les donn\u00e9es v\u00e9rifiables.<\/strong><\/p>\n<p>Une documentation rigoureuse permet d'\u00e9viter que la d\u00e9cision d'entreprise ne repose sur des chiffres spectaculaires mais non coh\u00e9rents.<\/p>\n<\/div>\n<h2 id=\"ai-procurement-simasia\">Que signifient ces r\u00e9sultats pour les achats dans le domaine de l'IA ?<\/h2>\n<p>Pour une \u00e9quipe charg\u00e9e du commerce \u00e9lectronique, du marketing ou du service client, la conclusion n\u2019est pas de demander des tests \u00ab hidden-state \u00bb avant d\u2019acheter un outil. Il s\u2019agit plut\u00f4t de ne pas consid\u00e9rer le score de benchmark comme une description exhaustive de la qualit\u00e9. Un mod\u00e8le peut atteindre une grande pr\u00e9cision, mais pr\u00e9senter une forte variation en termes de latence, de longueur de sortie et de co\u00fbt par token.<\/p>\n<p>L'unit\u00e9 d'\u00e9valuation r\u00e9elle correspond \u00e0 la version sp\u00e9cifique du mod\u00e8le, associ\u00e9e \u00e0 la prompt, aux param\u00e8tres d'\u00e9chantillonnage, aux outils et \u00e0 la pile de d\u00e9ploiement. Les termes RL, SFT, Thinking et Instruct sont des \u00e9tiquettes d'origine utiles, mais ne constituent pas une garantie de comportement. C'est d'ailleurs la raison pour laquelle <a href=\"https:\/\/twodots.gr\/poio-ai-montelo-axizei-gia-tin-epicheirisi\/\">aucun mod\u00e8le d'IA ne doit devenir un pari permanent<\/a> sans comparaison constante.<\/p>\n<p>Mesurez des ex\u00e9cutions r\u00e9p\u00e9t\u00e9es sur la m\u00eame entr\u00e9e, et pas seulement sur diff\u00e9rents cas de test. Utilisez de v\u00e9ritables t\u00e2ches : classification des demandes, v\u00e9rification des politiques, cr\u00e9ation de briefs, synth\u00e8se des commandes ou analyse de catalogue. L'\u00e9tude math\u00e9matique ne prouve pas que les r\u00e9sultats s'appliquent tels quels \u00e0 ces domaines, mais elle fournit une orientation m\u00e9thodologique solide.<\/p>\n<h2 id=\"axiologisi-reasoning-model-praktika\">Comment \u00e9valuer un mod\u00e8le de raisonnement dans la pratique<\/h2>\n<p>Ce processus s\u00e9curis\u00e9 allie performances externes et stabilit\u00e9 op\u00e9rationnelle. Le NIST AI RMF organise la gestion autour des axes \u00ab Govern \u00bb, \u00ab Map \u00bb, \u00ab Measure \u00bb et \u00ab Manage \u00bb et souligne que la mesure doit \u00eatre li\u00e9e au contexte d'utilisation r\u00e9el, \u00e0 la valeur m\u00e9tier, aux limites et au contr\u00f4le humain.<\/p>\n<div class=\"td-step-list\">\n<p class=\"td-step-list-title\">Six \u00e9tapes pour \u00e9valuer les mod\u00e8les de raisonnement sur une charge de travail r\u00e9elle<\/p>\n<ol>\n<li><span class=\"td-step-kicker\">\u00c9tape 1<\/span><strong>Voici le r\u00e9sultat commercial<\/strong>\n<p>D\u00e9crivez la t\u00e2che, le seuil d'erreur acceptable, le SLA et le co\u00fbt d'une r\u00e9ponse erron\u00e9e avant de comparer les mod\u00e8les.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">\u00c9tape 2<\/span><strong>Enregistrer la recette dans son int\u00e9gralit\u00e9<\/strong>\n<p>Notez pr\u00e9cis\u00e9ment la version du mod\u00e8le, l'invite du syst\u00e8me, les outils, la temp\u00e9rature, le top-p, les limites de tokens et l'infrastructure d'ex\u00e9cution.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">\u00c9tape 3<\/span><strong>Distinguer la s\u00e9lection et l'ensemble de reporting<\/strong>\n<p>S\u00e9lectionnez un ensemble de param\u00e8tres et observez le r\u00e9sultat final sur diff\u00e9rents exemples, invisibles, de la m\u00eame charge de travail.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">\u00c9tape 4<\/span><strong>R\u00e9p\u00e9tez la m\u00eame saisie<\/strong>\n<p>Ex\u00e9cutez chaque cas critique plusieurs fois afin de mesurer la variance, et pas seulement d'obtenir un r\u00e9sultat favorable.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">\u00c9tape 5<\/span><strong>\u00c9valuez \u00e0 la fois la qualit\u00e9 et le fonctionnement<\/strong>\n<p>Suivez la pr\u00e9cision, le taux d'\u00e9chec, la latence, le nombre de jetons g\u00e9n\u00e9r\u00e9s, le co\u00fbt et le coefficient de variation par niveau de difficult\u00e9.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">\u00c9tape 6<\/span><strong>D\u00e9finition des crit\u00e8res \u00ab go\/no-go \u00bb et nouvelle v\u00e9rification<\/strong>\n<p>D\u00e9finissez des seuils d'acceptation, pr\u00e9voyez une v\u00e9rification humaine pour les cas \u00e0 fort impact et proc\u00e9dez \u00e0 une nouvelle \u00e9valuation en cas de changement de mod\u00e8le, de prompt ou de pile de d\u00e9ploiement.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>Pour les workflows agentiques, ajoutez des droits d'acc\u00e8s minimaux, une piste d'audit, un m\u00e9canisme de repli et une fonctionnalit\u00e9 de suspension. Lorsque le syst\u00e8me apprend ou agit selon des politiques d'apprentissage par renforcement, la <a href=\"https:\/\/twodots.gr\/epalithefsi-politikon-reinforcement-learning-ai-agent\/\">v\u00e9rification de la politique avant la production<\/a> C'est un crit\u00e8re distinct de la qualit\u00e9 d'une r\u00e9ponse individuelle.<\/p>\n<h2 id=\"oria-ergasias\">Ce que cette \u00e9tude ne d\u00e9montre pas<\/h2>\n<p>Les sondes doivent comporter un nombre \u00e9quilibr\u00e9 de r\u00e9ponses correctes et d'erreurs. Si un mod\u00e8le r\u00e9pond presque toujours correctement ou presque toujours de mani\u00e8re erron\u00e9e, le classificateur risque d'apprendre la classe majoritaire. Les conclusions sont donc plus fiables \u00e0 proximit\u00e9 des limites de capacit\u00e9 des mod\u00e8les.<\/p>\n<p>L'analyse \u00ab mean-ablation \u00bb porte sur deux mod\u00e8les DeepSeek et seulement 20 probl\u00e8mes par mod\u00e8le. L'analyse se concentre sur des mod\u00e8les math\u00e9matiques contr\u00f4l\u00e9s, et non sur la g\u00e9n\u00e9ration de code, le support client ou les workflows commerciaux. De plus, un signal extractible ne constitue pas en soi une preuve causale.<\/p>\n<p>Les auteurs proposent d'\u00e9tendre le syst\u00e8me \u00e0 la g\u00e9n\u00e9ration de code et au raisonnement scientifique, \u00e0 l'analyse des \u00e9tapes interm\u00e9diaires et \u00e0 l'\u00e9valuation en temps r\u00e9el de la qualit\u00e9 de la repr\u00e9sentation. Il s'agit l\u00e0 d'axes de d\u00e9veloppement futurs. Ils ne doivent pas \u00eatre pr\u00e9sent\u00e9s comme des outils de surveillance d\u00e9j\u00e0 valid\u00e9s.<\/p>\n<h2 id=\"asfales-epicheirimatiko-symperasma\">La conclusion commerciale qui s'impose<\/h2>\n<p>Cet article apporte deux indices convergents indiquant que l'apprentissage ax\u00e9 sur le raisonnement peut restructurer le calcul interne : des repr\u00e9sentations plus claires et plus pr\u00e9coces de la validit\u00e9, ainsi qu'une plus grande importance fonctionnelle accord\u00e9e aux couches les plus profondes. Dans le m\u00eame temps, elle r\u00e9fute l'id\u00e9e selon laquelle l'apprentissage par renforcement (RL) garantirait une utilisation stable des tokens.<\/p>\n<p>Pour une entreprise, le principe de base est simple : n'achetez pas de \u00ab training label \u00bb. \u00c9valuez le syst\u00e8me en question dans vos conditions r\u00e9elles et mesurez non seulement s\u2019il a donn\u00e9 de bons r\u00e9sultats, mais aussi avec quelle r\u00e9gularit\u00e9, \u00e0 quelle vitesse et \u00e0 quel co\u00fbt. L'interpr\u00e9tabilit\u00e9 interne est une recherche pr\u00e9cieuse ; la d\u00e9cision commerciale, en revanche, n\u00e9cessite des preuves externes reproductibles.<\/p>\n<section class=\"td-service-cta\">\n<div class=\"td-service-cta-content\">\n<p class=\"td-service-cta-eyebrow\">Automatisation des processus m\u00e9tier et IA par TWO DOTS<\/p>\n<p class=\"td-service-cta-title\">S\u00e9lectionnez un mod\u00e8le de raisonnement \u00e0 partir des donn\u00e9es issues de votre propre charge de travail.<\/p>\n<p>TWO DOTS con\u00e7oit des automatisations bas\u00e9es sur l'IA \u00e0 l'aide d'ensembles de tests contr\u00f4l\u00e9s, d'ex\u00e9cutions r\u00e9p\u00e9t\u00e9es, d'un suivi de la latence et des co\u00fbts, de points de validation et d'une validation humaine lorsque le risque l'exige.<\/p>\n<div class=\"td-service-cta-actions\"><a class=\"td-service-cta-button\" href=\"https:\/\/twodots.gr\/aftomatismoi-epicheiriseon-ai\/\">Concevez un workflow d'IA quantifiable<\/a><\/div>\n<\/div>\n<\/section>\n<section id=\"sychnes-erotiseis\" class=\"td-faq-section\">\n<div class=\"td-faq\">\n<p class=\"td-faq-heading\">Foire aux questions (FAQ)<\/p>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Quelle est la principale diff\u00e9rence entre les m\u00e9thodes RL et SFT dans cette \u00e9tude ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Le SFT s'entra\u00eene \u00e0 partir d'exemples de r\u00e9ponses souhait\u00e9es, tandis que les variantes orient\u00e9es RL sont optimis\u00e9es \u00e0 l'aide de signaux de r\u00e9compense. Cet article compare les cons\u00e9quences internes et comportementales de ces pipelines.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Que mesure une sonde lin\u00e9aire ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Elle \u00e9value dans quelle mesure un classificateur lin\u00e9aire simple peut distinguer les r\u00e9ponses correctes des r\u00e9ponses erron\u00e9es en utilisant l'\u00e9tat cach\u00e9 d'une couche.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">La grande pr\u00e9cision de la sonde permet-elle de d\u00e9montrer un raisonnement causal ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Non. Cela montre que l'information est lin\u00e9airement s\u00e9parable et extractible, et non que la sonde a r\u00e9v\u00e9l\u00e9 le m\u00e9canisme causal \u00e0 l'origine de la r\u00e9ponse finale.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Quels r\u00e9sultats a donn\u00e9 l'ablation moyenne pour les couches ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Dans DeepSeek-Math-7B-RL, les couches les plus profondes sont progressivement devenues plus d\u00e9terminantes, tandis que dans DeepSeek-Math-7B-Instruct, l'importance \u00e9tait r\u00e9partie de mani\u00e8re plus homog\u00e8ne.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Les mod\u00e8les RL utilisent-ils toujours les tokens de mani\u00e8re plus stable ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Non. DeepSeek-Math-RL pr\u00e9sentait une plus grande variabilit\u00e9 que Instruct, tandis qu'Olmo-3-Think et Olmo-3-Instruct affichaient tous deux une variabilit\u00e9 faible similaire.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Pourquoi n'utilise-t-on pas le chiffre de 15 000 r\u00e9ponses par mod\u00e8le ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Le protocole pr\u00e9voit 50 probl\u00e8mes et 50 r\u00e9ponses par probl\u00e8me, soit 2 500 r\u00e9ponses par mod\u00e8le. Comme le chiffre de 15 000 mentionn\u00e9 ne correspond pas \u00e0 ce calcul, l'article s'en tient au protocole et souligne cette incoh\u00e9rence.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Les d\u00e9couvertes math\u00e9matiques peuvent-elles \u00eatre directement appliqu\u00e9es au marketing ou au commerce \u00e9lectronique ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Ce n'est pas une preuve directe de performance. Mais cela fournit une m\u00e9thodologie utile : des t\u00e2ches r\u00e9elles, des it\u00e9rations sur la m\u00eame entr\u00e9e et une mesure commune de la qualit\u00e9, de la latence, du nombre de tokens et du co\u00fbt.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Que doit-on prendre en compte avant de choisir un mod\u00e8le de raisonnement ?;<\/summary>\n<div class=\"td-faq-content\">\n<p>R\u00e9sultats sur sa propre charge de travail, version claire du mod\u00e8le, param\u00e8tres fixes, ex\u00e9cutions r\u00e9p\u00e9t\u00e9es, modes de d\u00e9faillance et variation de la latence et du co\u00fbt.<\/p>\n<\/div>\n<\/details>\n<\/div>\n<\/section>\n<div class=\"td-source-list\">\n<p id=\"piges\" class=\"td-source-list-title\">Sources d'information<\/p>\n<ul>\n<li><a href=\"https:\/\/arxiv.org\/abs\/2607.26119\" target=\"_blank\" rel=\"noopener\">Rahman et al. \u2014 \u00c9tude des origines des performances en mati\u00e8re de raisonnement : mod\u00e8les optimis\u00e9s par apprentissage par renforcement (RL) et par SFT<\/a><\/li>\n<li><a href=\"https:\/\/oankit.github.io\/-rl-sft-reasoning\/\" target=\"_blank\" rel=\"noopener\">Algoverse AI Research \u2014 page officielle du projet et code source<\/a><\/li>\n<li><a href=\"https:\/\/airc.nist.gov\/airmf-resources\/airmf\/5-sec-core\/\" target=\"_blank\" rel=\"noopener\">Cadre de gestion des risques li\u00e9s \u00e0 l'IA du NIST \u2014 \u00c9l\u00e9ments fondamentaux : gouverner, cartographier, mesurer, g\u00e9rer<\/a><\/li>\n<\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>D\u00e9couvrez ce que r\u00e9v\u00e8lent les \u00ab linear probes \u00bb, les \u00ab mean ablations \u00bb et la \u00ab token variability \u00bb pour les mod\u00e8les de raisonnement RL et SFT, et comment les \u00e9valuer dans des charges de travail r\u00e9elles.<\/p>","protected":false},"author":1,"featured_media":88055,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_gspb_post_css":"","footnotes":""},"categories":[199],"tags":[9261,7565,9225,7477,18034],"class_list":["post-87753","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-techniti-noimosyni","tag-ai-strategy","tag-artificial-intelligence-2","tag-llm","tag-machine-learning","tag-reinforcement-learning"],"_links":{"self":[{"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/posts\/87753","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/comments?post=87753"}],"version-history":[{"count":0,"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/posts\/87753\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/media\/88055"}],"wp:attachment":[{"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/media?parent=87753"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/categories?post=87753"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/twodots.gr\/fr\/wp-json\/wp\/v2\/tags?post=87753"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}