Les ensembles de LLM peuvent fournir de meilleures prévisions que n'importe quel modèle pris isolément lorsque leur combinaison exploite différents schémas d'erreur et qu'elle est évaluée sur des données temporelles pures. La majorité simple ne suffit pas : il faut des probabilités, des résultats historiques, un agrégateur adapté et un contrôle pour que les modèles ne « connaissent » pas déjà la réponse à partir de leurs données d'apprentissage.
Le travail La sagesse des foules de modèles linguistiques : agrégation et contamination dans les ensembles de modèles linguistiques a rassemblé les prédictions de 15 LLM pour 254 questions binaires. Sur les 94 questions sans contrainte temporelle, la régression logistique a obtenu un score de Brier de 0,241, le MLP de 0,264 et la moyenne arithmétique simple de 0,313. La conclusion opérationnelle n’est pas « utilisez davantage de modèles », mais « évaluez quels modèles apportent réellement une valeur ajoutée ».
Ce que l'étude ne démontre pas : Ces poids spécifiques, ces paires de modèles et ces performances ne sont pas automatiquement transposables à la prévision de la demande, à l'évaluation des risques, au marketing ou au commerce électronique. Chaque utilisation nécessite ses propres cas résolus, une répartition chronologique entre les ensembles d'entraînement et de test, un indicateur prédéfini et une nouvelle validation après tout changement de modèle ou de prompt.
De la sagesse des groupes humains aux ensembles d'intelligence artificielle
Dans les groupes humains, l'explication classique de la précision collective est que les évaluateurs individuels partagent une partie du signal utile, mais commettent des erreurs en partie indépendantes les unes des autres. Lorsque les estimations sont combinées, les différentes erreurs peuvent s'annuler mutuellement, tandis que le signal commun est conservé. Cela ne signifie pas que toute foule est sage, ni qu’une simple moyenne est toujours la meilleure solution. Cela signifie que la diversité des erreurs peut devenir un atout exploitable.
L'application de ce concept aux LLM ne va pas de soi. De nombreux modèles ont été entraînés sur des données qui se recoupent, suivent des techniques d'alignement similaires et peuvent reproduire les mêmes schémas de certitude ou de malentendu. D’un autre côté, ils diffèrent en termes d’architecture, de fournisseur, de taille, de seuil d’entraînement et de processus de réglage fin. L'étude cherche à déterminer si ces différences suffisent pour qu'un ensemble de LLM produise de meilleurs résultats que n'importe lequel de ses membres pris individuellement.
Pour une entreprise, la question est d'ordre pratique. Lorsqu’une décision porte sur la demande, le risque, les tendances du marché ou les chances de réussite d’une initiative, il est tentant de consulter plusieurs modèles et de retenir l’avis majoritaire. Les recherches montrent que la valeur ne réside pas simplement dans le nombre de réponses. Elle réside dans la structure de leurs différences et dans la méthode qui permet de transformer quinze possibilités en une seule.
Comment cette étude a-t-elle été conçue et pourquoi la dimension temporelle est-elle cruciale ?
Les questions de recherche provenaient de Manifold Markets, une plateforme de marché prédictif utilisant de la monnaie virtuelle. Nous avons sélectionné des marchés présentant un résultat binaire, OUI ou NON, qui avaient rassemblé au moins 75 traders uniques. Les questions ambiguës, personnelles ou dépendant d’informations privilégiées auxquelles un modèle linguistique ne pourrait pas avoir accès ont été exclues. L'ensemble initial comprenait 208 affirmations : 107 vraies et 101 fausses.
L'évaluation principale s'est appuyée sur des questions résolues après le 1er septembre 2025, c'est-à-dire après la dernière date limite d'entraînement parmi les 15 modèles. Sur l'ensemble initial, 48 questions répondaient à cette condition. 46 autres questions répondant aux mêmes critères ont été ajoutées, créant ainsi un sous-ensemble « propre » de 94 questions, dont 44 avec une réponse « OUI » et 50 avec une réponse « NON ». Ainsi, les 254 requêtes uniques ont été réparties de manière fonctionnelle entre des données historiques destinées à l'entraînement des agrégateurs appris et un ensemble propre et distinct destiné aux tests.
Les 15 modèles comprenaient cinq modèles locaux via Ollama et dix modèles en cloud provenant d'Anthropic, d'OpenAI, de Google et de DeepSeek. Ils comprenaient, entre autres, Mistral 7B, LLaMA 3.1 8B, Gemma 2 9B, Phi-4 14B, Qwen 2.5 7B, ainsi que les modèles GPT, Gemini et Claude. La source précise expressément que les tailles des modèles cloud n’étaient pas connues du public et que les seuils d’entraînement étaient approximatifs, sur la base de la documentation officielle lorsque celle-ci était disponible.
Le processus de prédiction : même question, même format, sans recherche sur Internet
Chaque LLM a reçu une consigne standardisée. Il devait évaluer la probabilité qu’une affirmation soit vraie, utiliser la date d’évaluation pour les références temporelles concernées, de se fonder uniquement sur les connaissances acquises lors de son apprentissage et de ne pas rechercher d’informations sur Internet. La réponse finale devait prendre la forme PROBABILITÉ : [nombre], dont la valeur est comprise entre 0 et 1.
Même ce protocole en apparence simple a révélé des différences fonctionnelles. Au départ, Gemini Flash et Gemini Pro ne fournissaient pas de probabilité lisible pour une part importante des requêtes, mais une brève demande de suivi précisant le format correct a permis de récupérer la plupart des réponses. Le modèle LLaMA 3.1 8B a initialement refusé de répondre à des questions politiquement sensibles dans 22,61 % des cas, et un message système neutre destiné à un exercice académique de calibrage a permis de récupérer la plupart des réponses. Mistral 7B omettait souvent le tag demandé, mais il y avait presque toujours un nombre décimal pouvant être extrait.
Ces détails revêtent une importance opérationnelle. Un workflow multimodèle nécessite non seulement des modèles et des prompts, mais aussi des opérations d'analyse syntaxique, de validation, une politique de nouvelle tentative et une gestion claire des refus. Sinon, l'ensemble supposé risque de comparer des résultats incomplets ou incompatibles et de donner une fausse impression de consensus.
De la simple moyenne à l'agrégation apprise
Cette étude a comparé quatre options classiques : la moyenne arithmétique, la moyenne harmonique, la moyenne géométrique/log-odds et la médiane. Dans la prédiction binaire, la moyenne géométrique après normalisation et la moyenne log-odds correspondent mathématiquement à la même méthode. La moyenne arithmétique constitue la référence la plus directe. La médiane est plus résistante aux valeurs extrêmes. La moyenne log-odds « éloigne » souvent la probabilité cumulée de 0,5 et présente un intérêt théorique lorsque les jugements sont bien calibrés et, sous certaines conditions, indépendants.
Un rassemblement simple et formateur
Deux méthodes d'apprentissage ont également été testées. La régression logistique a appris une combinaison linéaire des 15 probabilités avec une régularisation L2. Le MLP a utilisé une entrée de 15 unités, deux couches cachées de 64 et 32 unités avec ReLU et un dropout de 0,2, ainsi qu'une fonction de sortie sigmoïde. Il a été entraîné pendant 25 époques avec Adam, avec un taux d'apprentissage de 5×10−3, l'entropie croisée binaire et une taille de lot de 16.
Les deux agrégateurs intelligents ont été entraînés sur les 160 éléments les plus anciens, non nettoyés, puis testés sur les 94 éléments nettoyés qu'ils n'avaient jamais vus. Ce dispositif de transfert temporel se rapproche d’une utilisation réelle : l’agrégateur apprend à partir de requêtes historiques déjà résolues et s’applique à des prédictions ultérieures. Parallèlement, cela crée une contrainte que les auteurs reconnaissent : les poids sont appris dans un environnement affecté par la contamination, puis transférés vers un environnement plus propre.
Que révèlent les mesures concernant les agrégateurs ?
L'indicateur principal était le score de Brier, pour lequel une valeur plus faible indique une meilleure prédiction probabiliste. Sur les 94 questions distinctes, la régression logistique a obtenu un score de Brier de 0,241 et le MLP de 0,264. La moyenne arithmétique s'est élevée à 0,313. La régression logistique présentait une précision de 0,574 et une AUC de 0,633, tandis que le MLP affichait une précision et une AUC supérieures, respectivement de 0,606 et 0,657. La moyenne arithmétique était plus faible pour les deux, avec une précision de 0,511 et une AUC de 0,498.
Le test pur des agrégateurs
Résultats de l'étude arXiv:2607.18269v2 sur les mêmes 94 questions résolues après les seuils d'entraînement de tous les modèles. Pour le score de Brier, une valeur plus faible indique une meilleure prédiction probabiliste.
94questions purement chronologiques44 « OUI » et 50 « NON »
0,241régression logistiqueLe score de Brier le plus bas
0,264Agrégateur MLPMeilleure AUC et meilleure précision que la régression logistique
0,313moyenne arithmétiqueLa référence de base simple des 15 LLM
Il ne s'agit pas de dire qu'un réseau « profond » a découvert une intelligence non linéaire mystérieuse. Au contraire, le modèle linéaire a égalé, voire surpassé, le MLP en termes de score de Brier. Cela corrobore l’interprétation selon laquelle le gain provient principalement de l’apprentissage de poids adaptés à différents modèles d’erreur. La non-linéarité supplémentaire potentielle du MLP a amélioré la discrimination et la précision, mais au détriment de l'étalonnage.
La supériorité du MLP par rapport à la moyenne arithmétique a été constante pour 62 des 94 items et a été confirmée par le test des signes, le test de Wilcoxon et le test de permutation. En ce qui concerne la régression logistique, la réduction moyenne du coefficient de Brier était plus importante, soit 23% contre 15,6% pour le MLP, mais elle n’était pas répartie uniformément entre les items. Les auteurs l'interprètent comme le résultat de quelques gains particulièrement importants, et non comme une légère amélioration généralisée.
Pourquoi un modèle « faible » peut s'avérer précieux pour l'équipe
La régression symbolique a été utilisée pour transformer la cartographie apprise par le MLP en une forme plus interprétable. Au cours de 50 exécutions indépendantes, la sélection des modèles ne s'est pas contentée de suivre le classement des performances individuelles. Parmi les modèles sélectionnés dans 1001 des 3T essais, on trouvait à la fois des modèles « cloud » puissants et trois des modèles « locaux » les moins performants : Qwen 2.5 7B, LLaMA 3.1 8B et Phi-4 14B.
La formule utile la moins complexe sur la frontière de Pareto était un signal contrastif entre la probabilité de Gemini Pro et celle de Claude Haiku. Sur les 203 éléments pour lesquels les deux modèles ont renvoyé une probabilité, cette formule a obtenu un score de Brier de 0,231, soit 12,91 TP3T de moins que la moyenne arithmétique de 0,265 pour ces mêmes items. Sur le sous-ensemble « clean », elle a obtenu un score de 0,243. Cela ne signifie pas que ces deux modèles constituent une recette universelle. Cela signifie simplement que, sur cet ensemble de données, une différence d’erreurs complémentaire pouvait donner des résultats presque aussi bons qu’un réseau prenant en compte les 15 sorties.
L'analyse des coefficients de la régression logistique a corroboré cette explication. La pondération absolue d'un modèle était davantage corrélée à la variance de son erreur, Spearman rs = 0,482, et pratiquement pas du tout avec son classement individuel, rs = −0,075. Neuf des 15 modèles ont reçu des poids négatifs. Autrement dit, lorsqu'un de ces modèles augmentait la probabilité, l'agrégateur pouvait la réduire. Un biais systématique peut s'avérer utile lorsqu'il est constant et différent des biais du reste du groupe.
La contamination a radicalement modifié le classement des modèles
L'avertissement le plus important concerne les « training cutoffs ». Si le résultat d'une requête avait été rendu public avant le « cutoff » d'un modèle, la réponse pourrait se trouver dans les données d'entraînement. Dans ce cas, le modèle ne fait pas de véritable prédiction. Il peut restituer, de manière directe ou indirecte, un résultat déjà connu.
Tous les modèles comportant suffisamment d’items « within-cutoff » ont affiché une précision plus élevée sur ces derniers que sur les items « out-of-window ». La différence allait de +0,05 pour le GPT-5.4 Mini à +0,26 pour le Claude Sonnet. Les modèles Gemini Flash et Gemini Pro ont également affiché une « extrémité » de probabilité statistiquement significative plus élevée pour les éléments « within-cutoff », c'est-à-dire une distance plus grande par rapport à 0,5. Les auteurs ont remarqué que les modèles Claude pouvaient présenter un avantage similaire en termes de précision sans pour autant afficher la même augmentation de l’extrémité, ce qu’ils interprètent avec prudence comme un effet potentiel de l’entraînement par étalonnage.
La corrélation de Spearman entre le classement des modèles sur l'ensemble de données complet et sur le sous-ensemble nettoyé n'était que de 0,532. Le LLaMA 3.1 8B est passé de la 14e à la 6e place, le GPT-5.4 Mini a chuté de la 6e à la 13e et le Claude Opus de la 2e à la 9e. Plus impressionnant encore, l'écart entre les modèles « cloud » et « locaux » est passé de 35,81 TP3T sur l'ensemble complet à 8,91 TP3T sur les éléments nettoyés, en moyenne arithmétique.
L'étude a effectué deux contrôles de robustesse. Lorsqu’elle a utilisé uniquement les 48 items nets issus de l’ensemble de données initial, afin de limiter le risque de variation du niveau de difficulté ou du type de questions, l’écart a été ramené à 13,41 TP3T. Lorsqu’il a décalé tous les seuils approximatifs d’un mois dans chaque sens, les résultats principaux sont restés similaires : un écart d’environ 361 TP3T sur l’ensemble complet, d’environ 131 TP3T sur les items bruts et des corrélations de classement proches de 0,5.
Les « LLM crowds » s'améliorent, mais n'atteignent pas le dynamisme du marché humain
La probabilité finale de l'achat de Manifold présentait un score de Brier de 0,098 sur l'ensemble complet des 208 articles, contre 0,266 pour la moyenne arithmétique des LLM. Cette comparaison favorise naturellement le marché, car les traders actualisaient leurs estimations jusqu'à la résolution, tandis que les LLM fonctionnaient avec des connaissances d'entraînement figées.
Afin de garantir une comparaison plus équitable, les chercheurs ont extrait le cours historique de chaque marché à la date de référence de chaque modèle. Même dans ces conditions, chaque LLM pris individuellement affichait un score de Brier de 1,61 à 2,64 fois plus mauvais que la valeur correspondante du marché, avec un rapport moyen de 1,95. La moyenne arithmétique des LLM était 2,01 fois inférieure à celle du marché lors de la dernière date de coupure commune, en août 2025.
Selon cette source, le marché humain ne se distingue pas uniquement parce qu’il dispose d’informations plus récentes. Elle intègre des connaissances dispersées provenant de traders qui choisissent leurs domaines, placent des paris à plusieurs reprises, suivent les évaluations des autres et réagissent aux nouvelles données. Les LLM de l’étude ont fourni des réponses simultanées et indépendantes, sans dialogue ni mise à jour. Il s’agit d’un mécanisme différent d’intelligence collective.
Qu'est-ce que cela signifie pour les entreprises, les spécialistes du marketing et les flux de travail basés sur l'IA ?
La première conclusion pratique est que l'argument « j'ai interrogé trois modèles et deux d'entre eux étaient d'accord » ne constitue pas une stratégie d'ensemble suffisante. La plupart des approches négligent l'étalonnage, la corrélation des erreurs et les performances au fil du temps de chaque modèle. Si un workflow justifie l'utilisation de plusieurs LLM, il nécessite un ensemble de données historiques comportant des résultats réels et une distinction rigoureuse entre les périodes d'entraînement et d'évaluation.
Pour une équipe qui planifie Automatisation des processus métier et IA, l'ensemble n'a de valeur que s'il est associé à une décision précise, à un coût d'erreur et à un processus d'approbation humaine. La diagnostic ciblé des faiblesses des modèles permet de déterminer si la divergence apporte des informations ou ne fait qu'ajouter du bruit, tandis que le Routage LLM en fonction de critères de latence, de précision et de coût couvre la décision différente concernant le modèle à exécuter pour chaque requête. Dans les deux cas, les limites liées à la confiance, au contexte et à la supervision humaine doivent rester visibles.
Deuxièmement, le fait de sélectionner des modèles uniquement à partir des classements peut réduire la valeur de l'ensemble. Dix modèles très similaires peuvent produire dix variantes d'une même erreur. Un modèle plus petit ou moins précis peut offrir une plus grande valeur marginale si son profil d'erreur est indépendant. La bonne question n’est pas seulement « quel modèle obtient le meilleur score ? », mais « quel nouveau modèle apporte des informations qui n’existent pas encore ? ».
Troisièmement, les poids négatifs ne doivent pas être considérés comme irrationnels. Dans les systèmes de notation des risques, de prévision de la demande ou d’évaluation de contenu, un modèle peut servir d’indicateur inverse lorsque son biais s’est avéré stable. Cela nécessite une validation minutieuse et non une hypothèse formulée arbitrairement. Les poids de cette étude ne sont pas automatiquement transposables à un autre domaine, à une autre invite ou à des versions plus récentes des modèles.
Pour une entreprise de commerce électronique, ce concept pourrait s'appliquer à certaines décisions binaires ou probabilistes bien définies, par exemple pour déterminer si une référence risque d'être en rupture de stock à un horizon donné ou si une campagne est susceptible d'atteindre un objectif prédéfini. Cependant, cette application nécessite des données internes clairement structurées dans le temps, des indicateurs prédéfinis et un réentraînement continu. L’étude ne démontre pas qu’un ensemble général de LLM puisse remplacer une prévision spécialisée ou une analyse causale.
Un cadre plus sûr pour les décisions multimodèles
Un projet pilote bien organisé peut démarrer avec un résultat et des probabilités clairement définis, plutôt qu'avec du texte libre. Chaque modèle doit recevoir la même consigne, la même limite d'informations et les mêmes contraintes. Les résultats doivent être soumis à une validation, tandis que les échecs et les refus doivent être consignés plutôt que supprimés de l'ensemble de données.
Six étapes pour un projet pilote multimodèle contrôlé
- Étape 1Définissez un résultat vérifiable
Choisissez un résultat binaire ou probabiliste avec un horizon temporel précis, tel que la rupture de stock d'une référence spécifique ou l'atteinte d'un objectif de campagne prédéfini.
- Étape 2Verrouiller l'accès aux informations communes
Fournissez à tous les LLM les mêmes informations disponibles et enregistrez la prompt, l'identifiant du modèle, la date d'appel et la date limite de formation connue.
- Étape 3Demandez une estimation, pas seulement un avis
Utilisez une sortie commune comprise entre 0 et 1, avec validation du format et enregistrement des refus ou des échecs sans qu'ils disparaissent de l'ensemble de données.
- Étape 4Répartissez les cas dans le temps
Entraînez les poids uniquement sur des cas antérieurs déjà résolus et évaluez-les sur des cas plus récents qui ne pouvaient pas être connus.
- Étape 5Comparez avec des références concrètes
Comparez le meilleur modèle individuel, la moyenne arithmétique et une prévision opérationnelle existante non basée sur l'IA à l'aide du même indicateur.
- Étape 6Regardez des vidéos de drift et perfectionnez-vous
Tout changement de version, d'invite, de données disponibles ou de processus métier nécessite une nouvelle vérification des poids, de l'étalonnage et de la valeur seuil de chaque modèle.
Ensuite, les données doivent être segmentées dans le temps. Les poids sont entraînés uniquement sur des cas résolus antérieurs et évalués sur des cas ultérieurs qui ne pouvaient pas être connus. Une comparaison avec des références simples s'impose : le meilleur modèle individuel, la moyenne arithmétique et une prévision opérationnelle non basée sur l'IA. Si l'agrégateur appris ne surpasse pas systématiquement ces références, sa complexité n'est pas justifiée.
Enfin, il convient de surveiller les dérives et les changements de version. Les identifiants de modèle, les prompts, les seuils et les dates d'appel font partie de la piste d'audit. Un agrégateur qui a appris la relation entre certaines versions peut échouer lorsqu’un fournisseur met à jour son modèle. La « sagesse » de l’ensemble n’est pas une propriété permanente ; il s’agit d’un résultat empirique qui doit être revérifié.
Les contraintes qui ne permettent pas de tirer facilement des conclusions générales
Les auteurs soulignent que les 94 « clean items » sont insuffisants pour établir un classement fiable des modèles individuels ou pour procéder à une analyse détaillée des sous-groupes. Ils proposent que les études futures portent sur au moins 200 à 300 éléments « propres », afin que les agrégateurs appris puissent eux aussi être entraînés exclusivement sur des données exemptes de contamination. La présente étude a également utilisé une seule invite, sans stratégies alternatives d’élicitation.
Les modèles « open-weight » de très grande taille, comportant 70 milliards de paramètres ou plus, n’ont pas été pris en compte. De plus, les poids appris ont été entraînés sur les 160 éléments non propres, où la contamination a généré un paysage d'erreurs différent de celui des 94 éléments propres. Le fait que l'avantage se soit transféré au sous-ensemble propre est encourageant, mais ne prouve pas que les mêmes poids resteront stables sur un autre ensemble de données ou lors d'un apprentissage sur un ensemble entièrement propre.
Il existe également une différence entre l'agrégation simultanée et un véritable processus collectif. Les modèles n'ont pas pris en compte les estimations des autres, n'ont pas échangé d'arguments et ne se sont pas informés les uns les autres de manière successive. Cet article propose, comme orientation future, des protocoles de délibération itérative, mais ne fournit aucun résultat démontrant que de tels systèmes pourraient se rapprocher des performances d'un marché de prédiction.
L'essentiel : la diversité des erreurs, du temps libre et une confiance mesurée
Cette étude offre une vision plus nuancée que le simple principe selon lequel « plus il y a de modèles, mieux c'est ». Les ensembles de LLM peuvent surpasser leurs composants lorsque l'agrégateur apprend à identifier les schémas d'erreur qui se complètent. La régression logistique a montré qu’une grande partie du gain peut provenir d’une combinaison linéaire interprétable, sans qu’il soit nécessaire de recourir à un réseau neuronal complexe.
Le critère de l'utilisation productive
Ne conservez l'ensemble LLM que s'il surpasse systématiquement la meilleure référence simple dans des cas ultérieurs.
Le fait que plusieurs modèles s'accordent ne constitue pas en soi une preuve. La décision nécessite un score de Brier ou un autre indicateur prédéfini, un seuil d'information documenté, une piste d'audit et une solution de secours sécurisée lorsque le désaccord ou l'incertitude dépasse le seuil acceptable.
Parallèlement, la contamination peut donner l'impression qu'un modèle est bien plus performant qu'il ne l'est réellement face à des événements futurs. Elle peut modifier les classements et creuser l'écart entre les solutions cloud et les solutions locales. Pour une entreprise, cela signifie que la qualité de la conception de l'évaluation est tout aussi importante que le choix du modèle.
La valeur pratique ne réside ni dans une liste toute faite de poids, ni dans la promesse que les LLM remplacent le jugement humain. Elle réside dans la méthode : définition d’un résultat, données temporellement propres, réponses probabilistes, comparaison avec des références, mesure de la variance des erreurs et réévaluation après chaque modification du modèle. L'équipe d'IA s'améliore non pas lorsque tous les « experts » numériques sont d'accord, mais lorsque leurs désaccords contiennent des informations vérifiables et complémentaires.
Automatisation des processus métier et IA par TWO DOTS
Concevez des flux de travail multimodèles qui évaluent les divergences avant de les transformer en décision opérationnelle.
TWO DOTS recense les résultats, les modèles disponibles, les données temporelles, les indicateurs, les solutions de repli et les points de contrôle humains, afin que l'ensemble de modèles LLM soit évalué à l'aune de résultats commerciaux concrets et non à partir de tests spectaculaires mais inadaptés.
Foire aux questions (FAQ)
Que signifie « la sagesse de la foule » dans le contexte des LLM ?;
Cela signifie qu'une agrégation appropriée des prévisions de plusieurs modèles peut s'avérer plus précise que les prévisions de chaque modèle pris individuellement. Dans cette étude, ce résultat a été principalement attribué à la diversité des schémas d'erreurs.
La moyenne arithmétique des probabilités suffit-elle ?;
Elle s'est révélée plus performante que plusieurs autres méthodes classiques sur ce sous-ensemble « clean », mais elle était moins performante que la régression logistique et le MLP. Ce n'est pas un mauvais choix en soi, mais elle ne tire pas parti des tendances historiques des erreurs complémentaires.
Pourquoi la régression logistique a-t-elle donné d'aussi bons résultats ?;
En effet, il aurait pu apprendre des poids différents, voire négatifs, pour les 15 modèles. Les résultats montrent que l'exploitation linéaire de différents modèles d'erreur a apporté la majeure partie du gain.
Qu'est-ce que la « contamination par seuil d'entraînement » ?;
Il s'agit du risque qu'un modèle ait été entraîné sur des informations contenant déjà la réponse à une question. Dans ce cas, la prédiction apparente peut n'être qu'une simple répétition d'un résultat déjà connu.
Les modèles cloud étaient-ils meilleurs que les modèles locaux ?;
Un écart important est apparu dans l'ensemble de données complet, mais la moyenne arithmétique a diminué, passant de 35,81 TP3T à 8,91 TP3T dans le sous-ensemble nettoyé. L'étude soutient qu'une part importante de la différence initiale était liée à la contamination.
Un modèle relativement peu performant peut-il contribuer à un ensemble ?;
Oui, si ses erreurs sont suffisamment différentes de celles des autres. L'étude a révélé que le coefficient de poids dans la régression logistique était davantage lié à la diversité des erreurs qu'au classement individuel en termes de performance.
Les LLM ont-ils surpassé le marché de prédiction humain ?;
Non. Même dans le cadre d'une comparaison sur une période équivalente, les LLM affichaient un score de Brier nettement inférieur. Le marché s'appuyait sur une interaction humaine répétée, des connaissances spécialisées et une mise à jour constante.
Comment une entreprise peut-elle tester la prévision multimodèle ?;
Avec un résultat clair, les mêmes informations et le même prompt pour tous les modèles, une répartition temporelle entre entraînement et test, un suivi des versions et des seuils, une comparaison avec des modèles de référence simples et une revérification après chaque modification. Les poids utilisés dans cette étude ne doivent pas être transposés à un autre domaine sans validation préalable.