Forts de plus de 20 ans d'expérience, nous transformons votre présence numérique. Nous sommes spécialisés dans la création de sites web et de boutiques en ligne, le référencement naturel (SEO) et le marketing numérique, les logiciels ERP et les automatisations intelligentes qui permettent à votre entreprise de prendre son envol.
Adresse :
154, rue Egnatia, Thessalonique 546 36
Téléphone :
+30 231 231 4095
E-mail :
[email protected]
Prêts pour la prochaine étape ?;
Plusieurs LLM peuvent-ils mieux prédire lorsqu'ils fonctionnent ensemble ? Des recherches montrent dans quels cas la diversité des erreurs est bénéfique et pourquoi la contamination due au seuil d'entraînement modifie l'évaluation.
Les ensembles de LLM peuvent fournir de meilleures prévisions que n'importe quel modèle pris isolément lorsque leur combinaison exploite différents schémas d'erreur et qu'elle est évaluée sur des données temporelles pures. La majorité simple ne suffit pas : il faut des probabilités, des résultats historiques, un agrégateur adapté et un contrôle pour que les modèles ne « connaissent » pas déjà la réponse à partir de leurs données d'apprentissage.
Le travail La sagesse des foules de modèles linguistiques : agrégation et contamination dans les ensembles de modèles linguistiques a rassemblé les prédictions de 15 LLM pour 254 questions binaires. Sur les 94 questions sans contrainte temporelle, la régression logistique a obtenu un score de Brier de 0,241, le MLP de 0,264 et la moyenne arithmétique simple de 0,313. La conclusion opérationnelle n’est pas « utilisez davantage de modèles », mais « évaluez quels modèles apportent réellement une valeur ajoutée ».
Ce que l'étude ne démontre pas : Ces poids spécifiques, ces paires de modèles et ces performances ne sont pas automatiquement transposables à la prévision de la demande, à l'évaluation des risques, au marketing ou au commerce électronique. Chaque utilisation nécessite ses propres cas résolus, une répartition chronologique entre les ensembles d'entraînement et de test, un indicateur prédéfini et une nouvelle validation après tout changement de modèle ou de prompt.
Dans les groupes humains, l'explication classique de la précision collective est que les évaluateurs individuels partagent une partie du signal utile, mais commettent des erreurs en partie indépendantes les unes des autres. Lorsque les estimations sont combinées, les différentes erreurs peuvent s'annuler mutuellement, tandis que le signal commun est conservé. Cela ne signifie pas que toute foule est sage, ni qu’une simple moyenne est toujours la meilleure solution. Cela signifie que la diversité des erreurs peut devenir un atout exploitable.
L'application de ce concept aux LLM ne va pas de soi. De nombreux modèles ont été entraînés sur des données qui se recoupent, suivent des techniques d'alignement similaires et peuvent reproduire les mêmes schémas de certitude ou de malentendu. D’un autre côté, ils diffèrent en termes d’architecture, de fournisseur, de taille, de seuil d’entraînement et de processus de réglage fin. L'étude cherche à déterminer si ces différences suffisent pour qu'un ensemble de LLM produise de meilleurs résultats que n'importe lequel de ses membres pris individuellement.
Pour une entreprise, la question est d'ordre pratique. Lorsqu’une décision porte sur la demande, le risque, les tendances du marché ou les chances de réussite d’une initiative, il est tentant de consulter plusieurs modèles et de retenir l’avis majoritaire. Les recherches montrent que la valeur ne réside pas simplement dans le nombre de réponses. Elle réside dans la structure de leurs différences et dans la méthode qui permet de transformer quinze possibilités en une seule.
Les questions de recherche provenaient de Manifold Markets, une plateforme de marché prédictif utilisant de la monnaie virtuelle. Nous avons sélectionné des marchés présentant un résultat binaire, OUI ou NON, qui avaient rassemblé au moins 75 traders uniques. Les questions ambiguës, personnelles ou dépendant d’informations privilégiées auxquelles un modèle linguistique ne pourrait pas avoir accès ont été exclues. L'ensemble initial comprenait 208 affirmations : 107 vraies et 101 fausses.
L'évaluation principale s'est appuyée sur des questions résolues après le 1er septembre 2025, c'est-à-dire après la dernière date limite d'entraînement parmi les 15 modèles. Sur l'ensemble initial, 48 questions répondaient à cette condition. 46 autres questions répondant aux mêmes critères ont été ajoutées, créant ainsi un sous-ensemble « propre » de 94 questions, dont 44 avec une réponse « OUI » et 50 avec une réponse « NON ». Ainsi, les 254 requêtes uniques ont été réparties de manière fonctionnelle entre des données historiques destinées à l'entraînement des agrégateurs appris et un ensemble propre et distinct destiné aux tests.
Les 15 modèles comprenaient cinq modèles locaux via Ollama et dix modèles en cloud provenant d'Anthropic, d'OpenAI, de Google et de DeepSeek. Ils comprenaient, entre autres, Mistral 7B, LLaMA 3.1 8B, Gemma 2 9B, Phi-4 14B, Qwen 2.5 7B, ainsi que les modèles GPT, Gemini et Claude. La source précise expressément que les tailles des modèles cloud n’étaient pas connues du public et que les seuils d’entraînement étaient approximatifs, sur la base de la documentation officielle lorsque celle-ci était disponible.
Chaque LLM a reçu une consigne standardisée. Il devait évaluer la probabilité qu’une affirmation soit vraie, utiliser la date d’évaluation pour les références temporelles concernées, de se fonder uniquement sur les connaissances acquises lors de son apprentissage et de ne pas rechercher d’informations sur Internet. La réponse finale devait prendre la forme PROBABILITÉ : [nombre], dont la valeur est comprise entre 0 et 1.
Même ce protocole en apparence simple a révélé des différences fonctionnelles. Au départ, Gemini Flash et Gemini Pro ne fournissaient pas de probabilité lisible pour une part importante des requêtes, mais une brève demande de suivi précisant le format correct a permis de récupérer la plupart des réponses. Le modèle LLaMA 3.1 8B a initialement refusé de répondre à des questions politiquement sensibles dans 22,61 % des cas, et un message système neutre destiné à un exercice académique de calibrage a permis de récupérer la plupart des réponses. Mistral 7B omettait souvent le tag demandé, mais il y avait presque toujours un nombre décimal pouvant être extrait.
Ces détails revêtent une importance opérationnelle. Un workflow multimodèle nécessite non seulement des modèles et des prompts, mais aussi des opérations d'analyse syntaxique, de validation, une politique de nouvelle tentative et une gestion claire des refus. Sinon, l'ensemble supposé risque de comparer des résultats incomplets ou incompatibles et de donner une fausse impression de consensus.
Cette étude a comparé quatre options classiques : la moyenne arithmétique, la moyenne harmonique, la moyenne géométrique/log-odds et la médiane. Dans la prédiction binaire, la moyenne géométrique après normalisation et la moyenne log-odds correspondent mathématiquement à la même méthode. La moyenne arithmétique constitue la référence la plus directe. La médiane est plus résistante aux valeurs extrêmes. La moyenne log-odds « éloigne » souvent la probabilité cumulée de 0,5 et présente un intérêt théorique lorsque les jugements sont bien calibrés et, sous certaines conditions, indépendants.
Un rassemblement simple et formateur
Il accorde la même importance à tous les LLM et constitue une référence pure. Il n'apprend pas quels modèles reproduisent la même erreur, ni quel modèle sert de signal contraire utile.
Il apprend les poids à partir des résultats antérieurs et peut tirer parti d'erreurs non corrélées, voire systématiquement opposées. Il nécessite un découpage temporel rigoureux et une nouvelle validation lorsque l'ensemble change.
Deux méthodes d'apprentissage ont également été testées. La régression logistique a appris une combinaison linéaire des 15 probabilités avec une régularisation L2. Le MLP a utilisé une entrée de 15 unités, deux couches cachées de 64 et 32 unités avec ReLU et un dropout de 0,2, ainsi qu'une fonction de sortie sigmoïde. Il a été entraîné pendant 25 époques avec Adam, avec un taux d'apprentissage de 5×10−3, l'entropie croisée binaire et une taille de lot de 16.
Les deux agrégateurs intelligents ont été entraînés sur les 160 éléments les plus anciens, non nettoyés, puis testés sur les 94 éléments nettoyés qu'ils n'avaient jamais vus. Ce dispositif de transfert temporel se rapproche d’une utilisation réelle : l’agrégateur apprend à partir de requêtes historiques déjà résolues et s’applique à des prédictions ultérieures. Parallèlement, cela crée une contrainte que les auteurs reconnaissent : les poids sont appris dans un environnement affecté par la contamination, puis transférés vers un environnement plus propre.
L'indicateur principal était le score de Brier, pour lequel une valeur plus faible indique une meilleure prédiction probabiliste. Sur les 94 questions distinctes, la régression logistique a obtenu un score de Brier de 0,241 et le MLP de 0,264. La moyenne arithmétique s'est élevée à 0,313. La régression logistique présentait une précision de 0,574 et une AUC de 0,633, tandis que le MLP affichait une précision et une AUC supérieures, respectivement de 0,606 et 0,657. La moyenne arithmétique était plus faible pour les deux, avec une précision de 0,511 et une AUC de 0,498.
Le test pur des agrégateurs
Résultats de l'étude arXiv:2607.18269v2 sur les mêmes 94 questions résolues après les seuils d'entraînement de tous les modèles. Pour le score de Brier, une valeur plus faible indique une meilleure prédiction probabiliste.
Η εικόνα δεν είναι ότι ένα «βαθύ» δίκτυο ανακάλυψε κάποια μυστηριώδη μη γραμμική νοημοσύνη. Αντίθετα, το γραμμικό μοντέλο ταίριαξε ή ξεπέρασε το MLP στο Brier score. Αυτό υποστηρίζει την ερμηνεία ότι το κέρδος προέρχεται κυρίως από την εκμάθηση κατάλληλων βαρών πάνω σε διαφορετικά error patterns. Η πιθανή πρόσθετη μη γραμμικότητα του MLP βελτίωσε τη διάκριση και την accuracy, αλλά με κόστος στο calibration.
Η υπεροχή του MLP έναντι του αριθμητικού μέσου ήταν συνεπής σε 62 από τα 94 items και υποστηρίχθηκε από sign test, Wilcoxon test και permutation test. Για τη logistic regression, η μέση μείωση του Brier ήταν μεγαλύτερη, 23% έναντι 15,6% του MLP, αλλά δεν κατανέμονταν ομοιόμορφα στα items. Οι συγγραφείς την ερμηνεύουν ως λίγες, ιδιαίτερα ισχυρές νίκες και όχι ως μικρή βελτίωση παντού.
Η symbolic regression χρησιμοποιήθηκε για να μετατρέψει τη μαθημένη χαρτογράφηση του MLP σε πιο ερμηνεύσιμη μορφή. Σε 50 ανεξάρτητα runs, η επιλογή μοντέλων δεν ακολούθησε απλώς την κατάταξη ατομικής επίδοσης. Στα μοντέλα που επιλέγονταν στο 100% των runs υπήρχαν τόσο ισχυρά cloud μοντέλα όσο και τρία από τα χαμηλότερα local μοντέλα: Qwen 2.5 7B, LLaMA 3.1 8B και Phi-4 14B.
Η χαμηλότερης πολυπλοκότητας χρήσιμη φόρμουλα στο Pareto frontier ήταν ένα contrastive signal ανάμεσα στην πιθανότητα του Gemini Pro και του Claude Haiku. Στα 203 items όπου επέστρεψαν πιθανότητα και τα δύο μοντέλα, αυτή η φόρμουλα πέτυχε Brier score 0,231, δηλαδή 12,9% χαμηλότερο από το 0,265 του αριθμητικού μέσου στα ίδια items. Στο clean subset πέτυχε 0,243. Δεν σημαίνει ότι αυτά τα δύο μοντέλα αποτελούν καθολική συνταγή. Σημαίνει ότι, σε αυτό το dataset, μια συμπληρωματική διαφορά σφαλμάτων μπορούσε να αποδώσει σχεδόν όσο ένα δίκτυο που έβλεπε και τα 15 outputs.
Η ανάλυση των coefficients της logistic regression ενίσχυσε αυτή την εξήγηση. Η απόλυτη βαρύτητα ενός μοντέλου συσχετιζόταν περισσότερο με τη διαφορετικότητα του σφάλματός του, Spearman rs = 0,482, και σχεδόν καθόλου με την κατάταξη της ατομικής του επίδοσης, rs = −0,075. Εννέα από τα 15 μοντέλα έλαβαν αρνητικά weights. Δηλαδή, όταν κάποιο από αυτά ανέβαζε την πιθανότητα, ο aggregator μπορούσε να τη μειώνει. Ένα συστηματικό bias μπορεί να γίνει χρήσιμο όταν είναι σταθερό και διαφορετικό από τα biases της υπόλοιπης ομάδας.
Η πιο κρίσιμη προειδοποίηση αφορά τα training cutoffs. Αν η έκβαση ενός ερωτήματος είχε γίνει δημόσια πριν από το cutoff ενός μοντέλου, η απάντηση μπορεί να βρισκόταν στα δεδομένα εκπαίδευσης. Τότε το μοντέλο δεν κάνει πραγματική πρόβλεψη. Ενδέχεται να ανακαλεί, με άμεσο ή έμμεσο τρόπο, ένα ήδη γνωστό αποτέλεσμα.
Όλα τα μοντέλα με αρκετά within-cutoff items εμφάνισαν υψηλότερη accuracy σε αυτά από ό,τι στα out-of-window items. Η διαφορά έφτασε από +0,05 για το GPT-5.4 Mini έως +0,26 για το Claude Sonnet. Τα Gemini Flash και Gemini Pro εμφάνισαν επίσης στατιστικά σημαντικά υψηλότερη «ακρότητα» πιθανότητας στα within-cutoff items, δηλαδή μεγαλύτερη απόσταση από το 0,5. Οι συγγραφείς παρατήρησαν ότι τα Claude μοντέλα μπορούσαν να έχουν αντίστοιχο πλεονέκτημα accuracy χωρίς την ίδια αύξηση ακρότητας, κάτι που ερμηνεύουν προσεκτικά ως πιθανή επίδραση calibration training.
Η συσχέτιση Spearman ανάμεσα στην κατάταξη των μοντέλων στο πλήρες dataset και στο clean subset ήταν μόλις 0,532. Το LLaMA 3.1 8B ανέβηκε από τη 14η στην 6η θέση, το GPT-5.4 Mini έπεσε από την 6η στη 13η και το Claude Opus από τη 2η στην 9η. Ακόμη πιο εντυπωσιακά, το χάσμα cloud και local μοντέλων μειώθηκε από 35,8% στο πλήρες σύνολο σε 8,9% στα καθαρά items με αριθμητικό μέσο.
Η μελέτη έκανε δύο robustness checks. Όταν χρησιμοποίησε μόνο τα 48 καθαρά items που προέρχονταν από το αρχικό dataset, ώστε να περιορίσει την πιθανότητα αλλαγής στη δυσκολία ή στο είδος των ερωτήσεων, το χάσμα περιορίστηκε στο 13,4%. Όταν μετακίνησε όλα τα κατά προσέγγιση cutoffs κατά έναν μήνα προς κάθε κατεύθυνση, τα βασικά αποτελέσματα παρέμειναν παρόμοια: περίπου 36% χάσμα στο πλήρες σύνολο, περίπου 13% στα καθαρά items και correlations κατάταξης κοντά στο 0,5.
Η τελική πιθανότητα της αγοράς Manifold είχε Brier score 0,098 στο πλήρες σύνολο των 208 items, έναντι 0,266 για τον αριθμητικό μέσο των LLMs. Η σύγκριση αυτή ευνοεί φυσικά την αγορά, επειδή οι traders ενημέρωναν τις εκτιμήσεις τους έως την επίλυση, ενώ τα LLMs λειτουργούσαν με παγωμένη γνώση εκπαίδευσης.
Για πιο δίκαιη σύγκριση, οι ερευνητές άντλησαν την ιστορική τιμή κάθε αγοράς στη χρονική στιγμή του cutoff κάθε μοντέλου. Ακόμη και τότε, κάθε μεμονωμένο LLM είχε Brier score 1,61 έως 2,64 φορές χειρότερο από την αντίστοιχη τιμή της αγοράς, με μέσο λόγο 1,95. Ο αριθμητικός μέσος των LLMs ήταν 2,01 φορές χειρότερος από την αγορά στο πιο πρόσφατο κοινό cutoff, τον Αύγουστο του 2025.
Η ερμηνεία της πηγής είναι ότι η ανθρώπινη αγορά δεν υπερέχει μόνο επειδή έχει νεότερη πληροφορία. Ενσωματώνει διασκορπισμένη γνώση από traders που επιλέγουν τα πεδία τους, στοιχηματίζουν επανειλημμένα, παρακολουθούν τις εκτιμήσεις των άλλων και αντιδρούν σε νέα δεδομένα. Τα LLMs της μελέτης έδωσαν ταυτόχρονες, ανεξάρτητες απαντήσεις χωρίς διάλογο και χωρίς ενημέρωση. Πρόκειται για διαφορετικό μηχανισμό συλλογικής νοημοσύνης.
Το πρώτο πρακτικό συμπέρασμα είναι ότι το «ρώτησα τρία μοντέλα και τα δύο συμφώνησαν» δεν αποτελεί επαρκή ensemble strategy. Η πλειοψηφία αγνοεί το calibration, τη συσχέτιση των λαθών και τη διαχρονική επίδοση κάθε μοντέλου. Αν ένα workflow αξίζει να χρησιμοποιεί πολλά LLMs, χρειάζεται ιστορικό dataset με πραγματικές εκβάσεις και αυστηρό διαχωρισμό ανάμεσα σε training και evaluation periods.
Για μια ομάδα που σχεδιάζει Automatisation des processus métier et IA, το ensemble έχει αξία μόνο όταν συνδέεται με συγκεκριμένη απόφαση, κόστος λάθους και διαδικασία ανθρώπινης έγκρισης. Η στοχευμένη διάγνωση αδυναμιών των μοντέλων βοηθά να φανεί αν η διαφωνία προσθέτει πληροφορία ή απλώς θόρυβο, ενώ το LLM routing με κριτήρια latency, accuracy και κόστους καλύπτει τη διαφορετική απόφαση του ποιο μοντέλο πρέπει να εκτελέσει κάθε αίτημα. Και στις δύο περιπτώσεις, τα όρια confidence, context και ανθρώπινης εποπτείας πρέπει να παραμένουν ορατά.
Το δεύτερο είναι ότι η επιλογή μοντέλων μόνο από leaderboards μπορεί να μειώσει την αξία του ensemble. Δέκα πολύ παρόμοια μοντέλα μπορεί να παράγουν δέκα παραλλαγές του ίδιου λάθους. Ένα μικρότερο ή λιγότερο ακριβές μοντέλο μπορεί να προσφέρει μεγαλύτερη οριακή αξία αν το error pattern του είναι ανεξάρτητο. Η σωστή ερώτηση δεν είναι μόνο «ποιο μοντέλο έχει το καλύτερο score;», αλλά «ποιο νέο μοντέλο προσθέτει πληροφορία που δεν υπάρχει ήδη;».
Το τρίτο είναι ότι τα αρνητικά weights δεν πρέπει να θεωρούνται παράλογα. Σε συστήματα risk scoring, demand forecasting ή αξιολόγησης περιεχομένου, ένα μοντέλο μπορεί να λειτουργεί ως αντίθετος δείκτης όταν το bias του έχει αποδειχθεί σταθερό. Αυτό απαιτεί προσεκτικό validation και όχι χειροκίνητη υπόθεση. Τα weights της συγκεκριμένης μελέτης δεν μεταφέρονται αυτομάτως σε άλλο domain, άλλο prompt ή νεότερες εκδόσεις μοντέλων.
Για έναν e-commerce οργανισμό, η ιδέα θα μπορούσε να εφαρμοστεί σε καλά ορισμένες δυαδικές ή πιθανοτικές αποφάσεις, όπως αν ένα SKU κινδυνεύει να εξαντληθεί σε συγκεκριμένο ορίζοντα ή αν μια καμπάνια είναι πιθανό να πετύχει προκαθορισμένο στόχο. Όμως η εφαρμογή απαιτεί εσωτερικά, χρονικά καθαρά δεδομένα, προκαθορισμένο metric και συνεχή επανεκπαίδευση. Η μελέτη δεν αποδεικνύει ότι ένα γενικό LLM ensemble μπορεί να αντικαταστήσει εξειδικευμένο forecasting ή causal analysis.
Ένα οργανωμένο pilot μπορεί να ξεκινήσει με μία σαφώς ορισμένη έκβαση και πιθανότητες αντί για ελεύθερο κείμενο. Κάθε μοντέλο πρέπει να λαμβάνει το ίδιο prompt, το ίδιο information cutoff και τους ίδιους περιορισμούς. Τα outputs πρέπει να περνούν από validation, ενώ failures και refusals πρέπει να καταγράφονται αντί να εξαφανίζονται από το dataset.
Έξι βήματα για ελεγχόμενο multi-model pilot
Επιλέξτε δυαδικό ή πιθανοτικό αποτέλεσμα με σαφή χρονικό ορίζοντα, όπως stockout συγκεκριμένου SKU ή επίτευξη προκαθορισμένου campaign στόχου.
Δώστε σε όλα τα LLMs την ίδια διαθέσιμη πληροφορία και καταγράψτε prompt, model identifier, ημερομηνία κλήσης και γνωστό training cutoff.
Χρησιμοποιήστε κοινή έξοδο από 0 έως 1, validation του format και καταγραφή refusals ή αποτυχιών χωρίς να εξαφανίζονται από το dataset.
Εκπαιδεύστε weights μόνο σε παλαιότερες επιλυμένες περιπτώσεις και αξιολογήστε τα σε νεότερες εκβάσεις που δεν μπορούσαν να είναι γνωστές.
Μετρήστε το καλύτερο μεμονωμένο μοντέλο, τον αριθμητικό μέσο και μια υπάρχουσα μη-AI επιχειρησιακή πρόβλεψη με το ίδιο metric.
Κάθε αλλαγή έκδοσης, prompt, διαθέσιμων δεδομένων ή business διαδικασίας απαιτεί νέο έλεγχο των weights, του calibration και της οριακής αξίας κάθε μοντέλου.
Στη συνέχεια, τα δεδομένα πρέπει να χωριστούν χρονικά. Οι weights εκπαιδεύονται μόνο σε παλαιότερα resolved cases και αξιολογούνται σε μεταγενέστερα cases που δεν μπορούσαν να είναι γνωστά. Χρειάζεται σύγκριση με απλά baselines: καλύτερο μεμονωμένο μοντέλο, αριθμητικό μέσο και μια μη-AI επιχειρησιακή πρόβλεψη. Αν ο learned aggregator δεν νικά σταθερά αυτά τα baselines, η πολυπλοκότητα δεν δικαιολογείται.
Τέλος, πρέπει να παρακολουθούνται drift και αλλαγές εκδόσεων. Τα model identifiers, τα prompts, τα cutoffs και οι ημερομηνίες κλήσεων είναι μέρος του audit trail. Ένας aggregator που έμαθε τη σχέση ανάμεσα σε συγκεκριμένες εκδόσεις μπορεί να αποτύχει όταν ένας πάροχος ενημερώσει το μοντέλο του. Η «σοφία» του ensemble δεν είναι μόνιμη ιδιότητα· είναι εμπειρικό αποτέλεσμα που χρειάζεται επανέλεγχο.
Les auteurs soulignent que les 94 « clean items » sont insuffisants pour établir un classement fiable des modèles individuels ou pour procéder à une analyse détaillée des sous-groupes. Ils proposent que les études futures portent sur au moins 200 à 300 éléments « propres », afin que les agrégateurs appris puissent eux aussi être entraînés exclusivement sur des données exemptes de contamination. La présente étude a également utilisé une seule invite, sans stratégies alternatives d’élicitation.
Les modèles « open-weight » de très grande taille, comportant 70 milliards de paramètres ou plus, n’ont pas été pris en compte. De plus, les poids appris ont été entraînés sur les 160 éléments non propres, où la contamination a généré un paysage d'erreurs différent de celui des 94 éléments propres. Le fait que l'avantage se soit transféré au sous-ensemble propre est encourageant, mais ne prouve pas que les mêmes poids resteront stables sur un autre ensemble de données ou lors d'un apprentissage sur un ensemble entièrement propre.
Il existe également une différence entre l'agrégation simultanée et un véritable processus collectif. Les modèles n'ont pas pris en compte les estimations des autres, n'ont pas échangé d'arguments et ne se sont pas informés les uns les autres de manière successive. Cet article propose, comme orientation future, des protocoles de délibération itérative, mais ne fournit aucun résultat démontrant que de tels systèmes pourraient se rapprocher des performances d'un marché de prédiction.
Cette étude offre une vision plus nuancée que le simple principe selon lequel « plus il y a de modèles, mieux c'est ». Les ensembles de LLM peuvent surpasser leurs composants lorsque l'agrégateur apprend à identifier les schémas d'erreur qui se complètent. La régression logistique a montré qu’une grande partie du gain peut provenir d’une combinaison linéaire interprétable, sans qu’il soit nécessaire de recourir à un réseau neuronal complexe.
Le critère de l'utilisation productive
Ne conservez l'ensemble LLM que s'il surpasse systématiquement la meilleure référence simple dans des cas ultérieurs.
Le fait que plusieurs modèles s'accordent ne constitue pas en soi une preuve. La décision nécessite un score de Brier ou un autre indicateur prédéfini, un seuil d'information documenté, une piste d'audit et une solution de secours sécurisée lorsque le désaccord ou l'incertitude dépasse le seuil acceptable.
Parallèlement, la contamination peut donner l'impression qu'un modèle est bien plus performant qu'il ne l'est réellement face à des événements futurs. Elle peut modifier les classements et creuser l'écart entre les solutions cloud et les solutions locales. Pour une entreprise, cela signifie que la qualité de la conception de l'évaluation est tout aussi importante que le choix du modèle.
La valeur pratique ne réside ni dans une liste toute faite de poids, ni dans la promesse que les LLM remplacent le jugement humain. Elle réside dans la méthode : définition d’un résultat, données temporellement propres, réponses probabilistes, comparaison avec des références, mesure de la variance des erreurs et réévaluation après chaque modification du modèle. L'équipe d'IA s'améliore non pas lorsque tous les « experts » numériques sont d'accord, mais lorsque leurs désaccords contiennent des informations vérifiables et complémentaires.
Automatisation des processus métier et IA par TWO DOTS
Concevez des flux de travail multimodèles qui évaluent les divergences avant de les transformer en décision opérationnelle.
TWO DOTS recense les résultats, les modèles disponibles, les données temporelles, les indicateurs, les solutions de repli et les points de contrôle humains, afin que l'ensemble de modèles LLM soit évalué à l'aune de résultats commerciaux concrets et non à partir de tests spectaculaires mais inadaptés.
Foire aux questions (FAQ)
Cela signifie qu'une agrégation appropriée des prévisions de plusieurs modèles peut s'avérer plus précise que les prévisions de chaque modèle pris individuellement. Dans cette étude, ce résultat a été principalement attribué à la diversité des schémas d'erreurs.
Elle s'est révélée plus performante que plusieurs autres méthodes classiques sur ce sous-ensemble « clean », mais elle était moins performante que la régression logistique et le MLP. Ce n'est pas un mauvais choix en soi, mais elle ne tire pas parti des tendances historiques des erreurs complémentaires.
En effet, il aurait pu apprendre des poids différents, voire négatifs, pour les 15 modèles. Les résultats montrent que l'exploitation linéaire de différents modèles d'erreur a apporté la majeure partie du gain.
Il s'agit du risque qu'un modèle ait été entraîné sur des informations contenant déjà la réponse à une question. Dans ce cas, la prédiction apparente peut n'être qu'une simple répétition d'un résultat déjà connu.
Un écart important est apparu dans l'ensemble de données complet, mais la moyenne arithmétique a diminué, passant de 35,81 TP3T à 8,91 TP3T dans le sous-ensemble nettoyé. L'étude soutient qu'une part importante de la différence initiale était liée à la contamination.
Oui, si ses erreurs sont suffisamment différentes de celles des autres. L'étude a révélé que le coefficient de poids dans la régression logistique était davantage lié à la diversité des erreurs qu'au classement individuel en termes de performance.
Non. Même dans le cadre d'une comparaison sur une période équivalente, les LLM affichaient un score de Brier nettement inférieur. Le marché s'appuyait sur une interaction humaine répétée, des connaissances spécialisées et une mise à jour constante.
Με μία σαφή έκβαση, ίδια πληροφορία και prompt για όλα τα μοντέλα, χρονικό train/test split, καταγραφή εκδόσεων και cutoffs, σύγκριση με απλά baselines και επανέλεγχο μετά από κάθε αλλαγή. Τα weights της συγκεκριμένης μελέτης δεν πρέπει να αντιγραφούν σε άλλο domain χωρίς validation.
Sources d'information
