À quoi il sert
Sur QUELLE IA, ForecastBench sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks.
RaisonnementFiche benchmark · Forecasting Research Institute · forecastbench.org
ForecastBench
Prédire des événements à venir (marchés de prédiction, indicateurs économiques, conflits) en donnant une probabilité.
Comment c'est noté
Indice de Brier ajusté à la difficulté, de 0 à 100 : 100 pour des prévisions parfaites, 50 pour une réponse sans information.
Pour le calcul, ce score est ramené entre 0 et 1 : 50 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Aucune fuite possible puisque la réponse n'existe pas encore, mais les écarts sont minces (de 50 à 63) et il faut attendre l'issue des questions.
Qui le tient
Forecasting Research Institute.
forecastbench.org · tâche Raisonnement · 83 modèles mesurés
Comment lire le score
83 modèles mesurés · 92 mesuresSeuil de saturation : 97,5 % ↓
0 %50 %GPT-5.5 : 67 %100 %
En tête : GPT-5.5, 67 %
Chaque trait est un modèle, placé à son meilleur score. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 67 %. Le meilleur, GPT-5.5, atteint 67 %. Le benchmark sera dit saturé quand un modèle atteindra 97,5 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 60 %
- Score IA 76niveau de Claude Sonnet 4.5
- 64 %
- Score IA 100niveau de Claude Opus 5.5
- 67 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. ForecastBench porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
En couleur, la tâche Raisonnement dans le score général. En noir, la part de ForecastBench.
Le classement du benchmark
Scores relevés sur epoch.ai · édition du83 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 83 →Replier le classement ↑
En bref
- Que mesure ForecastBench ?
- Prédire des événements à venir (marchés de prédiction, indicateurs économiques, conflits) en donnant une probabilité. Sur QUELLE IA, il est rangé dans la tâche Raisonnement.
- Comment ForecastBench est-il noté ?
- Indice de Brier ajusté à la difficulté, de 0 à 100 : 100 pour des prévisions parfaites, 50 pour une réponse sans information. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 67 %.
- Qui est en tête sur ForecastBench ?
- GPT-5.5 (OpenAI) est en tête de ForecastBench avec 67 %, dans l'édition du 9 novembre 2026. Suivent Claude Opus 5 (66,5 %) et GPT-5.6 Sol (66,5 %). 83 modèles y sont mesurés.
- Quelles sont les limites de ForecastBench ?
- Aucune fuite possible puisque la réponse n'existe pas encore, mais les écarts sont minces (de 50 à 63) et il faut attendre l'issue des questions. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse ForecastBench dans le score IA ?
- ForecastBench compte pour 1,67 % du score général, dans l'édition du 9 novembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
- Qui maintient ForecastBench ?
- Forecasting Research Institute. Sa page de référence : forecastbench.org.
Les autres benchmarks de la tâche Raisonnement
- DTBench177 modèles · 1,67 % du scoreSATURÉ
- LMCA139 modèles · 1,67 % du score
- ARC-AGI-196 modèles · 1,67 % du scoreSATURÉ
- ARC-AGI-294 modèles · 1,67 % du scoreSATURÉ
- Chess Puzzles91 modèles · 1,67 % du score
- Mystery Game Puzzles82 modèles · 1,67 % du score
- SimpleBench82 modèles · 1,67 % du score
- EnigmaEval41 modèles · 1,67 % du score
- LiveBench, raisonnement48 modèles · hors scoreARCHIVÉ