À quoi il sert
Sur Quelle IA, ForecastBench sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks.
RaisonnementFiche benchmark · Forecasting Research Institute · forecastbench.org
ForecastBench
Prédire des événements à venir (marchés de prédiction, indicateurs économiques, conflits) en donnant une probabilité.
Comment c'est noté
Indice de Brier ajusté à la difficulté, de 0 à 100 : 100 pour des prévisions parfaites, 50 pour une réponse sans information.
Pour le calcul, ce score est ramené entre 0 et 1 : 50 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Aucune fuite possible puisque la réponse n'existe pas encore, mais les écarts sont minces (de 50 à 63) et il faut attendre l'issue des questions.
Qui le tient
Forecasting Research Institute.
forecastbench.org · tâche Raisonnement · 77 modèles mesurés
Comment lire le score
77 modèles mesurés · 82 mesuresSeuil de saturation : 97,5 % ↓
0 %50 %100 %
En tête : o3, 62,5 %
Chaque trait est un modèle, placé à son meilleur score. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 62 %. Le meilleur, o3, atteint 62,5 %. Le benchmark sera dit saturé quand un modèle atteindra 97,5 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 58 %
- Score IA 76niveau de Claude Sonnet 4.5
- 60 %
- Score IA 100niveau de Claude Opus 5.5
- 62 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. ForecastBench porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
En couleur, la tâche Raisonnement dans le score général. En noir, la part de ForecastBench.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
77 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 77 →Replier le classement ↑
En bref
- Que mesure ForecastBench ?
- Prédire des événements à venir (marchés de prédiction, indicateurs économiques, conflits) en donnant une probabilité. Sur Quelle IA, il est rangé dans la tâche Raisonnement.
- Comment ForecastBench est-il noté ?
- Indice de Brier ajusté à la difficulté, de 0 à 100 : 100 pour des prévisions parfaites, 50 pour une réponse sans information. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 62 %.
- Qui est en tête sur ForecastBench ?
- o3 (OpenAI) est en tête de ForecastBench avec 62,5 %, dans l'édition du 28 septembre 2026. Suivent Claude Sonnet 4.6 (62 %) et Claude Opus 4.1 (62 %). 77 modèles y sont mesurés.
- Quelles sont les limites de ForecastBench ?
- Aucune fuite possible puisque la réponse n'existe pas encore, mais les écarts sont minces (de 50 à 63) et il faut attendre l'issue des questions. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse ForecastBench dans le score IA ?
- ForecastBench compte pour 1,67 % du score général, dans l'édition du 28 septembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
- Qui maintient ForecastBench ?
- Forecasting Research Institute. Sa page de référence : forecastbench.org.
Les autres benchmarks de la tâche Raisonnement
- DTBench168 modèles · 1,67 % du scoreSATURÉ
- Chess Puzzles136 modèles · 1,67 % du score
- LMCA130 modèles · 1,67 % du score
- ARC-AGI-182 modèles · 1,67 % du scoreSATURÉ
- SimpleBench82 modèles · 1,67 % du score
- ARC-AGI-280 modèles · 1,67 % du scoreSATURÉ
- Mystery Game Puzzles69 modèles · 1,67 % du score
- EnigmaEval41 modèles · 1,67 % du score
- LiveBench, raisonnement48 modèles · hors scoreARCHIVÉ