À quoi il sert
GSM8K servait à noter la tâche Mathématiques. Archivé faute de modèle récent mesuré, il ne sert plus qu'à situer les modèles plus anciens sur l'échelle commune.
MathsFiche benchmark · OpenAI (Cobbe et al., 2021) · github.com
GSM8K
Des problèmes d'arithmétique de niveau école et collège, rédigés en langage courant, à résoudre en quelques étapes de calcul.
Comment c'est noté
Part de réponses numériques exactement justes.
Ce qu'il ne dit pas
Saturé et très présent dans les données d'entraînement. Il ne sert plus qu'à situer d'anciens modèles.
Qui le tient
OpenAI (Cobbe et al., 2021).
github.com/openai/grade-school-math · tâche Maths · 82 modèles mesurés
Comment lire le score
82 modèles mesurés · 170 mesuresSeuil de saturation : 95 % ↓
0 %50 %DeepSeek-Coder-V2 236B : 94,5 %100 %
En tête : DeepSeek-Coder-V2 236B, 94,5 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 3. Le meilleur, DeepSeek-Coder-V2 236B, atteint 94,5 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 91 %
- Score IA 76niveau de Claude Sonnet 4.5
- 97 %
- Score IA 100niveau de Claude Opus 5.5
- plus de 99 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. GSM8K est archivé et ne compte plus : la tâche Mathématiques (10 % du score général) repose sur 8 autres benchmarks.
En couleur, la tâche Mathématiques dans le score général. GSM8K n'y a plus de part.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
82 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 82 →Replier le classement ↑
52Falcon-40BTechnology Innovation Institute · poids ouverts · 5 configurationsNon précisée33,8 %-11,3
En bref
- Que mesure GSM8K ?
- Des problèmes d'arithmétique de niveau école et collège, rédigés en langage courant, à résoudre en quelques étapes de calcul. Sur Quelle IA, il est rangé dans la tâche Mathématiques.
- Comment GSM8K est-il noté ?
- Part de réponses numériques exactement justes. Un modèle qui obtient 50 % a un score IA d'environ 3.
- Qui est en tête sur GSM8K ?
- DeepSeek-Coder-V2 236B (DeepSeek) est en tête de GSM8K avec 94,5 %, dans l'édition du 28 septembre 2026. Suivent Qwen2.5-Coder-14B-Instruct (94,2 %) et Qwen2.5-Coder-32B-Instruct (93 %). 82 modèles y sont mesurés.
- Quelles sont les limites de GSM8K ?
- Saturé et très présent dans les données d'entraînement. Il ne sert plus qu'à situer d'anciens modèles. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse GSM8K dans le score IA ?
- GSM8K compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est archivé et ne compte plus : la tâche Mathématiques (10 % du score général) repose sur 8 autres benchmarks.
- Qui maintient GSM8K ?
- OpenAI (Cobbe et al., 2021). Sa page de référence : github.com/openai/grade-school-math.
Les autres benchmarks de la tâche Mathématiques
- Arena, questions de maths269 modèles · 1,25 % du score
- OTIS Mock AIME 2024-2025190 modèles · 1,25 % du scoreSATURÉ
- FrontierMath, paliers 1 à 3 (v2)77 modèles · 1,25 % du score
- FrontierMath, paliers 1 à 3 (version 2025)70 modèles · 1,25 % du score
- ProofBench70 modèles · 1,25 % du scoreSATURÉ
- FrontierMath, palier 4 (v2)59 modèles · 1,25 % du scoreSATURÉ
- FrontierMath, palier 4 (version 2025)55 modèles · 1,25 % du score
- FrontierMath Erdős5 modèles · 1,25 % du score
- MATH Level 594 modèles · hors scoreARCHIVÉ
- LiveBench, mathématiques48 modèles · hors scoreARCHIVÉ