À quoi il sert
MMLU est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.
Test historiqueFiche benchmark · Hendrycks et al. (UC Berkeley, 2020) · github.com
MMLU
Des milliers de questions à choix multiples sur 57 matières, du lycée au niveau professionnel : droit, médecine, histoire, physique.
Comment c'est noté
Part de bonnes réponses à quatre choix ; le hasard donne 25 %.
Pour le calcul, ce score est ramené entre 0 et 1 : 25 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Saturé autour de 90 %, présent dans les données d'entraînement et entaché de quelques questions erronées. Il ne départage plus les modèles récents.
Qui le tient
Hendrycks et al. (UC Berkeley, 2020).
github.com/hendrycks/test · test historique · 127 modèles mesurés
Comment lire le score
127 modèles mesurés · 217 mesuresSeuil de saturation : 96,3 % ↓
0 %50 %GPT-4o (Nov 2024) : 88,1 %100 %
En tête : GPT-4o (Nov 2024), 88,1 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 63 % a un score IA d'environ 12. Le meilleur, GPT-4o (Nov 2024), atteint 88,1 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 83 %
- Score IA 76niveau de Claude Sonnet 4.5
- 91 %
- Score IA 100niveau de Claude Opus 5.5
- 95 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. MMLU est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
127 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 127 →Replier le classement ↑
En bref
- Que mesure MMLU ?
- Des milliers de questions à choix multiples sur 57 matières, du lycée au niveau professionnel : droit, médecine, histoire, physique. C'est un test historique, hors des scores d'aujourd'hui.
- Comment MMLU est-il noté ?
- Part de bonnes réponses à quatre choix ; le hasard donne 25 %. Un modèle qui obtient 63 % a un score IA d'environ 12.
- Qui est en tête sur MMLU ?
- GPT-4o (Nov 2024) (OpenAI) est en tête de MMLU avec 88,1 %, dans l'édition du 28 septembre 2026. Suivent Claude 3.5 Sonnet (October 2024) (87,3 %) et DeepSeek-V3 (87,2 %). 127 modèles y sont mesurés.
- Quelles sont les limites de MMLU ?
- Saturé autour de 90 %, présent dans les données d'entraînement et entaché de quelques questions erronées. Il ne départage plus les modèles récents. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse MMLU dans le score IA ?
- MMLU compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
- Qui maintient MMLU ?
- Hendrycks et al. (UC Berkeley, 2020). Sa page de référence : github.com/hendrycks/test.
Les autres tests historiques
- WinoGrande77 modèles · hors scoreARCHIVÉ
- ARC (AI2 Reasoning Challenge)76 modèles · hors scoreARCHIVÉ
- BoolQ76 modèles · hors scoreARCHIVÉ
- HellaSwag75 modèles · hors scoreARCHIVÉ
- PIQA59 modèles · hors scoreARCHIVÉ
- LiveBench48 modèles · hors scoreARCHIVÉ
- BIG-Bench Hard (BBH)45 modèles · hors scoreARCHIVÉ
- OpenBookQA42 modèles · hors scoreARCHIVÉ
- TriviaQA38 modèles · hors scoreARCHIVÉ
- LAMBADA26 modèles · hors scoreARCHIVÉ
- ScienceQA23 modèles · hors scoreARCHIVÉ
- ANLI (Adversarial NLI)11 modèles · hors scoreARCHIVÉ
- SuperGLUE8 modèles · hors scoreARCHIVÉ
- CommonsenseQA 2.06 modèles · hors scoreARCHIVÉ