À quoi il sert
BIG-Bench Hard (BBH) est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.
Test historiqueFiche benchmark · Suzgun et al. (Google Research et Stanford), à partir de BIG-bench · github.com
BIG-Bench Hard (BBH)
23 exercices de logique et de raisonnement en plusieurs étapes, retenus en 2022 parce que les modèles y échouaient.
Comment c'est noté
Moyenne des bonnes réponses sur l'ensemble des exercices.
Pour le calcul, ce score est ramené entre 0 et 1 : 25 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Jeu public de 2022, largement vu à l'entraînement et saturé. Les scores viennent d'articles aux réglages variés.
Qui le tient
Suzgun et al. (Google Research et Stanford), à partir de BIG-bench.
github.com/suzgunmirac/BIG-Bench-Hard · test historique · 45 modèles mesurés
Comment lire le score
45 modèles mesurés · 88 mesuresSeuil de saturation : 96,2 % ↓
0 %50 %Gemini 1.5 Pro (May 2024) : 89,2 %100 %
En tête : Gemini 1.5 Pro (May 2024), 89,2 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 62 % a un score IA d'environ 18. Le meilleur, Gemini 1.5 Pro (May 2024), atteint 89,2 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 84 %
- Score IA 76niveau de Claude Sonnet 4.5
- 93 %
- Score IA 100niveau de Claude Opus 5.5
- 97 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. BIG-Bench Hard (BBH) est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Le classement du benchmark
Scores relevés sur epoch.ai · édition du45 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 45 →Replier le classement ↑
44Falcon-7BTechnology Innovation Institute · poids ouverts · 2 configurationsNon précisée28,8 %-55,3
En bref
- Que mesure BIG-Bench Hard (BBH) ?
- 23 exercices de logique et de raisonnement en plusieurs étapes, retenus en 2022 parce que les modèles y échouaient. C'est un test historique, hors des scores d'aujourd'hui.
- Comment BIG-Bench Hard (BBH) est-il noté ?
- Moyenne des bonnes réponses sur l'ensemble des exercices. Un modèle qui obtient 62 % a un score IA d'environ 18.
- Qui est en tête sur BIG-Bench Hard (BBH) ?
- Gemini 1.5 Pro (May 2024) (Google DeepMind) est en tête de BIG-Bench Hard (BBH) avec 89,2 %, dans l'édition du 9 novembre 2026. Suivent DeepSeek-V3 (87,5 %) et Gemini 1.5 Pro (Feb 2024) (84 %). 45 modèles y sont mesurés.
- Quelles sont les limites de BIG-Bench Hard (BBH) ?
- Jeu public de 2022, largement vu à l'entraînement et saturé. Les scores viennent d'articles aux réglages variés. Au 9 novembre 2026, le benchmark est archivé.
- Combien pèse BIG-Bench Hard (BBH) dans le score IA ?
- BIG-Bench Hard (BBH) compte pour 0 % du score général, dans l'édition du 9 novembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
- Qui maintient BIG-Bench Hard (BBH) ?
- Suzgun et al. (Google Research et Stanford), à partir de BIG-bench. Sa page de référence : github.com/suzgunmirac/BIG-Bench-Hard.
Les autres tests historiques
- MMLU127 modèles · hors scoreARCHIVÉ
- WinoGrande77 modèles · hors scoreARCHIVÉ
- ARC (AI2 Reasoning Challenge)76 modèles · hors scoreARCHIVÉ
- BoolQ76 modèles · hors scoreARCHIVÉ
- HellaSwag75 modèles · hors scoreARCHIVÉ
- PIQA59 modèles · hors scoreARCHIVÉ
- LiveBench48 modèles · hors scoreARCHIVÉ
- OpenBookQA42 modèles · hors scoreARCHIVÉ
- TriviaQA38 modèles · hors scoreARCHIVÉ
- LAMBADA26 modèles · hors scoreARCHIVÉ
- ScienceQA23 modèles · hors scoreARCHIVÉ
- ANLI (Adversarial NLI)11 modèles · hors scoreARCHIVÉ
- SuperGLUE8 modèles · hors scoreARCHIVÉ
- CommonsenseQA 2.06 modèles · hors scoreARCHIVÉ