À quoi il sert
TriviaQA est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.
Test historiqueFiche benchmark · Joshi et al. (université de Washington, 2017) · nlp.cs.washington.edu
TriviaQA
Des questions de culture générale écrites par des amateurs de quiz, à réponse courte.
Comment c'est noté
Part de réponses exactement identiques à la réponse attendue.
Ce qu'il ne dit pas
Test de 2017, largement mémorisé par les modèles. Les résultats viennent d'articles aux réglages variés.
Qui le tient
Joshi et al. (université de Washington, 2017).
nlp.cs.washington.edu/triviaqa · test historique · 38 modèles mesurés
Comment lire le score
38 modèles mesurés · 115 mesuresSeuil de saturation : 95 % ↓
0 %50 %Llama 2-70B : 87,6 %100 %
En tête : Llama 2-70B, 87,6 %
Chaque trait est un modèle, placé à son meilleur score. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 82 %. Le meilleur, Llama 2-70B, atteint 87,6 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 82 %
- Score IA 76niveau de Claude Sonnet 4.5
- 86 %
- Score IA 100niveau de Claude Opus 5.5
- 89 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. TriviaQA est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
38 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 38 →Replier le classement ↑
16Falcon-40BTechnology Innovation Institute · poids ouverts · 4 configurationsNon précisée79,9 %38,0
31Falcon-7BTechnology Innovation Institute · poids ouverts · 4 configurationsNon précisée64,6 %-33,4
En bref
- Que mesure TriviaQA ?
- Des questions de culture générale écrites par des amateurs de quiz, à réponse courte. C'est un test historique, hors des scores d'aujourd'hui.
- Comment TriviaQA est-il noté ?
- Part de réponses exactement identiques à la réponse attendue. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 82 %.
- Qui est en tête sur TriviaQA ?
- Llama 2-70B (Meta AI) est en tête de TriviaQA avec 87,6 %, dans l'édition du 28 septembre 2026. Suivent Claude 2 (87,5 %) et Claude 1.3 (86,7 %). 38 modèles y sont mesurés.
- Quelles sont les limites de TriviaQA ?
- Test de 2017, largement mémorisé par les modèles. Les résultats viennent d'articles aux réglages variés. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse TriviaQA dans le score IA ?
- TriviaQA compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
- Qui maintient TriviaQA ?
- Joshi et al. (université de Washington, 2017). Sa page de référence : nlp.cs.washington.edu/triviaqa.
Les autres tests historiques
- MMLU127 modèles · hors scoreARCHIVÉ
- WinoGrande77 modèles · hors scoreARCHIVÉ
- ARC (AI2 Reasoning Challenge)76 modèles · hors scoreARCHIVÉ
- BoolQ76 modèles · hors scoreARCHIVÉ
- HellaSwag75 modèles · hors scoreARCHIVÉ
- PIQA59 modèles · hors scoreARCHIVÉ
- LiveBench48 modèles · hors scoreARCHIVÉ
- BIG-Bench Hard (BBH)45 modèles · hors scoreARCHIVÉ
- OpenBookQA42 modèles · hors scoreARCHIVÉ
- LAMBADA26 modèles · hors scoreARCHIVÉ
- ScienceQA23 modèles · hors scoreARCHIVÉ
- ANLI (Adversarial NLI)11 modèles · hors scoreARCHIVÉ
- SuperGLUE8 modèles · hors scoreARCHIVÉ
- CommonsenseQA 2.06 modèles · hors scoreARCHIVÉ