À quoi il sert
ScienceQA est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.
Test historiqueFiche benchmark · Lu et al. (2022) · scienceqa.github.io
ScienceQA
Des questions de sciences de niveau école et collège, à choix multiples, souvent accompagnées d'une image ou d'un schéma.
Comment c'est noté
Part de bonnes réponses à choix multiples.
Pour le calcul, ce score est ramené entre 0 et 1 : 25 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
La plupart des résultats concernent des modèles de recherche entraînés spécialement sur ce jeu, peu comparables aux assistants grand public.
Qui le tient
Lu et al. (2022).
scienceqa.github.io · test historique · 23 modèles mesurés
Comment lire le score
23 modèles mesurés · 26 mesuresSeuil de saturation : 96,3 % ↓
0 %50 %Phi-3.5-vision-instruct : 91,3 %100 %
En tête : Phi-3.5-vision-instruct, 91,3 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 63 % a un score IA d'environ 4. Le meilleur, Phi-3.5-vision-instruct, atteint 91,3 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 92 %
- Score IA 76niveau de Claude Sonnet 4.5
- 97 %
- Score IA 100niveau de Claude Opus 5.5
- plus de 99 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. ScienceQA est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
23 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 23 →Replier le classement ↑
En bref
- Que mesure ScienceQA ?
- Des questions de sciences de niveau école et collège, à choix multiples, souvent accompagnées d'une image ou d'un schéma. C'est un test historique, hors des scores d'aujourd'hui.
- Comment ScienceQA est-il noté ?
- Part de bonnes réponses à choix multiples. Un modèle qui obtient 63 % a un score IA d'environ 4.
- Qui est en tête sur ScienceQA ?
- Phi-3.5-vision-instruct (Microsoft) est en tête de ScienceQA avec 91,3 %, dans l'édition du 28 septembre 2026. Suivent GPT-4o (May 2024) (88,5 %) et Gemini 1.0 Pro Vision (79,7 %). 23 modèles y sont mesurés.
- Quelles sont les limites de ScienceQA ?
- La plupart des résultats concernent des modèles de recherche entraînés spécialement sur ce jeu, peu comparables aux assistants grand public. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse ScienceQA dans le score IA ?
- ScienceQA compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
- Qui maintient ScienceQA ?
- Lu et al. (2022). Sa page de référence : scienceqa.github.io.
Les autres tests historiques
- MMLU127 modèles · hors scoreARCHIVÉ
- WinoGrande77 modèles · hors scoreARCHIVÉ
- ARC (AI2 Reasoning Challenge)76 modèles · hors scoreARCHIVÉ
- BoolQ76 modèles · hors scoreARCHIVÉ
- HellaSwag75 modèles · hors scoreARCHIVÉ
- PIQA59 modèles · hors scoreARCHIVÉ
- LiveBench48 modèles · hors scoreARCHIVÉ
- BIG-Bench Hard (BBH)45 modèles · hors scoreARCHIVÉ
- OpenBookQA42 modèles · hors scoreARCHIVÉ
- TriviaQA38 modèles · hors scoreARCHIVÉ
- LAMBADA26 modèles · hors scoreARCHIVÉ
- ANLI (Adversarial NLI)11 modèles · hors scoreARCHIVÉ
- SuperGLUE8 modèles · hors scoreARCHIVÉ
- CommonsenseQA 2.06 modèles · hors scoreARCHIVÉ