À quoi il sert
PIQA est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.
Test historiqueFiche benchmark · Bisk et al. (2019) · arxiv.org
PIQA
Choisir, entre deux façons de faire, celle qui marche dans le monde physique pour un problème de tous les jours.
Comment c'est noté
Part de bonnes réponses entre deux choix ; le hasard donne 50 %.
Pour le calcul, ce score est ramené entre 0 et 1 : 50 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Test de 2019 saturé. Avec deux choix seulement, le hasard pèse lourd et les écarts entre modèles sont faibles.
Qui le tient
Bisk et al. (2019).
arxiv.org/abs/1911.11641 · test historique · 59 modèles mesurés
Comment lire le score
59 modèles mesurés · 113 mesuresSeuil de saturation : 97,5 % ↓
0 %50 %GPT-4o mini : 88,7 %100 %
En tête : GPT-4o mini, 88,7 %
Chaque trait est un modèle, placé à son meilleur score. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 86 %. Le meilleur, GPT-4o mini, atteint 88,7 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 86 %
- Score IA 76niveau de Claude Sonnet 4.5
- 88 %
- Score IA 100niveau de Claude Opus 5.5
- 90 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. PIQA est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
59 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 59 →Replier le classement ↑
En bref
- Que mesure PIQA ?
- Choisir, entre deux façons de faire, celle qui marche dans le monde physique pour un problème de tous les jours. C'est un test historique, hors des scores d'aujourd'hui.
- Comment PIQA est-il noté ?
- Part de bonnes réponses entre deux choix ; le hasard donne 50 %. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 86 %.
- Qui est en tête sur PIQA ?
- GPT-4o mini (OpenAI) est en tête de PIQA avec 88,7 %, dans l'édition du 28 septembre 2026. Suivent Phi-3.5-MoE (88,6 %) et Gemini 1.5 Flash (Sep 2024) (87,5 %). 59 modèles y sont mesurés.
- Quelles sont les limites de PIQA ?
- Test de 2019 saturé. Avec deux choix seulement, le hasard pèse lourd et les écarts entre modèles sont faibles. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse PIQA dans le score IA ?
- PIQA compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
- Qui maintient PIQA ?
- Bisk et al. (2019). Sa page de référence : arxiv.org/abs/1911.11641.
Les autres tests historiques
- MMLU127 modèles · hors scoreARCHIVÉ
- WinoGrande77 modèles · hors scoreARCHIVÉ
- ARC (AI2 Reasoning Challenge)76 modèles · hors scoreARCHIVÉ
- BoolQ76 modèles · hors scoreARCHIVÉ
- HellaSwag75 modèles · hors scoreARCHIVÉ
- LiveBench48 modèles · hors scoreARCHIVÉ
- BIG-Bench Hard (BBH)45 modèles · hors scoreARCHIVÉ
- OpenBookQA42 modèles · hors scoreARCHIVÉ
- TriviaQA38 modèles · hors scoreARCHIVÉ
- LAMBADA26 modèles · hors scoreARCHIVÉ
- ScienceQA23 modèles · hors scoreARCHIVÉ
- ANLI (Adversarial NLI)11 modèles · hors scoreARCHIVÉ
- SuperGLUE8 modèles · hors scoreARCHIVÉ
- CommonsenseQA 2.06 modèles · hors scoreARCHIVÉ