À quoi il sert
Sur QUELLE IA, compar:IA sert à noter la tâche Français : c'est l'un de ses 10 benchmarks. Il départage surtout les modèles dont le score IA approche 74.
FrançaisFiche benchmark · Ministère de la Culture, beta.gouv.fr · comparia.beta.gouv.fr
compar:IA
L'arène publique du ministère de la Culture : deux modèles anonymes répondent, l'internaute vote, presque toujours en français.
Comment c'est noté
Un score Elo calculé sur les duels, avec sa marge. Environ neuf questions sur dix sont en français.
Pour le calcul, un Elo devient une probabilité de victoire face à un niveau de référence, ici 1 025 Elo. Un écart de 100 points donne environ 64 % de chances de l'emporter.
Ce qu'il ne dit pas
Moins de duels par modèle que sur Arena, donc des marges larges. Peu de modèles très récents.
Qui le tient
Ministère de la Culture, beta.gouv.fr.
comparia.beta.gouv.fr · tâche Français · 118 modèles mesurés
Comment lire le score
118 modèles mesurés · 121 mesures700 Elo950 Elo1 200 Elo
En tête : Claude Opus 5.5, 1 191,0 Elo
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 1 025 Elo a un score IA d'environ 74. Le meilleur, Claude Opus 5.5, atteint 1 191,0 Elo.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 964 Elo
- Score IA 76niveau de Claude Sonnet 4.5
- 1 032 Elo
- Score IA 100niveau de Claude Opus 5.5
- 1 095 Elo
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
2,5 %du score général. compar:IA porte 25 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
En couleur, la tâche Français dans le score général. En noir, la part de compar:IA.
Le classement du benchmark
Scores relevés sur arene.comparia.beta.gouv.fr · édition du118 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 118 →Replier le classement ↑
En bref
- Que mesure compar:IA ?
- L'arène publique du ministère de la Culture : deux modèles anonymes répondent, l'internaute vote, presque toujours en français. Sur QUELLE IA, il est rangé dans la tâche Français.
- Comment compar:IA est-il noté ?
- Un score Elo calculé sur les duels, avec sa marge. Environ neuf questions sur dix sont en français. Un modèle qui obtient 1 025 Elo a un score IA d'environ 74.
- Qui est en tête sur compar:IA ?
- Claude Opus 5.5 (Anthropic) est en tête de compar:IA avec 1 191,0 Elo, dans l'édition du 9 novembre 2026. Suivent Muse Spark 1.2 (1 179,0 Elo) et Muse Spark 1.3 (1 171,0 Elo). 118 modèles y sont mesurés.
- Quelles sont les limites de compar:IA ?
- Moins de duels par modèle que sur Arena, donc des marges larges. Peu de modèles très récents. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse compar:IA dans le score IA ?
- compar:IA compte pour 2,5 % du score général, dans l'édition du 9 novembre 2026. Il porte 25 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
- Qui maintient compar:IA ?
- Ministère de la Culture, beta.gouv.fr. Sa page de référence : comparia.beta.gouv.fr.
Les autres benchmarks de la tâche Français
- Arena, questions en français238 modèles · 2,5 % du score
- EuroEval, ScaLA (grammaire)153 modèles · 0,62 % du score
- EuroEval, Allociné (sentiment)151 modèles · 0,62 % du scoreSATURÉ
- EuroEval, ELTeC (noms propres)151 modèles · 0,62 % du score
- EuroEval, FQuAD (compréhension)151 modèles · 0,62 % du score
- EuroEval, HellaSwag (bon sens)151 modèles · 0,62 % du score
- EuroEval, OrangeSum (résumé)82 modèles · 0,62 % du score
- EuroEval, INCLUDE (connaissances)74 modèles · 0,62 % du score
- EuroEval, MultiLoKo (connaissances locales)74 modèles · 0,62 % du score