À quoi il sert
Sur Quelle IA, compar:IA sert à noter la tâche Français : c'est l'un de ses 10 benchmarks. Il départage surtout les modèles dont le score IA approche 74.
FrançaisFiche benchmark · Ministère de la Culture, beta.gouv.fr · comparia.beta.gouv.fr
compar:IA
L'arène publique du ministère de la Culture : deux modèles anonymes répondent, l'internaute vote, presque toujours en français.
Comment c'est noté
Un score Elo calculé sur les duels, avec sa marge. Environ neuf questions sur dix sont en français.
Pour le calcul, un Elo devient une probabilité de victoire face à un niveau de référence, ici 1 025 Elo. Un écart de 100 points donne environ 64 % de chances de l'emporter.
Ce qu'il ne dit pas
Moins de duels par modèle que sur Arena, donc des marges larges. Peu de modèles très récents.
Qui le tient
Ministère de la Culture, beta.gouv.fr.
comparia.beta.gouv.fr · tâche Français · 114 modèles mesurés
Comment lire le score
114 modèles mesurés · 117 mesures700 Elo1 000 EloClaude Opus 5.5 : 1 210,0 Elo1 300 Elo
En tête : Claude Opus 5.5, 1 210,0 Elo
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 1 025 Elo a un score IA d'environ 74. Le meilleur, Claude Opus 5.5, atteint 1 210,0 Elo.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 974 Elo
- Score IA 76niveau de Claude Sonnet 4.5
- 1 032 Elo
- Score IA 100niveau de Claude Opus 5.5
- 1 086 Elo
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
2,5 %du score général. compar:IA porte 25 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
En couleur, la tâche Français dans le score général. En noir, la part de compar:IA.
Le classement du benchmark
Scores relevés sur arene.comparia.beta.gouv.fr · édition duRangModèleRéflexionScore publiéSuggèreSource
114 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 114 →Replier le classement ↑
En bref
- Que mesure compar:IA ?
- L'arène publique du ministère de la Culture : deux modèles anonymes répondent, l'internaute vote, presque toujours en français. Sur Quelle IA, il est rangé dans la tâche Français.
- Comment compar:IA est-il noté ?
- Un score Elo calculé sur les duels, avec sa marge. Environ neuf questions sur dix sont en français. Un modèle qui obtient 1 025 Elo a un score IA d'environ 74.
- Qui est en tête sur compar:IA ?
- Claude Opus 5.5 (Anthropic) est en tête de compar:IA avec 1 210,0 Elo, dans l'édition du 28 septembre 2026. Suivent Muse Spark 1.2 (1 180,0 Elo) et Muse Spark 1.3 (1 150,0 Elo). 114 modèles y sont mesurés.
- Quelles sont les limites de compar:IA ?
- Moins de duels par modèle que sur Arena, donc des marges larges. Peu de modèles très récents. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse compar:IA dans le score IA ?
- compar:IA compte pour 2,5 % du score général, dans l'édition du 28 septembre 2026. Il porte 25 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
- Qui maintient compar:IA ?
- Ministère de la Culture, beta.gouv.fr. Sa page de référence : comparia.beta.gouv.fr.
Les autres benchmarks de la tâche Français
- Arena, questions en français224 modèles · 2,5 % du score
- EuroEval, ScaLA (grammaire)136 modèles · 0,62 % du score
- EuroEval, Allociné (sentiment)134 modèles · 0,62 % du scoreSATURÉ
- EuroEval, ELTeC (noms propres)134 modèles · 0,62 % du score
- EuroEval, FQuAD (compréhension)134 modèles · 0,62 % du score
- EuroEval, HellaSwag (bon sens)134 modèles · 0,62 % du score
- EuroEval, OrangeSum (résumé)69 modèles · 0,62 % du score
- EuroEval, INCLUDE (connaissances)64 modèles · 0,62 % du score
- EuroEval, MultiLoKo (connaissances locales)64 modèles · 0,62 % du score