Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

FrançaisFiche benchmark · EuroEval · euroeval.com

EuroEval, HellaSwag (bon sens)

Le modèle choisit la suite la plus plausible d'une situation décrite en français.

À quoi il sert

Sur QUELLE IA, EuroEval, HellaSwag (bon sens) sert à noter la tâche Français : c'est l'un de ses 10 benchmarks. Il départage surtout les modèles dont le score IA approche 38.

Comment c'est noté

La part de bonnes réponses, corrigée du hasard.

Ce qu'il ne dit pas

Épreuve traduite de l'anglais, proche de la saturation pour les meilleurs modèles.

Comment lire le score

151 modèles mesurés · 210 mesures

En tête : GPT-6 Astra, 90,7 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 38. Le meilleur, GPT-6 Astra, atteint 90,7 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
60 %
Score IA 76niveau de Claude Sonnet 4.5
76 %
Score IA 100niveau de Claude Opus 5.5
87 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

0,62 %du score général. EuroEval, HellaSwag (bon sens) porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.

En couleur, la tâche Français dans le score général. En noir, la part d'EuroEval, HellaSwag (bon sens).

Le classement du benchmark

Scores relevés sur euroeval.com · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1GPT-6 AstraOpenAINon précisée90,7 %113,0
2Gemini 3.7 FlashGoogle DeepMindNon précisée90,2 %111,2
3Claude Sonnet 4.5Anthropic · 2 configurationsSans87,9 %103,4
4GPT-6.1 SolOpenAINon précisée87,9 %103,3
5Qwen3-235B-A22B-Instruct (Jul 2025)Alibaba · poids ouvertsNon précisée85,7 %97,2
6Qwen3.6 27BAlibaba · poids ouvertsNon précisée84,5 %94,0
7Claude Sonnet 4.6AnthropicNon précisée83,7 %92,0
8Mistral Small 3Mistral AI · poids ouvertsNon précisée83,4 %91,4
9Mistral Small 3.1Mistral AI · poids ouvertsNon précisée83,4 %91,3
10Gemini 3.6 FlashGoogle DeepMindNon précisée82,6 %89,3
151 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 151 →Replier le classement ↑
11Qwen3-235B-A22B-Thinking (Jul 2025)Alibaba · poids ouvertsNon précisée82,4 %89,0
12Gemini 3 ProGoogle DeepMindNon précisée81,8 %87,7
13GPT-6 SolOpenAINon précisée81,5 %87,0
14Gemini 3 FlashGoogle DeepMind · 2 configurationsSans81,1 %86,2
15GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée81,1 %86,0
16GPT-5.6 SolOpenAINon précisée80,9 %85,6
17chutes/Qwen3-Next-80B-A3B-InstructAlibaba · poids ouvertsNon précisée80,4 %84,6
18Llama 3.1-405BMeta AI · poids ouverts · 3 configurationsNon précisée80 %83,9
19Gemini 2.5 Pro (Jun 2025)Google DeepMindNon précisée79,9 %83,6
20Gemma 4 31B ITGoogle DeepMind · poids ouverts · 2 configurationsNon précisée79,5 %82,8
21Qwen 3.8 27BAlibaba · poids ouvertsNon précisée79,4 %82,6
22Mistral Small 3.2Mistral AI · poids ouvertsNon précisée78,5 %80,9
23GPT-5.4OpenAISans78 %79,9
24GPT-5.6 TerraOpenAINon précisée77,9 %79,8
25Qwen2.5-72BAlibaba · poids ouvertsNon précisée77,8 %79,5
26Qwen3-Next-80B-A3B ThinkingAlibaba · poids ouvertsÉlevée77,4 %78,7
27Voxtral SmallMistral AI · poids ouvertsNon précisée77 %78,0
28GPT-5OpenAI · 3 configurationsÉlevée76,4 %77,0
29Magistral Small 1.2Mistral AI · poids ouvertsNon précisée76,4 %76,9
30Qwen3.5-35B-A3BAlibaba · poids ouvertsNon précisée76 %76,2
31Llama 4 ScoutMeta AI · poids ouvertsNon précisée75,9 %75,9
32Llama 3.3 70BMeta AI · poids ouvertsNon précisée75,7 %75,6
33Yi-1.5-34B01.AI · poids ouvertsNon précisée75,3 %74,9
34Llama-3.1-Nemotron-70B-InstructNVIDIA · poids ouvertsNon précisée74,6 %73,6
35Qwen3-32BAlibaba · poids ouvertsSans74,4 %73,3
36Aya Expanse 32BCohere · poids ouvertsNon précisée74 %72,6
37Ministral 3 14BMistral AI · poids ouverts · 2 configurationsÉlevée73,9 %72,4
38Qwen3-235B-A22BAlibaba · poids ouvertsNon précisée73,7 %72,2
39Gemini 2.5 Flash (Jun 2025)Google DeepMind · 2 configurationsSans73,2 %71,3
40GPT-4.1OpenAINon précisée72,8 %70,7
41Granite 4.0 H SmallIBM · poids ouvertsNon précisée72,3 %69,8
42Gemini 3.1 Flash-LiteGoogle DeepMindNon précisée72,2 %69,6
43GPT-5.6 LunaOpenAINon précisée71,9 %69,1
44GPT-5.2OpenAINon précisée71,5 %68,6
45Gemini 3.5 Flash-LiteGoogle DeepMindNon précisée71,5 %68,5
46Claude 3.7 SonnetAnthropic · 2 configurationsÉlevée71,4 %68,3
47GPT-5.4 MiniOpenAI · 4 configurationsMoyenne70,7 %67,2
48Llama 3.1-70BMeta AI · poids ouverts · 2 configurationsNon précisée70,6 %67,1
49Gemma 4 26B A4BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée70,4 %66,8
50Claude 3.5 SonnetAnthropicNon précisée70,3 %66,6
51GPT-6 LunaOpenAINon précisée70,2 %66,5
52Gemma 3 27BGoogle DeepMind · poids ouvertsNon précisée69,6 %65,6
53QwQ-32BAlibaba · poids ouvertsNon précisée69,5 %65,3
54Grok 3xAINon précisée69 %64,6
55Claude Haiku 4.5AnthropicNon précisée68,7 %64,1
56Qwen3.5-9BAlibaba · poids ouvertsNon précisée68,6 %63,9
57Gemma 4 12B ITGoogle DeepMind · poids ouvertsNon précisée68,4 %63,7
58GPT-5 miniOpenAI · 3 configurationsÉlevée67,9 %62,9
59Ministral 3 8BMistral AI · poids ouverts · 2 configurationsÉlevée67,8 %62,7
60o3OpenAINon précisée67,4 %62,1
61Gemma 2 27BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée67,2 %61,9
62Qwen3-14BAlibaba · poids ouverts · 2 configurationsSans66,7 %61,1
63Grok-2 (Dec 2024)xAINon précisée66,3 %60,5
64Phi-4Microsoft · poids ouvertsNon précisée65,9 %60,0
65GLM-4.5-AirZ.ai (Zhipu AI) · poids ouverts · 2 configurationsSans65,4 %59,2
66Qwen3-30B-A3BAlibaba · poids ouvertsSans65,2 %58,9
67Gemma 3 12BGoogle DeepMind · poids ouvertsNon précisée64,8 %58,4
68Llama 3-70BMeta AI · poids ouverts · 2 configurationsNon précisée63,4 %56,3
69Magistral Small 1.0Mistral AI · poids ouvertsNon précisée63 %55,9
70Ministral 8BMistral AI · poids ouvertsNon précisée63 %55,8
71o4-miniOpenAINon précisée62,6 %55,3
72Grok 4.1 FastxAIÉlevée61,8 %54,2
73Gemma 2 9BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée61,5 %53,7
74gpt-oss-120bOpenAI · poids ouvertsNon précisée60,7 %52,7
75GPT-4.1 miniOpenAINon précisée60,4 %52,2
76Qwen3.5-4BAlibaba · poids ouvertsNon précisée60,1 %51,8
77GPT-5 nanoOpenAI · 3 configurationsÉlevée59,8 %51,3
78Gemini 2.5 Flash-Lite (Jun 2025)Google DeepMind · 4 configurationsSans58,9 %50,1
79qwen3-4b-instruct-2507AlibabaNon précisée58,9 %50,1
80EXAONE 4.0 32BLG AI Research · poids ouvertsNon précisée58,7 %49,9
81Apertus v1.5 70BSwiss AI (EPFL, ETH Zurich) · poids ouvertsNon précisée57,1 %47,8
82Apertus 70B InstructSwiss AI (EPFL, ETH Zurich) · poids ouvertsNon précisée56,3 %46,6
83Nemotron 3 Nano 30BNVIDIA · poids ouverts · 3 configurationsSans56,2 %46,5
84Qwen3-8BAlibaba · poids ouverts · 2 configurationsSans56,1 %46,4
85Ministral 3 3BMistral AI · poids ouverts · 2 configurationsÉlevée56 %46,3
86Qwen3-4BAlibaba · 3 configurationsÉlevée56 %46,3
87gpt-oss-20bOpenAI · poids ouverts · 3 configurationsMoyenne55,7 %45,9
88Gemma 3n E4BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée55,7 %45,8
89DeepSeek-R1-Distill-Qwen-32BDeepSeek · poids ouvertsNon précisée55,4 %45,4
90DeepSeek-R1-Distill-Llama-70BDeepSeek · poids ouvertsNon précisée54,4 %44,1
91Grok-3 minixAIÉlevée53,6 %43,2
92glm-4.7-flashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée53,6 %43,1
93o3-miniOpenAINon précisée53,3 %42,7
94Reka Flash 3.1Reka AI · poids ouvertsNon précisée52,1 %41,2
95EuroLLM 22B InstructEuroLLM · poids ouverts · 2 configurationsNon précisée52 %41,0
96Nemotron Cascade 2 30B A3BNVIDIA · poids ouvertsNon précisée51,9 %40,8
97Gemma 4 E4B ITGoogle DeepMind · poids ouvertsNon précisée51,8 %40,7
98Qwen1.5-14BAlibaba · poids ouverts · 2 configurationsNon précisée51,1 %39,8
99Reka Flash 3Reka AI · poids ouvertsNon précisée49,9 %38,2
100Mistral NeMoMistral AI · poids ouvertsNon précisée49,5 %37,7
101Claude 3.5 HaikuAnthropicNon précisée49,2 %37,3
102c4ai-command-r-08-2024Cohere · poids ouvertsNon précisée48,9 %36,9
103Mixtral 8x7BMistral AI · poids ouverts · 2 configurationsNon précisée48,6 %36,6
104DeepSeek-R1-Distill-Qwen-14BDeepSeekNon précisée47,2 %34,6
105OLMo 3.1 32B InstructAllen Institute for AI · poids ouvertsNon précisée47,2 %34,6
106granite-4.0-microIBM · poids ouvertsNon précisée46,6 %33,8
107GPT-5.4 NanoOpenAI · 4 configurationsMoyenne45,2 %32,1
108Llama 3.1-8BMeta AI · poids ouverts · 2 configurationsNon précisée44,7 %31,3
109Luciole 23B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée44,1 %30,6
110OLMo 3.1 32B ThinkAllen Institute for AI · poids ouvertsNon précisée43,7 %30,0
111EuroLLM 9B Instruct (2512)EuroLLM · poids ouvertsNon précisée43,4 %29,6
112Llama 2-70BMeta AI · poids ouverts · 2 configurationsNon précisée42,1 %27,9
113Granite 4.0 H TinyIBM · poids ouvertsNon précisée41,9 %27,7
114deepseek-r1-0528-qwen3-8bDeepSeek · poids ouvertsNon précisée40,7 %26,0
115nvidia-nemotron-nano-9b-v2NVIDIA · poids ouverts · 2 configurationsNon précisée40,3 %25,5
116Llama 3-8BMeta AI · poids ouverts · 2 configurationsNon précisée38,6 %23,1
117Granite 4.0 H MicroIBM · poids ouvertsNon précisée38,3 %22,7
118Apertus 8B InstructSwiss AI (EPFL · poids ouvertsNon précisée38 %22,3
119Qwen3.5-2BAlibaba · poids ouvertsNon précisée37 %20,9
120OLMo 2 Furious 13BAllen Institute for AI · poids ouvertsNon précisée36,5 %20,2
121Gemma 4 E2B ITGoogle DeepMind · poids ouvertsNon précisée35,4 %18,6
122Qwen2.5-1.5BAlibaba · poids ouvertsNon précisée34,3 %17,0
123Gemma 3 4BGoogle DeepMind · poids ouvertsNon précisée33,9 %16,5
124SmolLM3 3BHugging Face · poids ouverts · 2 configurationsNon précisée33,8 %16,3
125Nemotron 3 Nano 4BNVIDIA · poids ouverts · 2 configurationsNon précisée32 %13,6
126Phi-4 ReasoningMicrosoft · poids ouvertsÉlevée30,8 %11,7
127Qwen3-1.7BAlibaba · 2 configurationsSans29,7 %10,1
128OLMo 3 7B ThinkAllen Institute for AI · poids ouvertsNon précisée29,6 %10,0
129EuroLLM 9B InstructEuroLLM · poids ouvertsNon précisée28,5 %8,2
130Falcon 2 11BTechnology Innovation Institute · poids ouvertsNon précisée27,8 %7,0
131Luciole 8B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée27,7 %6,9
132ALIA-40bBarcelona Supercomputing Center · poids ouvertsNon précisée26,6 %5,1
133Gemma 7BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée26,4 %4,7
134Mistral 7B v0.2Mistral AINon précisée24,3 %1,1
135Llama 3.2 3BMeta AI · poids ouvertsNon précisée23,7 %-0,0
136DeepSeek-R1-Distill-Llama-8BDeepSeekNon précisée19,9 %-7,3
137Phi-4 MiniMicrosoft · poids ouvertsÉlevée19,7 %-7,7
138OLMo 3 7B InstructAllen Institute for AI · poids ouvertsNon précisée19,6 %-7,9
139Mistral 7B v0.3Mistral AI · poids ouvertsNon précisée18,2 %-11,0
140DeepSeek-R1-Distill-Qwen-7BDeepSeekNon précisée17,5 %-12,5
141Mistral 7B v0.1Mistral AI · poids ouverts · 2 configurationsNon précisée16,6 %-14,5
142Llama 2-13BMeta AI · poids ouverts · 2 configurationsNon précisée11,4 %-29,0
143Qwen3-0.6BAlibaba · 2 configurationsNon précisée11,1 %-29,8
144Qwen3.5-0.8BAlibaba · poids ouvertsNon précisée7,6 %-43,5
145Salamandra 7B InstructBarcelona Supercomputing Center · poids ouvertsNon précisée7,4 %-44,6
146Gemma 3 1BGoogle DeepMind · poids ouvertsNon précisée6,8 %-47,6
147DeepSeek-R1-Distill-Qwen-1.5BDeepSeekNon précisée5,1 %-57,3
148Phi-2Microsoft · poids ouvertsNon précisée4,6 %-60,9
149Gemma 2BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée3 %-75,9
150Llama 3.2 1BMeta AI · poids ouverts · 2 configurationsNon précisée0,5 %-112,4
151Gemma 3 270MGoogle DeepMind · poids ouverts · 2 configurationsNon précisée-0,3 %-112,4

En bref

Que mesure EuroEval, HellaSwag (bon sens) ?
Le modèle choisit la suite la plus plausible d'une situation décrite en français. Sur QUELLE IA, il est rangé dans la tâche Français.
Comment EuroEval, HellaSwag (bon sens) est-il noté ?
La part de bonnes réponses, corrigée du hasard. Un modèle qui obtient 50 % a un score IA d'environ 38.
Qui est en tête sur EuroEval, HellaSwag (bon sens) ?
GPT-6 Astra (OpenAI) est en tête d'EuroEval, HellaSwag (bon sens) avec 90,7 %, dans l'édition du 9 novembre 2026. Suivent Gemini 3.7 Flash (90,2 %) et Claude Sonnet 4.5 (87,9 %). 151 modèles y sont mesurés.
Quelles sont les limites d'EuroEval, HellaSwag (bon sens) ?
Épreuve traduite de l'anglais, proche de la saturation pour les meilleurs modèles. Au 9 novembre 2026, le benchmark est actif.
Combien pèse EuroEval, HellaSwag (bon sens) dans le score IA ?
EuroEval, HellaSwag (bon sens) compte pour 0,62 % du score général, dans l'édition du 9 novembre 2026. Il porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
Qui maintient EuroEval, HellaSwag (bon sens) ?
EuroEval. Sa page de référence : euroeval.com/leaderboards/Monolingual/french.

Les autres benchmarks de la tâche Français

Tous les benchmarks →Comment le score IA est calculé →