Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

FrançaisFiche benchmark · EuroEval · euroeval.com

EuroEval, FQuAD (compréhension)

Le modèle lit un texte en français et répond à une question dont la réponse s'y trouve.

À quoi il sert

Sur QUELLE IA, EuroEval, FQuAD (compréhension) sert à noter la tâche Français : c'est l'un de ses 10 benchmarks.

Comment c'est noté

La part de mots communs entre sa réponse et la réponse attendue.

Ce qu'il ne dit pas

Une réponse juste mais formulée autrement perd des points.

Comment lire le score

151 modèles mesurés · 210 mesures

En tête : Llama 3.1-405B, 77,4 %

Chaque trait est un modèle, placé à son meilleur score. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 66 %. Le meilleur, Llama 3.1-405B, atteint 77,4 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
66 %
Score IA 76niveau de Claude Sonnet 4.5
71 %
Score IA 100niveau de Claude Opus 5.5
74 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

0,62 %du score général. EuroEval, FQuAD (compréhension) porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.

En couleur, la tâche Français dans le score général. En noir, la part d'EuroEval, FQuAD (compréhension).

Le classement du benchmark

Scores relevés sur euroeval.com · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1Llama 3.1-405BMeta AI · poids ouverts · 3 configurationsNon précisée77,4 %119,3
2Llama 3.1-70BMeta AI · poids ouverts · 2 configurationsNon précisée76,7 %114,9
3Nemotron 3 Nano 30BNVIDIA · poids ouverts · 3 configurationsSans76,3 %111,8
4Llama 3-70BMeta AI · poids ouverts · 2 configurationsNon précisée76,1 %110,7
5Qwen3-32BAlibaba · poids ouvertsSans76 %109,8
6Gemma 2 27BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée75,9 %109,3
7Yi-1.5-34B01.AI · poids ouvertsNon précisée75,7 %108,1
8Qwen3-14BAlibaba · poids ouverts · 2 configurationsSans75,6 %107,3
9Llama 2-70BMeta AI · poids ouverts · 2 configurationsNon précisée75,4 %105,9
10Mistral Small 3.1Mistral AI · poids ouvertsNon précisée75 %103,6
151 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 151 →Replier le classement ↑
11Gemma 3n E4BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée74,5 %100,3
12Ministral 3 8BMistral AI · poids ouverts · 2 configurationsÉlevée74,5 %100,2
13Mixtral 8x7BMistral AI · poids ouverts · 2 configurationsNon précisée74,5 %100,1
14Llama 3.1-8BMeta AI · poids ouverts · 2 configurationsNon précisée74,4 %99,4
15Magistral Small 1.0Mistral AI · poids ouvertsNon précisée74,3 %99,1
16Magistral Small 1.2Mistral AI · poids ouvertsNon précisée74,2 %98,5
17Mistral Small 3.2Mistral AI · poids ouvertsNon précisée73,7 %95,4
18Voxtral SmallMistral AI · poids ouvertsNon précisée73,6 %94,8
19Llama 2-13BMeta AI · poids ouverts · 2 configurationsNon précisée73,2 %92,2
20Gemma 2 9BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée73,1 %91,4
21Mistral NeMoMistral AI · poids ouvertsNon précisée73 %90,8
22GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée72,8 %89,8
23Gemma 7BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée72,8 %89,4
24Llama 3-8BMeta AI · poids ouverts · 2 configurationsNon précisée72,7 %88,7
25Mistral Small 3Mistral AI · poids ouvertsNon précisée72,4 %87,3
26Qwen3-30B-A3BAlibaba · poids ouvertsSans72,3 %86,6
27Ministral 3 14BMistral AI · poids ouverts · 2 configurationsÉlevée72,3 %86,2
28Mistral 7B v0.1Mistral AI · poids ouverts · 2 configurationsNon précisée71,9 %84,0
29Claude Haiku 4.5AnthropicNon précisée71,8 %83,5
30GPT-5.4 MiniOpenAI · 4 configurationsSans71,3 %80,5
31Qwen3-8BAlibaba · poids ouverts · 2 configurationsSans71,1 %79,5
32GPT-5.4OpenAISans71,1 %79,2
33Qwen2.5-72BAlibaba · poids ouvertsNon précisée71 %78,7
34Qwen3-235B-A22BAlibaba · poids ouvertsNon précisée71 %78,6
35Claude Sonnet 4.5Anthropic · 2 configurationsSans70,9 %78,1
36Mistral 7B v0.3Mistral AI · poids ouvertsNon précisée70,8 %77,7
37Gemma 4 12B ITGoogle DeepMind · poids ouvertsNon précisée70,8 %77,4
38Grok 4.1 FastxAIÉlevée70,7 %77,2
39Ministral 3 3BMistral AI · poids ouverts · 2 configurationsÉlevée70,6 %76,4
40EuroLLM 22B InstructEuroLLM · poids ouverts · 2 configurationsNon précisée70,6 %76,1
41Qwen3-235B-A22B-Instruct (Jul 2025)Alibaba · poids ouvertsNon précisée70,5 %76,0
42GPT-5.2OpenAINon précisée70,2 %74,2
43c4ai-command-r-08-2024Cohere · poids ouvertsNon précisée70,1 %73,7
44Gemma 4 31B ITGoogle DeepMind · poids ouverts · 2 configurationsNon précisée70,1 %73,6
45Apertus 8B InstructSwiss AI (EPFL · poids ouvertsNon précisée70,1 %73,3
46Grok-2 (Dec 2024)xAINon précisée70 %73,0
46Llama-3.1-Nemotron-70B-InstructNVIDIA · poids ouvertsNon précisée70 %73,0
48Apertus v1.5 70BSwiss AI (EPFL, ETH Zurich) · poids ouvertsNon précisée69,9 %72,5
49OLMo 3.1 32B InstructAllen Institute for AI · poids ouvertsNon précisée69,8 %71,9
49ALIA-40bBarcelona Supercomputing Center · poids ouvertsNon précisée69,8 %71,9
51Qwen3-235B-A22B-Thinking (Jul 2025)Alibaba · poids ouvertsNon précisée69,8 %71,4
52Ministral 8BMistral AI · poids ouvertsNon précisée69,7 %71,4
53chutes/Qwen3-Next-80B-A3B-InstructAlibaba · poids ouvertsNon précisée69,7 %71,3
54GPT-5 miniOpenAI · 3 configurationsFaible69,7 %71,2
55Qwen 3.8 27BAlibaba · poids ouvertsNon précisée69,6 %70,5
56GPT-6 SolOpenAINon précisée69,6 %70,3
57Qwen3.6 27BAlibaba · poids ouvertsNon précisée69,5 %69,8
58GPT-5.4 NanoOpenAI · 4 configurationsFaible69,5 %69,8
59EuroLLM 9B Instruct (2512)EuroLLM · poids ouvertsNon précisée69,3 %69,1
60GPT-5.6 TerraOpenAINon précisée69,3 %68,7
61GPT-6 LunaOpenAINon précisée69,2 %68,5
62GPT-5.6 LunaOpenAINon précisée69,1 %67,4
63Granite 4.0 H SmallIBM · poids ouvertsNon précisée68,9 %66,5
64Grok-3 minixAIÉlevée68,8 %66,1
65Qwen1.5-14BAlibaba · poids ouverts · 2 configurationsNon précisée68,6 %65,0
66GPT-4.1 miniOpenAINon précisée68,6 %64,7
67DeepSeek-R1-Distill-Llama-70BDeepSeek · poids ouvertsNon précisée68,6 %64,6
68Aya Expanse 32BCohere · poids ouvertsNon précisée68,5 %64,5
69EXAONE 4.0 32BLG AI Research · poids ouvertsNon précisée68,5 %64,2
70EuroLLM 9B InstructEuroLLM · poids ouvertsNon précisée68,5 %64,1
71Gemma 3 27BGoogle DeepMind · poids ouvertsNon précisée68,5 %64,1
72Llama 4 ScoutMeta AI · poids ouvertsNon précisée68,5 %64,0
73Gemini 3.5 Flash-LiteGoogle DeepMindNon précisée68,4 %63,8
74Qwen3-4BAlibaba · 3 configurationsNon précisée68,3 %63,4
75Gemini 3 ProGoogle DeepMindNon précisée68,3 %63,4
76Gemma 4 26B A4BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée68,2 %62,3
77Reka Flash 3Reka AI · poids ouvertsNon précisée68 %61,6
78nvidia-nemotron-nano-9b-v2NVIDIA · poids ouverts · 2 configurationsNon précisée67,9 %61,1
79GPT-5.6 SolOpenAINon précisée67,8 %60,6
80SmolLM3 3BHugging Face · poids ouverts · 2 configurationsNon précisée67,8 %60,3
81QwQ-32BAlibaba · poids ouvertsNon précisée67,8 %60,2
81Gemma 3 12BGoogle DeepMind · poids ouvertsNon précisée67,8 %60,2
83OLMo 3.1 32B ThinkAllen Institute for AI · poids ouvertsNon précisée67,7 %59,8
84Qwen3.5-35B-A3BAlibaba · poids ouvertsNon précisée67,7 %59,6
85glm-4.7-flashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée67,7 %59,6
86Gemini 2.5 Flash-Lite (Jun 2025)Google DeepMind · 4 configurationsSans67,4 %58,4
87granite-4.0-microIBM · poids ouvertsNon précisée67,4 %58,1
88Claude Sonnet 4.6AnthropicNon précisée67,3 %57,5
89Granite 4.0 H MicroIBM · poids ouvertsNon précisée67,2 %57,3
90Gemini 2.5 Flash (Apr 2025)Google DeepMindNon précisée67,2 %57,1
91Gemma 4 E4B ITGoogle DeepMind · poids ouvertsNon précisée66,8 %54,7
92Gemini 3.1 Flash-LiteGoogle DeepMindNon précisée66,7 %54,0
93Gemini 2.5 Pro (Jun 2025)Google DeepMindNon précisée66,6 %53,9
94Claude 3.7 SonnetAnthropic · 2 configurationsÉlevée66,5 %53,4
95qwen3-4b-instruct-2507AlibabaNon précisée66,3 %52,3
96GPT-5OpenAI · 3 configurationsFaible66,3 %52,1
97Gemini 2.5 Flash (Jun 2025)Google DeepMind · 2 configurationsSans66,3 %52,0
98Phi-4 ReasoningMicrosoft · poids ouvertsÉlevée66 %50,3
99Qwen3-Next-80B-A3B ThinkingAlibaba · poids ouvertsÉlevée65,9 %49,9
100Gemini 3.6 FlashGoogle DeepMindNon précisée65,7 %49,0
101deepseek-r1-0528-qwen3-8bDeepSeek · poids ouvertsNon précisée65,6 %48,5
102OLMo 2 Furious 13BAllen Institute for AI · poids ouvertsNon précisée65,5 %48,0
103Grok 3xAINon précisée65,5 %47,8
104o3OpenAINon précisée65,4 %47,0
105Apertus 70B InstructSwiss AI (EPFL, ETH Zurich) · poids ouvertsNon précisée65,3 %46,7
106o4-miniOpenAINon précisée65,3 %46,6
107Gemini 3.7 FlashGoogle DeepMindNon précisée65,2 %45,9
108Llama 3.3 70BMeta AI · poids ouvertsNon précisée65,1 %45,6
109Qwen2.5-1.5BAlibaba · poids ouvertsNon précisée65,1 %45,5
110GPT-5 nanoOpenAI · 3 configurationsÉlevée64,8 %44,2
111Qwen3.5-2BAlibaba · poids ouvertsNon précisée64,8 %43,9
112Nemotron Cascade 2 30B A3BNVIDIA · poids ouvertsNon précisée64,6 %43,0
113Luciole 23B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée64,5 %42,3
114GPT-4.1OpenAINon précisée64,4 %41,7
114Gemma 4 E2B ITGoogle DeepMind · poids ouvertsNon précisée64,4 %41,7
116Gemini 3 FlashGoogle DeepMind · 2 configurationsSans64,2 %40,7
117GPT-6 AstraOpenAINon précisée63,8 %38,7
118OLMo 3 7B ThinkAllen Institute for AI · poids ouvertsNon précisée63,7 %38,0
119Qwen3-1.7BAlibaba · 2 configurationsNon précisée63,6 %37,4
120GPT-6.1 SolOpenAINon précisée63,5 %37,1
121o3-miniOpenAINon précisée63,4 %36,4
122gpt-oss-20bOpenAI · poids ouverts · 3 configurationsMoyenne63,2 %35,5
123gpt-oss-120bOpenAI · poids ouvertsNon précisée63,1 %34,8
124Luciole 8B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée61,6 %27,3
125Llama 3.2 3BMeta AI · poids ouvertsNon précisée61 %24,2
126OLMo 3 7B InstructAllen Institute for AI · poids ouvertsNon précisée59,5 %16,6
127Llama 2-7BMeta AI · poids ouvertsNon précisée59,2 %15,3
128Reka Flash 3.1Reka AI · poids ouvertsNon précisée58,5 %11,5
129DeepSeek-R1-Distill-Qwen-14BDeepSeekNon précisée58,4 %11,0
130Gemma 2BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée57,9 %8,3
131Qwen3.5-0.8BAlibaba · poids ouvertsNon précisée57,1 %4,5
132Phi-2Microsoft · poids ouvertsNon précisée55,9 %-1,3
133DeepSeek-R1-Distill-Qwen-32BDeepSeek · poids ouvertsNon précisée53,8 %-11,7
134Mistral 7B v0.2Mistral AINon précisée50,8 %-26,5
135Qwen3-0.6BAlibaba · 2 configurationsNon précisée49,6 %-32,4
136DeepSeek-R1-Distill-Qwen-7BDeepSeekNon précisée47,4 %-42,8
137Falcon 2 11BTechnology Innovation Institute · poids ouvertsNon précisée47,1 %-44,3
138Llama 3.2 1BMeta AI · poids ouverts · 2 configurationsNon précisée44,7 %-56,1
139Qwen3.5-9BAlibaba · poids ouvertsNon précisée42,4 %-67,8
140DeepSeek-R1-Distill-Llama-8BDeepSeekNon précisée40,9 %-75,2
141Gemma 3 4BGoogle DeepMind · poids ouvertsNon précisée38,6 %-86,7
142Qwen3.5-4BAlibaba · poids ouvertsNon précisée38 %-89,6
143Phi-4Microsoft · poids ouvertsNon précisée37,5 %-92,3
144GLM-4.5-AirZ.ai (Zhipu AI) · poids ouverts · 2 configurationsSans34,3 %-109,5
145Gemma 3 270MGoogle DeepMind · poids ouverts · 2 configurationsNon précisée28,7 %-141,3
146DeepSeek-R1-Distill-Qwen-1.5BDeepSeekNon précisée25,6 %-159,9
147Nemotron 3 Nano 4BNVIDIA · poids ouverts · 2 configurationsNon précisée24,8 %-165,4
148Granite 4.0 H TinyIBM · poids ouvertsNon précisée23 %-177,4
149Salamandra 7B InstructBarcelona Supercomputing Center · poids ouvertsNon précisée18,2 %-213,0
150Gemma 3 1BGoogle DeepMind · poids ouvertsNon précisée16,9 %-223,8
151Phi-4 MiniMicrosoft · poids ouvertsÉlevée9,8 %-300,7

En bref

Que mesure EuroEval, FQuAD (compréhension) ?
Le modèle lit un texte en français et répond à une question dont la réponse s'y trouve. Sur QUELLE IA, il est rangé dans la tâche Français.
Comment EuroEval, FQuAD (compréhension) est-il noté ?
La part de mots communs entre sa réponse et la réponse attendue. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 66 %.
Qui est en tête sur EuroEval, FQuAD (compréhension) ?
Llama 3.1-405B (Meta AI) est en tête d'EuroEval, FQuAD (compréhension) avec 77,4 %, dans l'édition du 9 novembre 2026. Suivent Llama 3.1-70B (76,7 %) et Nemotron 3 Nano 30B (76,3 %). 151 modèles y sont mesurés.
Quelles sont les limites d'EuroEval, FQuAD (compréhension) ?
Une réponse juste mais formulée autrement perd des points. Au 9 novembre 2026, le benchmark est actif.
Combien pèse EuroEval, FQuAD (compréhension) dans le score IA ?
EuroEval, FQuAD (compréhension) compte pour 0,62 % du score général, dans l'édition du 9 novembre 2026. Il porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
Qui maintient EuroEval, FQuAD (compréhension) ?
EuroEval. Sa page de référence : euroeval.com/leaderboards/Monolingual/french.

Les autres benchmarks de la tâche Français

Tous les benchmarks →Comment le score IA est calculé →