Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

FrançaisFiche benchmark · EuroEval · euroeval.com

EuroEval, MultiLoKo (connaissances locales)

Des questions de culture propre aux pays francophones, posées en français.

À quoi il sert

Sur QUELLE IA, EuroEval, MultiLoKo (connaissances locales) sert à noter la tâche Français : c'est l'un de ses 10 benchmarks. Il départage surtout les modèles dont le score IA approche 80.

Comment c'est noté

La part de réponses exactes.

Ce qu'il ne dit pas

Peu de modèles mesurés. Exige la réponse exacte, au mot près.

Comment lire le score

74 modèles mesurés · 97 mesures

En tête : Gemini 3.7 Flash, 89,1 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 80. Le meilleur, Gemini 3.7 Flash, atteint 89,1 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
17 %
Score IA 76niveau de Claude Sonnet 4.5
45 %
Score IA 100niveau de Claude Opus 5.5
75 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

0,62 %du score général. EuroEval, MultiLoKo (connaissances locales) porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.

En couleur, la tâche Français dans le score général. En noir, la part d'EuroEval, MultiLoKo (connaissances locales).

Le classement du benchmark

Scores relevés sur euroeval.com · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1Gemini 3.7 FlashGoogle DeepMindNon précisée89,1 %118,7
2Gemini 3 FlashGoogle DeepMind · 2 configurationsÉlevée87,4 %115,7
3Gemini 3.6 FlashGoogle DeepMindNon précisée86,5 %114,3
4GPT-6 AstraOpenAINon précisée86,1 %113,7
5GPT-6.1 SolOpenAINon précisée84,9 %112,0
6GPT-5.6 SolOpenAINon précisée83,3 %109,7
7GPT-5.6 LunaOpenAINon précisée67 %93,2
8GPT-5.6 TerraOpenAINon précisée66,6 %92,9
9GPT-6 SolOpenAINon précisée64 %90,7
10GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée62,6 %89,6
74 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 74 →Replier le classement ↑
11GPT-5.4 MiniOpenAI · 4 configurationsMoyenne60,6 %88,1
12Gemini 3.1 Flash-LiteGoogle DeepMindNon précisée56,5 %85,0
13Grok 4.1 FastxAIÉlevée52,4 %82,0
14GPT-5 miniOpenAINon précisée49,2 %79,6
15Claude Sonnet 4.5Anthropic · 2 configurationsÉlevée47,9 %78,7
16GPT-4.1OpenAINon précisée47,4 %78,3
17Claude Sonnet 4.6AnthropicNon précisée43,6 %75,5
18GPT-5.4OpenAISans42,9 %75,0
19Gemini 2.5 Flash-Lite (Jun 2025)Google DeepMind · 2 configurationsÉlevée41,9 %74,2
20GPT-6 LunaOpenAINon précisée38,8 %71,8
21Gemma 4 31B ITGoogle DeepMind · poids ouverts · 2 configurationsNon précisée38,4 %71,6
22Mistral Small 3.1Mistral AI · poids ouvertsNon précisée34,2 %68,2
23Qwen3.5-35B-A3BAlibaba · poids ouvertsNon précisée34,1 %68,1
24Gemma 4 26B A4BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée33,5 %67,7
25Gemini 3.5 Flash-LiteGoogle DeepMindNon précisée32,7 %67,0
26Mistral Small 3.2Mistral AI · poids ouvertsNon précisée32,6 %66,9
27GPT-5.4 NanoOpenAI · 4 configurationsMoyenne32,2 %66,5
28Qwen3.6 27BAlibaba · poids ouvertsNon précisée31,6 %66,0
29Llama 3.3 70BMeta AI · poids ouvertsNon précisée30,5 %65,1
30GPT-5.2OpenAINon précisée30,5 %65,1
31Qwen2.5-72BAlibaba · poids ouvertsNon précisée29,1 %63,8
32Gemma 4 12B ITGoogle DeepMind · poids ouvertsNon précisée28 %62,9
33Qwen 3.8 27BAlibaba · poids ouvertsNon précisée27,8 %62,7
34GPT-5 nanoOpenAINon précisée26,6 %61,6
35gpt-oss-120bOpenAI · poids ouvertsNon précisée25,9 %60,9
36Ministral 3 14BMistral AI · poids ouverts · 2 configurationsNon précisée25,9 %60,9
37glm-4.7-flashZ.ai (Zhipu AI) · poids ouvertsNon précisée24,2 %59,3
38Nemotron 3 Nano 30BNVIDIA · poids ouverts · 2 configurationsNon précisée22,8 %57,9
39Gemma 3 27BGoogle DeepMind · poids ouvertsNon précisée20,3 %55,1
40Claude Haiku 4.5AnthropicNon précisée19,5 %54,2
41Qwen3-14BAlibaba · poids ouvertsSans18,8 %53,4
42Qwen3.5-9BAlibaba · poids ouvertsNon précisée18,7 %53,2
43EuroLLM 22B InstructEuroLLM · poids ouvertsNon précisée18,2 %52,7
44Nemotron Cascade 2 30B A3BNVIDIA · poids ouvertsNon précisée17,9 %52,3
45Qwen3-4BAlibaba · 2 configurationsÉlevée17,5 %51,8
46Llama 3.1-70BMeta AI · poids ouvertsNon précisée17,3 %51,5
47Gemma 3 12BGoogle DeepMind · poids ouvertsNon précisée17,1 %51,3
48Qwen3-8BAlibaba · poids ouvertsSans17,1 %51,2
49Ministral 3 8BMistral AI · poids ouverts · 2 configurationsNon précisée16,9 %50,9
50Apertus v1.5 70BSwiss AI (EPFL, ETH Zurich) · poids ouvertsNon précisée16,8 %50,8
51Qwen3.5-4BAlibaba · poids ouvertsNon précisée15,7 %49,4
52Gemma 3 4BGoogle DeepMind · poids ouvertsNon précisée15,2 %48,7
53Gemma 4 E4B ITGoogle DeepMind · poids ouvertsNon précisée14,9 %48,2
54Qwen3-32BAlibaba · poids ouvertsSans14,7 %48,0
55gpt-oss-20bOpenAI · poids ouverts · 3 configurationsMoyenne13 %45,4
56Luciole 23B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée12,8 %44,9
57Gemma 4 E2B ITGoogle DeepMind · poids ouvertsNon précisée11,7 %43,2
58EuroLLM 9B InstructEuroLLM · poids ouvertsNon précisée11,6 %43,0
59Llama 3.1-8BMeta AI · poids ouverts · 2 configurationsNon précisée11,5 %42,7
60EuroLLM 9B Instruct (2512)EuroLLM · poids ouvertsNon précisée10,7 %41,3
61Ministral 3 3BMistral AI · poids ouverts · 2 configurationsNon précisée10,7 %41,3
62SmolLM3 3BHugging Face · poids ouvertsSans9,2 %38,2
63Qwen3.5-2BAlibaba · poids ouvertsNon précisée8,5 %36,6
64Llama 3.2 3BMeta AI · poids ouvertsNon précisée8,4 %36,3
64Qwen3.5-0.8BAlibaba · poids ouvertsNon précisée8,4 %36,3
66Luciole 8B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée7,6 %34,4
67Salamandra 7B InstructBarcelona Supercomputing Center · poids ouvertsNon précisée7,3 %33,5
68EXAONE 4.0 32BLG AI Research · poids ouvertsNon précisée7,2 %33,2
69Nemotron 3 Nano 4BNVIDIA · poids ouverts · 2 configurationsNon précisée6,3 %30,6
70Qwen3-1.7BAlibabaSans5,6 %28,3
71Gemma 3 1BGoogle DeepMind · poids ouvertsNon précisée4,5 %24,0
72Llama 3.2 1BMeta AI · poids ouverts · 2 configurationsNon précisée3,2 %17,5
73Gemma 3 270MGoogle DeepMind · poids ouverts · 2 configurationsNon précisée0,4 %-4,1
74Qwen3-0.6BAlibabaSans-2 %-4,1

En bref

Que mesure EuroEval, MultiLoKo (connaissances locales) ?
Des questions de culture propre aux pays francophones, posées en français. Sur QUELLE IA, il est rangé dans la tâche Français.
Comment EuroEval, MultiLoKo (connaissances locales) est-il noté ?
La part de réponses exactes. Un modèle qui obtient 50 % a un score IA d'environ 80.
Qui est en tête sur EuroEval, MultiLoKo (connaissances locales) ?
Gemini 3.7 Flash (Google DeepMind) est en tête d'EuroEval, MultiLoKo (connaissances locales) avec 89,1 %, dans l'édition du 9 novembre 2026. Suivent Gemini 3 Flash (87,4 %) et Gemini 3.6 Flash (86,5 %). 74 modèles y sont mesurés.
Quelles sont les limites d'EuroEval, MultiLoKo (connaissances locales) ?
Peu de modèles mesurés. Exige la réponse exacte, au mot près. Au 9 novembre 2026, le benchmark est actif.
Combien pèse EuroEval, MultiLoKo (connaissances locales) dans le score IA ?
EuroEval, MultiLoKo (connaissances locales) compte pour 0,62 % du score général, dans l'édition du 9 novembre 2026. Il porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
Qui maintient EuroEval, MultiLoKo (connaissances locales) ?
EuroEval. Sa page de référence : euroeval.com/leaderboards/Monolingual/french.

Les autres benchmarks de la tâche Français

Tous les benchmarks →Comment le score IA est calculé →