Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

FrançaisFiche benchmark · EuroEval · euroeval.com

EuroEval, OrangeSum (résumé)

Le modèle résume un article de presse en français.

À quoi il sert

Sur QUELLE IA, EuroEval, OrangeSum (résumé) sert à noter la tâche Français : c'est l'un de ses 10 benchmarks.

Comment c'est noté

La proximité entre son résumé et un résumé de référence, mesurée automatiquement.

Ce qu'il ne dit pas

Un bon résumé différent de la référence est mal noté. Les écarts entre modèles sont faibles.

Comment lire le score

82 modèles mesurés · 106 mesures

En tête : GLM-5.3-Flash, 40,9 %

Chaque trait est un modèle, placé à son meilleur score. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 39 %. Le meilleur, GLM-5.3-Flash, atteint 40,9 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
37 %
Score IA 76niveau de Claude Sonnet 4.5
38 %
Score IA 100niveau de Claude Opus 5.5
39 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

0,62 %du score général. EuroEval, OrangeSum (résumé) porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.

En couleur, la tâche Français dans le score général. En noir, la part d'EuroEval, OrangeSum (résumé).

Le classement du benchmark

Scores relevés sur euroeval.com · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée40,9 %149,5
2Gemini 3 ProGoogle DeepMindNon précisée39,5 %116,4
3Claude Sonnet 4.5Anthropic · 2 configurationsSans39,5 %115,7
4Gemini 3.7 FlashGoogle DeepMindNon précisée39,2 %108,1
5Apertus v1.5 70BSwiss AI (EPFL, ETH Zurich) · poids ouvertsNon précisée39,1 %106,4
6Gemma 4 31B ITGoogle DeepMind · poids ouverts · 2 configurationsNon précisée39 %103,1
7Gemma 4 26B A4BGoogle DeepMind · poids ouverts · 2 configurationsNon précisée38,9 %101,1
8GPT-4.1OpenAINon précisée38,9 %99,8
9Gemini 3.5 Flash-LiteGoogle DeepMindNon précisée38,8 %98,8
10Gemma 4 12B ITGoogle DeepMind · poids ouvertsNon précisée38,7 %94,8
82 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 82 →Replier le classement ↑
11Gemini 3.1 Flash-LiteGoogle DeepMindNon précisée38,6 %93,8
12Gemini 3 FlashGoogle DeepMind · 2 configurationsSans38,6 %93,5
12Gemini 2.5 Flash-Lite (Jun 2025)Google DeepMind · 2 configurationsSans38,6 %93,5
12EuroLLM 9B Instruct (2512)EuroLLM · poids ouvertsNon précisée38,6 %93,5
15Mistral Small 3.1Mistral AI · poids ouvertsNon précisée38,6 %91,8
16EuroLLM 9B InstructEuroLLM · poids ouvertsNon précisée38,5 %89,2
17Llama 3.3 70BMeta AI · poids ouvertsNon précisée38,4 %87,7
18Claude Haiku 4.5AnthropicNon précisée38,4 %87,2
18Luciole 23B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée38,4 %87,2
20Qwen 3.8 27BAlibaba · poids ouvertsNon précisée38,3 %85,4
21Grok 4.1 FastxAIÉlevée38,2 %83,7
22Gemini 3.6 FlashGoogle DeepMindNon précisée38,2 %83,4
23Gemma 4 E4B ITGoogle DeepMind · poids ouvertsNon précisée38,2 %82,6
24GPT-6 SolOpenAINon précisée38 %78,1
25GPT-5.4 MiniOpenAI · 4 configurationsSans38 %77,6
25Qwen3.6 27BAlibaba · poids ouvertsNon précisée38 %77,6
27Ministral 3 14BMistral AI · poids ouverts · 2 configurationsNon précisée38 %77,3
27Qwen2.5-72BAlibaba · poids ouvertsNon précisée38 %77,3
29Qwen3-32BAlibaba · poids ouvertsSans38 %76,5
29EXAONE 4.0 32BLG AI Research · poids ouvertsNon précisée38 %76,5
31Llama 3.1-8BMeta AI · poids ouverts · 2 configurationsNon précisée37,9 %76,0
32Gemma 3 27BGoogle DeepMind · poids ouvertsNon précisée37,9 %74,8
32Luciole 8B Instruct 1.1OpenLLM-France · poids ouvertsNon précisée37,9 %74,8
34Qwen3-14BAlibaba · poids ouvertsSans37,9 %74,3
34Gemma 3 12BGoogle DeepMind · poids ouvertsNon précisée37,9 %74,3
36Mistral Small 3.2Mistral AI · poids ouvertsNon précisée37,9 %74,0
36Gemma 4 E2B ITGoogle DeepMind · poids ouvertsNon précisée37,9 %74,0
38Qwen3.5-2BAlibaba · poids ouvertsNon précisée37,8 %73,8
39SmolLM3 3BHugging Face · poids ouvertsSans37,8 %72,5
40granite-4.0-microIBM · poids ouvertsNon précisée37,8 %72,0
41Claude Sonnet 4.6AnthropicNon précisée37,8 %71,7
42GPT-6.1 SolOpenAINon précisée37,8 %71,5
43GPT-5 miniOpenAINon précisée37,5 %65,6
44Qwen3-8BAlibaba · poids ouvertsSans37,5 %65,3
45Granite 4.0 H MicroIBM · poids ouvertsNon précisée37,5 %64,8
46Gemma 3n E4BGoogle DeepMind · poids ouvertsNon précisée37,4 %62,5
47GPT-5.6 TerraOpenAINon précisée37,4 %62,3
47Qwen3.5-35B-A3BAlibaba · poids ouvertsNon précisée37,4 %62,3
49Qwen3-4BAlibaba · 2 configurationsSans37,4 %62,0
50GPT-5.6 LunaOpenAINon précisée37,4 %61,3
51GPT-5.6 SolOpenAINon précisée37,3 %60,0
52GPT-6 AstraOpenAINon précisée37,3 %59,5
53Ministral 3 8BMistral AI · poids ouverts · 2 configurationsNon précisée37,2 %57,4
54GPT-5.4OpenAISans37,1 %55,1
55Llama 3.2 3BMeta AI · poids ouvertsNon précisée37,1 %53,8
56Qwen3.5-9BAlibaba · poids ouvertsNon précisée37 %53,3
57Gemma 3 4BGoogle DeepMind · poids ouvertsNon précisée36,9 %49,5
58GPT-5.2OpenAINon précisée36,8 %46,4
59GPT-6 LunaOpenAINon précisée36,8 %45,9
60Qwen3.5-0.8BAlibaba · poids ouvertsNon précisée36,5 %40,2
61Qwen3-1.7BAlibabaSans36,5 %39,4
62Voxtral SmallMistral AI · poids ouvertsNon précisée36,4 %37,9
63glm-4.7-flashZ.ai (Zhipu AI) · poids ouverts · 2 configurationsNon précisée36,3 %35,3
64OLMo 3.1 32B InstructAllen Institute for AI · poids ouvertsNon précisée36,2 %32,2
65EuroLLM 22B InstructEuroLLM · poids ouvertsNon précisée36 %26,5
66GPT-5.4 NanoOpenAI · 4 configurationsSans35,7 %18,9
67Qwen3.5-4BAlibaba · poids ouvertsNon précisée35,7 %17,6
68Ministral 3 3BMistral AI · poids ouverts · 2 configurationsÉlevée35,1 %3,5
69GPT-5 nanoOpenAINon précisée35 %0,8
70Qwen3-0.6BAlibabaSans34,8 %-3,9
71Nemotron 3 Nano 30BNVIDIA · poids ouverts · 2 configurationsNon précisée34,7 %-8,4
72gpt-oss-20bOpenAI · poids ouverts · 3 configurationsFaible34,6 %-10,5
73gpt-oss-120bOpenAI · poids ouvertsNon précisée34,6 %-11,3
74OLMo 3 7B InstructAllen Institute for AI · poids ouvertsNon précisée34,5 %-11,8
75Nemotron 3 Nano 4BNVIDIA · poids ouverts · 2 configurationsNon précisée34,3 %-18,2
76Nemotron Cascade 2 30B A3BNVIDIA · poids ouvertsNon précisée33,6 %-37,7
77Gemma 3 270MGoogle DeepMind · poids ouverts · 2 configurationsNon précisée32,3 %-72,6
78OLMo 3.1 32B ThinkAllen Institute for AI · poids ouvertsNon précisée32,2 %-74,6
79Llama 3.2 1BMeta AI · poids ouverts · 2 configurationsNon précisée31,4 %-95,8
80Gemma 3 1BGoogle DeepMind · poids ouvertsNon précisée31 %-109,2
81Llama 3.1-70BMeta AI · poids ouvertsNon précisée30,6 %-118,2
82Salamandra 7B InstructBarcelona Supercomputing Center · poids ouvertsNon précisée28,8 %-169,7

En bref

Que mesure EuroEval, OrangeSum (résumé) ?
Le modèle résume un article de presse en français. Sur QUELLE IA, il est rangé dans la tâche Français.
Comment EuroEval, OrangeSum (résumé) est-il noté ?
La proximité entre son résumé et un résumé de référence, mesurée automatiquement. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 39 %.
Qui est en tête sur EuroEval, OrangeSum (résumé) ?
GLM-5.3-Flash (Z.ai (Zhipu AI)) est en tête d'EuroEval, OrangeSum (résumé) avec 40,9 %, dans l'édition du 9 novembre 2026. Suivent Gemini 3 Pro (39,5 %) et Claude Sonnet 4.5 (39,5 %). 82 modèles y sont mesurés.
Quelles sont les limites d'EuroEval, OrangeSum (résumé) ?
Un bon résumé différent de la référence est mal noté. Les écarts entre modèles sont faibles. Au 9 novembre 2026, le benchmark est actif.
Combien pèse EuroEval, OrangeSum (résumé) dans le score IA ?
EuroEval, OrangeSum (résumé) compte pour 0,62 % du score général, dans l'édition du 9 novembre 2026. Il porte 6 % de la tâche Français (10 % du score général), que se partagent 10 benchmarks.
Qui maintient EuroEval, OrangeSum (résumé) ?
EuroEval. Sa page de référence : euroeval.com/leaderboards/Monolingual/french.

Les autres benchmarks de la tâche Français

Tous les benchmarks →Comment le score IA est calculé →