Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

SciencesFiche benchmark · Epoch AI pour l'évaluation ; questions de Rein et al. (université de New York, 2023) · epoch.ai

GPQA Diamond

Des questions à choix multiples de biologie, chimie et physique, écrites par des docteurs et trop dures pour un non-spécialiste.

SATURÉ

À quoi il sert

Sur QUELLE IA, GPQA Diamond sert à noter la tâche Sciences et savoir expert : c'est l'un de ses 5 benchmarks. Il départage surtout les modèles dont le score IA approche 60.

Comment c'est noté

Part de bonnes réponses sur 198 questions à quatre choix ; répondre au hasard donne 25 %.

Pour le calcul, ce score est ramené entre 0 et 1 : 25 %, le niveau du hasard, vaut 0 et 97 %, le plafond retenu, vaut 1.

Ce qu'il ne dit pas

Les meilleurs modèles atteignent 95 % quand des experts humains font environ 70 % : le test est saturé et ses questions circulent en ligne.

Comment lire le score

227 modèles mesurés · 334 mesures

En tête : Gemini 4 Argon, 96,4 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 61 % a un score IA d'environ 60. Le meilleur, Gemini 4 Argon, atteint 96,4 %. Le seuil de saturation (93,4 %) est franchi : au sommet, les meilleurs modèles ne se départagent plus.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
48 %
Score IA 76niveau de Claude Sonnet 4.5
84 %
Score IA 100niveau de Claude Opus 5.5
95 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

2 %du score général. GPQA Diamond porte 20 % de la tâche Sciences et savoir expert (10 % du score général), que se partagent 5 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.

En couleur, la tâche Sciences et savoir expert dans le score général. En noir, la part de GPQA Diamond.

Le classement du benchmark

Scores relevés sur epoch.ai · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1Gemini 4 ArgonGoogle DeepMindÉlevée96,4 %109,3
2GPT-6 AstraOpenAIMaximale95,8 %103,5
3Claude Sonnet 5.5AnthropicMaximale95,6 %101,9
4GPT-6.1 SolOpenAIMaximale95,4 %100,5
4Gemini 3.8 FlashGoogle DeepMindÉlevée95,4 %100,5
6Gemini 3.7 FlashGoogle DeepMindÉlevée94,8 %97,1
7GPT-5.4 ProOpenAIMaximale94,6 %96,0
8Gemini 3.1 ProGoogle DeepMind · 2 configurationsÉlevée94,4 %95,3
9GPT-6.1 TerraOpenAIMaximale94,3 %94,8
9GPT-6 SolOpenAIMaximale94,3 %94,8
227 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 227 →Replier le classement ↑
11Kimi K3.1 ProMoonshot · poids ouvertsMaximale94,2 %94,3
12Gemini 3.6 FlashGoogle DeepMind · 3 configurationsÉlevée94,1 %94,0
13GPT-5.5OpenAI · 3 configurationsMaximale94 %93,5
13Grok 4.6xAI · 2 configurationsÉlevée94 %93,5
15GPT-5.5 ProOpenAIMaximale93,9 %93,2
16Claude Opus 5Anthropic · 3 configurationsMaximale93,9 %93,1
17GPT-5.6 SolOpenAI · 3 configurationsMaximale93,5 %91,8
18Grok 4.5xAIÉlevée93,4 %91,6
19GPT-5.6 TerraOpenAI · 3 configurationsMaximale93,3 %91,2
20GPT-5.4OpenAI · 5 configurationsMaximale93,3 %91,1
21DeepSeek V4.1 Flash 1017DeepSeek · poids ouvertsMaximale93,2 %90,8
22Kimi K3Moonshot · poids ouverts · 3 configurationsMaximale93,1 %90,6
22Doubao Seed Evolving (Nov 2026)ByteDanceÉlevée93,1 %90,6
24Gemini 3.5 FlashGoogle DeepMind · 3 configurationsÉlevée92,8 %89,7
25Grok 4.7xAIMaximale92,7 %89,5
26Qwen 3.8 MaxAlibabaMaximale92,7 %89,4
27Gemini 3 ProGoogle DeepMindNon précisée92,6 %89,2
28Qwen3.8 Max (0902)AlibabaMaximale92,3 %88,4
29GLM-5.2Z.ai (Zhipu AI) · poids ouverts · 3 configurationsMaximale91,9 %87,3
30DeepSeek V4 Pro 0813DeepSeek · poids ouvertsMaximale91,7 %86,9
31GPT-5.6 LunaOpenAI · 3 configurationsMaximale91,6 %86,8
32GPT-5.2OpenAI · 5 configurationsMaximale91,4 %86,3
33Claude Opus 4.8Anthropic · 3 configurationsMaximale91 %85,6
33DeepSeek V4 Flash 0731DeepSeek · poids ouvertsMaximale91 %85,6
35GLM-5.3Z.ai (Zhipu AI) · poids ouvertsMaximale90,9 %85,4
35Qwen3.7-MaxAlibabaNon précisée90,9 %85,4
35DeepSeek-V4-ProDeepSeek · poids ouverts · 3 configurationsÉlevée90,9 %85,4
35MiniMax-M3MiniMax · poids ouverts · 2 configurationsNon précisée90,9 %85,4
39Kimi K2.6Moonshot · poids ouvertsNon précisée90,8 %85,1
40Claude Opus 5.5AnthropicMaximale90,6 %84,8
41Claude Sonnet 5Anthropic · 2 configurationsMaximale90,5 %84,6
41Claude Opus 4.6Anthropic · 3 configurationsBudget90,5 %84,6
43GPT-6 LunaOpenAIMaximale90,5 %84,5
44Claude Opus 4.7Anthropic · 2 configurationsMaximale90,2 %84,0
44GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouvertsMaximale90,2 %84,0
44Mistral Large 4Mistral AI · poids ouvertsÉlevée90,2 %84,0
47GLM-5.1Z.ai (Zhipu AI) · poids ouvertsNon précisée89,9 %83,5
48DeepSeek V4.1 FlashDeepSeek · poids ouvertsMaximale89,8 %83,4
49Muse SparkMeta AINon précisée89,8 %83,4
50Claude Haiku 5.5AnthropicMaximale89,6 %83,1
51Doubao Seed 2.1 TurboByteDanceÉlevée89,6 %83,0
52Gemini 3 FlashGoogle DeepMind · 2 configurationsÉlevée89,4 %82,7
53Grok 4.20xAINon précisée89,3 %82,6
53Doubao Seed 2.1 ProByteDanceÉlevée89,3 %82,6
55Grok 4.3 BetaxAIÉlevée88,8 %81,8
56Muse Spark OpenMeta AI · poids ouvertsMaximale88,6 %81,5
57Inkling-SmallThinking Machines · poids ouvertsMaximale88,5 %81,4
58Qwen 3.6 PlusAlibabaNon précisée88,4 %81,2
59InklingThinking Machines · poids ouvertsMaximale88,3 %81,0
60Doubao-Seed-2.0 ProByteDanceÉlevée88,2 %80,9
61Doubao Seed 2.0 Lite (Apr 2026)ByteDanceÉlevée88,1 %80,8
62Mistral Large 4 PreviewMistral AI · poids ouvertsÉlevée88,1 %80,7
63Kimi K2.7 CodeMoonshot · poids ouvertsNon précisée87,9 %80,5
63Qwen3.7-PlusAlibaba · 2 configurationsNon précisée87,9 %80,5
65GLM-5Z.ai (Zhipu AI) · poids ouvertsNon précisée87,8 %80,4
66GPT-5.1OpenAI · 3 configurationsÉlevée87,6 %80,1
67Kimi K2.5Moonshot · poids ouvertsNon précisée87,6 %80,1
68Claude Sonnet 4.6Anthropic · 4 configurationsBudget87,4 %79,8
68Qwen 3.6 Max (Preview)AlibabaNon précisée87,4 %79,8
70Grok 4xAINon précisée87 %79,3
71GPT-5.4 MiniOpenAI · 3 configurationsMaximale86,9 %79,2
72Qwen3.5 397B-A17BAlibaba · poids ouverts · 2 configurationsSans86,4 %78,5
73GPT-5OpenAI · 3 configurationsÉlevée86,2 %78,3
74Claude Opus 4.5Anthropic · 3 configurationsBudget86 %78,2
75Claude Fable 5Anthropic · 3 configurationsMaximale85,9 %78,0
75Qwen3.6 27BAlibaba · poids ouverts · 2 configurationsNon précisée85,9 %78,0
77Nemotron 3 UltraNVIDIA · poids ouvertsNon précisée85,4 %77,4
78Gemini 2.5 Pro (Jun 2025)Google DeepMind · 2 configurationsNon précisée85,3 %77,3
79Qwen 3.5 Plus (hosted 397B-A17B)AlibabaNon précisée84,8 %76,8
79Qwen 3.6 35B-A3BAlibaba · poids ouverts · 2 configurationsSans84,8 %76,8
81Kimi K2 ThinkingMoonshot · poids ouvertsNon précisée84,2 %76,2
82Gemini 2.5 Pro (Mar 2025)Google DeepMindNon précisée83,8 %75,8
83Qwen3.5-35B-A3BAlibaba · poids ouverts · 2 configurationsNon précisée83,5 %75,4
84DeepSeek-V3.2DeepSeek · poids ouverts · 2 configurationsNon précisée83,4 %75,4
85Gemini 3.5 Flash-LiteGoogle DeepMind · 3 configurationsÉlevée83,3 %75,3
85GLM-4.7Z.ai (Zhipu AI) · poids ouvertsNon précisée83,3 %75,3
85Qwen 3.6 FlashAlibabaNon précisée83,3 %75,3
88GPT-5.5 InstantOpenAINon précisée82,5 %74,5
89Claude Sonnet 4.5Anthropic · 4 configurationsBudget82,3 %74,3
89Qwen3.7 FlashAlibaba · 2 configurationsNon précisée82,3 %74,3
89Qwen 3.5 Flash (hosted 35B-A3B)AlibabaNon précisée82,3 %74,3
92o3OpenAI · 3 configurationsÉlevée81,8 %73,9
92Gemini 3.1 Flash-LiteGoogle DeepMind · 3 configurationsÉlevée81,8 %73,9
94Qwen3-235B-A22B-Thinking (Jul 2025)Alibaba · poids ouvertsNon précisée80,1 %72,3
95Claude 3.7 SonnetAnthropic · 4 configurationsBudget79,7 %72,1
96o4-miniOpenAI · 3 configurationsÉlevée79,6 %72,0
97Claude Sonnet 4Anthropic · 4 configurationsBudget79,2 %71,6
98Qwen3.5-9BAlibaba · poids ouverts · 2 configurationsNon précisée79 %71,4
99GPT-5.4 NanoOpenAI · 3 configurationsÉlevée78,5 %71,0
100Doubao-Seed-1.6ByteDance · poids ouvertsNon précisée77,6 %70,4
101Claude Opus 4.1Anthropic · 3 configurationsBudget77,3 %70,1
102o3-miniOpenAI · 3 configurationsÉlevée77 %69,9
103o1OpenAI · 3 configurationsÉlevée76,8 %69,7
104DeepSeek-R1 (May 2025)DeepSeek · poids ouvertsNon précisée76,3 %69,4
105Claude Opus 4Anthropic · 2 configurationsBudget76,3 %69,4
105Grok-3 minixAI · 2 configurationsFaible76,3 %69,4
107Gemma 4 31B ITGoogle DeepMind · poids ouvertsFaible75,8 %69,0
107gpt-oss-120bOpenAI · poids ouvertsÉlevée75,8 %69,0
107Grok 3xAINon précisée75,8 %69,0
110GPT-5 miniOpenAI · 3 configurationsÉlevée75 %68,5
111Gemma 4 26B A4BGoogle DeepMind · poids ouvertsFaible73,2 %67,2
112Qwen3-MaxAlibabaNon précisée72,6 %66,8
113DeepSeek-R1DeepSeek · poids ouvertsNon précisée71,7 %66,2
114seed-oss-36b-instructByteDance · poids ouvertsNon précisée71,5 %66,1
115Claude Haiku 4.5Anthropic · 2 configurationsBudget71,2 %65,9
116Qwen3-235B-A22BAlibaba · poids ouvertsNon précisée70,7 %65,6
117Qwen3-30B-A3B-Thinking (Jul 2025)Alibaba · poids ouvertsNon précisée70,1 %65,1
118GPT-5 nanoOpenAI · 4 configurationsÉlevée69,4 %64,7
119GPT-4.5OpenAINon précisée68,7 %64,3
120DeepSeek-V3 (Mar 2025)DeepSeek · poids ouvertsNon précisée67,6 %63,6
121Llama 4 MaverickMeta AI · poids ouvertsNon précisée67 %63,2
122GPT-4.1OpenAINon précisée66,9 %63,2
123Gemini 2.5 Pro (May 2025)Google DeepMindNon précisée66,7 %63,0
124GPT-4.1 miniOpenAINon précisée65,8 %62,5
125Qwen3-32BAlibaba · poids ouverts · 2 configurationsNon précisée65,7 %62,4
126Gemini 2.0 ProGoogle DeepMindNon précisée65,7 %62,4
127QWQ-PlusAlibabaNon précisée65,4 %62,2
128QwQ-32BAlibaba · poids ouvertsNon précisée65,3 %62,2
129DeepSeek-R1-Distill-Qwen-32BDeepSeek · poids ouvertsNon précisée64,1 %61,5
129Gemini 2.0 Flash (Feb 2025)Google DeepMindNon précisée64,1 %61,5
131Qwen3-14BAlibaba · poids ouverts · 2 configurationsNon précisée63,8 %61,2
132o1-miniOpenAI · 2 configurationsÉlevée62,4 %60,4
133Qwen3-30B-A3BAlibaba · poids ouverts · 2 configurationsNon précisée61,7 %60,0
134gpt-oss-20bOpenAI · poids ouverts · 3 configurationsMoyenne60,8 %59,4
135glm-4.7-flashZ.ai (Zhipu AI) · poids ouvertsNon précisée60,5 %59,3
136Mistral Medium 3Mistral AINon précisée59,5 %58,7
137Gemini 1.5 Pro (Sept 2024)Google DeepMindNon précisée57,2 %57,3
138Gemini 2.0 Flash Thinking (Jan 2025)Google DeepMindNon précisée57,1 %57,2
139Qwen3-8BAlibaba · poids ouverts · 2 configurationsNon précisée56,8 %57,0
140DeepSeek-V3DeepSeek · poids ouvertsNon précisée56,5 %56,9
141Qwen2.5-MaxAlibabaNon précisée56,1 %56,6
142Magistral Small 1.0Mistral AI · poids ouvertsNon précisée56,1 %56,6
142Phi-4Microsoft · poids ouvertsNon précisée56,1 %56,6
144DeepSeek-R1-Distill-Llama-70BDeepSeek · poids ouvertsNon précisée55,7 %56,4
145Qwen3-30B-A3B-Instruct (Jul 2025)Alibaba · poids ouvertsNon précisée55,6 %56,3
146Claude 3.5 Sonnet (October 2024)AnthropicNon précisée55,3 %56,1
147Claude 3.5 SonnetAnthropicNon précisée54 %55,3
148Grok-2 (Dec 2024)xAINon précisée53,8 %55,2
149Qwen3-4BAlibaba · 2 configurationsNon précisée52,3 %54,2
150Llama 4 ScoutMeta AI · poids ouvertsNon précisée51,8 %53,9
151Mistral Large 2 (Nov 2024)Mistral AI · poids ouvertsNon précisée51,3 %53,6
152Llama 3.1-405BMeta AI · poids ouvertsNon précisée50,9 %53,3
153o1-previewOpenAINon précisée50,3 %52,9
154GPT-4o (Aug 2024)OpenAINon précisée49,2 %52,2
155Qwen2.5-72BAlibaba · poids ouvertsNon précisée49,1 %52,2
156Mistral Small 3.2Mistral AI · poids ouvertsNon précisée49,1 %52,1
157Mistral Large 2 (Jul 2024)Mistral AI · poids ouvertsNon précisée49 %52,1
158GPT-4.1 nanoOpenAINon précisée48,9 %52,0
159GPT-4o (May 2024)OpenAINon précisée48,9 %52,0
160Qwen Plus (Jan 2025)AlibabaNon précisée48,1 %51,4
161GPT-4o (Nov 2024)OpenAINon précisée47,9 %51,3
162Gemma 3 27BGoogle DeepMind · poids ouvertsNon précisée47,7 %51,2
163Magistral Small 1.2Mistral AI · poids ouvertsNon précisée47,6 %51,1
164Mistral Small 3.1Mistral AI · poids ouverts · 2 configurationsNon précisée47,5 %51,0
165Llama 3.3 70BMeta AI · poids ouvertsNon précisée47,4 %51,0
166Gemini 1.5 Flash (Sep 2024)Google DeepMindNon précisée47,3 %50,9
167Mistral Small 3Mistral AI · poids ouverts · 2 configurationsNon précisée47,3 %50,9
168Claude 3 OpusAnthropicNon précisée47,2 %50,8
169GPT-4 Turbo (Apr 2024)OpenAINon précisée46,6 %50,4
170Tulu 3 (Tülu 3) 70BAllen Institute for AI · poids ouvertsNon précisée46,3 %50,2
171Qwen2.5-32BAlibaba · poids ouvertsNon précisée46,1 %50,0
172Gemini 1.5 Pro (May 2024)Google DeepMindNon précisée45,9 %49,9
173qwen3-4b-instruct-2507AlibabaNon précisée45,8 %49,8
174glm-4.7-flash_noneZ.ai (Zhipu AI)Sans45,1 %49,3
175DeepSeek-R1-Distill-Qwen-14BDeepSeekNon précisée44,7 %49,0
176Llama 3.1-70BMeta AI · poids ouvertsNon précisée44,2 %48,6
177WizardLM-2 8x22BMicrosoft · poids ouvertsNon précisée43,4 %48,0
178GPT-4 Turbo (Nov 2023)OpenAI · 2 configurationsNon précisée42,4 %47,1
179Qwen-TurboAlibabaNon précisée41,8 %46,7
180Llama 3.2 90BMeta AI · poids ouvertsNon précisée41 %46,0
181Qwen2-72BAlibaba · poids ouvertsNon précisée40,8 %45,8
182Claude 3 SonnetAnthropicNon précisée40,6 %45,6
183Llama 3-70BMeta AI · poids ouvertsNon précisée40,6 %45,6
184Gemini 1.5 Flash (May 2024)Google DeepMindNon précisée40,4 %45,4
185Gemma 3 12BGoogle DeepMind · poids ouvertsNon précisée39,5 %44,6
186Mistral LargeMistral AI · poids ouvertsNon précisée38,8 %43,9
187Claude 3.5 HaikuAnthropicNon précisée38,1 %43,3
188Qwen3-1.7BAlibaba · 2 configurationsNon précisée38 %43,2
189GPT-4o miniOpenAINon précisée37,7 %42,9
190Hermes 2 Theta Llama-3 70BNous Research · poids ouvertsNon précisée37,5 %42,6
191Gemma 2 27BGoogle DeepMind · poids ouvertsNon précisée36,5 %41,6
192Claude 3 HaikuAnthropicNon précisée36,3 %41,4
193GPT-4 (Mar 2023)OpenAINon précisée35,7 %40,7
194Qwen2.5-7BAlibaba · poids ouvertsNon précisée35,5 %40,4
195Claude 2AnthropicNon précisée34,7 %39,4
196Mixtral 8x22BMistral AI · poids ouvertsNon précisée34,1 %38,6
197Gemini 1.0 ProGoogle DeepMindNon précisée34 %38,4
198Eurus-2-7B-PRIMETsinghua University · poids ouvertsNon précisée33,9 %38,3
199DeepSeek-R1-Distill-Qwen-1.5BDeepSeekNon précisée33,6 %37,9
200Claude 2.1AnthropicNon précisée33 %37,0
200Gemini 1.5 Flash 8BGoogle DeepMindNon précisée33 %37,0
202DBRXDatabricks · poids ouvertsNon précisée32,9 %36,9
203Yi-1.5-34B01.AI · poids ouvertsNon précisée32 %35,4
204Qwen1.5-32BAlibaba · poids ouvertsNon précisée30,7 %33,1
205GPT-4 (Jun 2023)OpenAINon précisée30,7 %32,9
206Mixtral 8x7BMistral AI · poids ouverts · 2 configurationsNon précisée30,6 %32,8
207Mistral NeMoMistral AI · poids ouvertsNon précisée29,9 %31,2
208Qwen1.5-72BAlibaba · poids ouvertsNon précisée28,8 %28,3
209granite-4.0-microIBM · poids ouvertsNon précisée28,3 %26,6
210GPT-3.5 Turbo (Nov 2023)OpenAINon précisée28 %25,7
211phi-3-medium 14BMicrosoft · poids ouvertsNon précisée27,6 %23,9
212Gemma 2 9BGoogle DeepMind · poids ouvertsNon précisée27,5 %23,4
213GPT-3.5 Turbo (Jan 2024)OpenAINon précisée27,2 %22,0
214Ministral 8BMistral AI · poids ouvertsNon précisée27,1 %21,8
215Llama 3.1-8BMeta AI · poids ouvertsNon précisée27 %20,8
216Llama 2-70BMeta AI · poids ouvertsNon précisée26,3 %16,5
217Llama 3-8BMeta AI · poids ouvertsNon précisée26,1 %14,2
218Ministral 3BMistral AI · poids ouvertsNon précisée25,3 %9,8
219DeepSeek LLM 67BDeepSeek · poids ouvertsNon précisée24,6 %9,8
220granite-4.0-1bIBMNon précisée24 %9,8
221Llama 3.2 1BMeta AI · poids ouvertsNon précisée23,9 %9,8
222Gemma 3 4BGoogle DeepMind · poids ouvertsNon précisée23,2 %9,8
223Gemma 3 1BGoogle DeepMind · poids ouvertsNon précisée19,9 %9,8
224Mistral 7B v0.3Mistral AI · poids ouverts · 2 configurationsNon précisée15,2 %9,8
225Yi-34B01.AI · poids ouvertsNon précisée14,7 %9,8
226granite-4.0-350mIBMNon précisée11,2 %9,8
227deepseek-r1-0528-qwen3-8bDeepSeek · poids ouvertsNon précisée9,3 %9,8

En bref

Que mesure GPQA Diamond ?
Des questions à choix multiples de biologie, chimie et physique, écrites par des docteurs et trop dures pour un non-spécialiste. Sur QUELLE IA, il est rangé dans la tâche Sciences et savoir expert.
Comment GPQA Diamond est-il noté ?
Part de bonnes réponses sur 198 questions à quatre choix ; répondre au hasard donne 25 %. Un modèle qui obtient 61 % a un score IA d'environ 60.
Qui est en tête sur GPQA Diamond ?
Gemini 4 Argon (Google DeepMind) est en tête de GPQA Diamond avec 96,4 %, dans l'édition du 9 novembre 2026. Suivent GPT-6 Astra (95,8 %) et Claude Sonnet 5.5 (95,6 %). 227 modèles y sont mesurés.
Quelles sont les limites de GPQA Diamond ?
Les meilleurs modèles atteignent 95 % quand des experts humains font environ 70 % : le test est saturé et ses questions circulent en ligne. Au 9 novembre 2026, le benchmark est saturé.
Combien pèse GPQA Diamond dans le score IA ?
GPQA Diamond compte pour 2 % du score général, dans l'édition du 9 novembre 2026. Il porte 20 % de la tâche Sciences et savoir expert (10 % du score général), que se partagent 5 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
Qui maintient GPQA Diamond ?
Epoch AI pour l'évaluation ; questions de Rein et al. (université de New York, 2023). Sa page de référence : epoch.ai/benchmarks/gpqa-diamond.

Les autres benchmarks de la tâche Sciences et savoir expert

Tous les benchmarks →Comment le score IA est calculé →