Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

MathsFiche benchmark · Epoch AI ; problèmes écrits par des élèves du programme OTIS · epoch.ai

OTIS Mock AIME 2024-2025

45 problèmes de concours de mathématiques, plus durs que MATH Level 5, dont la réponse est un entier entre 0 et 999.

SATURÉ

À quoi il sert

Sur QUELLE IA, OTIS Mock AIME 2024-2025 sert à noter la tâche Mathématiques : c'est l'un de ses 8 benchmarks. Il départage surtout les modèles dont le score IA approche 62.

Comment c'est noté

Part de réponses exactes sur les 45 problèmes, tirés de trois examens blancs.

Ce qu'il ne dit pas

Avec 45 problèmes, un seul pèse plus de deux points. Plusieurs modèles atteignent 100 % et les énoncés sont publics.

Comment lire le score

210 modèles mesurés · 314 mesures

En tête : 14 modèles, 100 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 62. 14 modèles partagent la première place avec 100 %. Le seuil de saturation (95 %) est franchi : au sommet, les meilleurs modèles ne se départagent plus.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
16 %
Score IA 76niveau de Claude Sonnet 4.5
89 %
Score IA 100niveau de Claude Opus 5.5
plus de 99 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

1,25 %du score général. OTIS Mock AIME 2024-2025 porte 13 % de la tâche Mathématiques (10 % du score général), que se partagent 8 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.

En couleur, la tâche Mathématiques dans le score général. En noir, la part d'OTIS Mock AIME 2024-2025.

Le classement du benchmark

Scores relevés sur epoch.ai · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1Claude Opus 5.5AnthropicMaximale100 %93,5
1GPT-6 AstraOpenAIMaximale100 %93,5
1GPT-6.1 TerraOpenAIMaximale100 %93,5
1GPT-6.1 SolOpenAIMaximale100 %93,5
1Gemini 4 ArgonGoogle DeepMindÉlevée100 %93,5
1Claude Fable 5.1AnthropicMaximale100 %93,5
1Claude Sonnet 5.5AnthropicMaximale100 %93,5
1GPT-5.5 ProOpenAIMaximale100 %93,5
1GPT-6 SolOpenAIMaximale100 %93,5
1Claude Fable 5Anthropic · 3 configurationsÉlevée100 %93,5
210 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 210 →Replier le classement ↑
1GPT-5.6 SolOpenAI · 3 configurationsMaximale100 %93,5
1Kimi K3.1 ProMoonshot · poids ouvertsMaximale100 %93,5
1GPT-5.5OpenAI · 3 configurationsMaximale100 %93,5
1Qwen3.8 Max (0902)AlibabaMaximale100 %93,5
15GPT-5.6 TerraOpenAI · 3 configurationsMaximale99,7 %93,5
16Muse WonderMeta AIMaximale99,4 %93,5
16DeepSeek V4.1 Flash 1017DeepSeek · poids ouvertsMaximale99,4 %93,5
16Qwen 3.8 MaxAlibabaMaximale99,4 %93,5
16Mistral Large 4Mistral AI · poids ouvertsÉlevée99,4 %93,5
20Muse Spark 1.3Meta AIMaximale99,2 %93,5
20Grok 4.6xAI · 2 configurationsMaximale99,2 %93,5
20Doubao Seed Evolving (Nov 2026)ByteDanceÉlevée99,2 %93,5
23Claude Opus 5Anthropic · 3 configurationsMaximale98,9 %92,8
23Claude Haiku 5.5Anthropic · 2 configurationsMaximale98,9 %92,8
23Gemini 3.8 FlashGoogle DeepMindÉlevée98,9 %92,8
23GPT-6 LunaOpenAIMaximale98,9 %92,8
27DeepSeek V4 Pro 0813DeepSeek · poids ouvertsMaximale98,6 %91,2
28Claude Opus 4.8Anthropic · 3 configurationsMaximale98,3 %90,0
28DeepSeek V4.1 FlashDeepSeek · poids ouvertsMaximale98,3 %90,0
28GPT-5.6 LunaOpenAI · 3 configurationsMaximale98,3 %90,0
28Mistral Large 4 PreviewMistral AI · poids ouvertsÉlevée98,3 %90,0
32Grok 4.7xAIMaximale98,1 %88,9
32Muse Spark OpenMeta AI · poids ouvertsMaximale98,1 %88,9
34Claude Opus 4.7Anthropic · 2 configurationsMaximale97,8 %88,1
35GPT-5.4OpenAI · 5 configurationsÉlevée97,8 %88,0
35Grok 4.5xAIÉlevée97,8 %88,0
37Gemini 3.7 FlashGoogle DeepMindÉlevée97,2 %86,4
37Kimi K3Moonshot · poids ouverts · 3 configurationsMaximale97,2 %86,4
39DeepSeek-V4-ProDeepSeek · poids ouverts · 3 configurationsMaximale96,7 %85,2
40GPT-5.2OpenAI · 5 configurationsÉlevée96,1 %84,1
40Kimi K2.6Moonshot · poids ouvertsNon précisée96,1 %84,1
40Doubao Seed 2.1 TurboByteDanceÉlevée96,1 %84,1
43Gemini 3.1 ProGoogle DeepMind · 2 configurationsNon précisée95,6 %83,2
44Gemini 3.5 FlashGoogle DeepMind · 3 configurationsÉlevée95,6 %83,1
44Qwen3.7-MaxAlibabaNon précisée95,6 %83,1
44Gemini 3 FlashGoogle DeepMind · 2 configurationsÉlevée95,6 %83,1
44Kimi K2.7 CodeMoonshot · poids ouvertsNon précisée95,6 %83,1
44Doubao Seed 2.1 ProByteDanceÉlevée95,6 %83,1
49Claude Sonnet 5Anthropic · 2 configurationsMaximale94,7 %81,9
50Claude Opus 4.6Anthropic · 3 configurationsBudget94,4 %81,5
50DeepSeek V4 Flash 0731DeepSeek · poids ouvertsMaximale94,4 %81,5
52Gemini 3.6 FlashGoogle DeepMind · 3 configurationsÉlevée94,2 %81,2
53GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouvertsMaximale93,9 %80,9
53Doubao-Seed-2.0 ProByteDanceÉlevée93,9 %80,9
55GLM-5.1Z.ai (Zhipu AI) · poids ouvertsNon précisée93,3 %80,2
55Qwen 3.6 PlusAlibabaNon précisée93,3 %80,2
55Qwen3.7-PlusAlibaba · 2 configurationsNon précisée93,3 %80,2
55Grok 4.3 BetaxAIÉlevée93,3 %80,2
59Grok 4.20xAINon précisée92,2 %79,1
60Kimi K2.5Moonshot · poids ouvertsNon précisée92,2 %79,1
61Gemini 3 ProGoogle DeepMindNon précisée91,4 %78,4
61GPT-5OpenAI · 3 configurationsÉlevée91,4 %78,4
63GLM-5.3Z.ai (Zhipu AI) · poids ouvertsMaximale91,1 %78,1
63Qwen 3.6 Max (Preview)AlibabaNon précisée91,1 %78,1
63Doubao Seed 2.0 Lite (Apr 2026)ByteDanceÉlevée91,1 %78,1
63Qwen3.6 27BAlibaba · poids ouverts · 2 configurationsNon précisée91,1 %78,1
67Inkling-SmallThinking Machines · poids ouvertsMaximale90 %77,2
68Muse SparkMeta AINon précisée88,9 %76,4
69GPT-5.4 MiniOpenAI · 3 configurationsMaximale88,9 %76,4
69InklingThinking Machines · poids ouvertsMaximale88,9 %76,4
69Qwen3.5 397B-A17BAlibaba · poids ouverts · 2 configurationsNon précisée88,9 %76,4
69gpt-oss-120bOpenAI · poids ouvertsÉlevée88,9 %76,4
73GPT-5.1OpenAI · 4 configurationsÉlevée88,6 %76,3
74DeepSeek-V3.2DeepSeek · poids ouverts · 2 configurationsNon précisée87,8 %75,7
75GPT-5.4 NanoOpenAI · 3 configurationsÉlevée87,8 %75,7
76Nemotron 3 UltraNVIDIA · poids ouvertsNon précisée86,7 %75,0
76GPT-5 miniOpenAI · 3 configurationsÉlevée86,7 %75,0
76Qwen 3.5 Plus (hosted 397B-A17B)AlibabaNon précisée86,7 %75,0
76Qwen 3.6 35B-A3BAlibaba · poids ouverts · 2 configurationsNon précisée86,7 %75,0
76Qwen3.7 FlashAlibaba · 2 configurationsNon précisée86,7 %75,0
76Qwen3-235B-A22B-Thinking (Jul 2025)Alibaba · poids ouvertsNon précisée86,7 %75,0
82GLM-5.2Z.ai (Zhipu AI) · poids ouverts · 3 configurationsMaximale86,4 %74,9
83Claude Opus 4.5Anthropic · 3 configurationsBudget86,1 %74,7
84Claude Sonnet 4.6Anthropic · 4 configurationsBudget85,8 %74,5
85Gemini 2.5 Pro (Jun 2025)Google DeepMindNon précisée84,7 %74,0
86o3OpenAI · 3 configurationsMoyenne84,4 %73,8
86Qwen 3.6 FlashAlibabaNon précisée84,4 %73,8
86Qwen 3.5 Flash (hosted 35B-A3B)AlibabaNon précisée84,4 %73,8
89Grok 4xAINon précisée84 %73,6
90GLM-4.7Z.ai (Zhipu AI) · poids ouvertsNon précisée83,3 %73,3
91Kimi K2 ThinkingMoonshot · poids ouvertsNon précisée83,1 %73,1
92Gemma 4 26B A4BGoogle DeepMind · poids ouvertsFaible82,2 %72,7
93o4-miniOpenAI · 3 configurationsÉlevée81,7 %72,5
94GPT-5 nanoOpenAI · 4 configurationsÉlevée81,1 %72,2
95GLM-5Z.ai (Zhipu AI) · poids ouvertsNon précisée80 %71,7
95Gemini 3.1 Flash-LiteGoogle DeepMind · 3 configurationsÉlevée80 %71,7
97Claude Sonnet 4.5Anthropic · 4 configurationsBudget77,8 %70,8
97Grok-3 minixAI · 2 configurationsÉlevée77,8 %70,8
99o3-miniOpenAI · 3 configurationsÉlevée76,9 %70,5
100Gemma 4 31B ITGoogle DeepMind · poids ouvertsFaible73,3 %69,2
100Qwen3-MaxAlibabaNon précisée73,3 %69,2
100o1OpenAI · 3 configurationsMoyenne73,3 %69,2
103Gemini 2.5 Flash (Apr 2025)Google DeepMindNon précisée73,1 %69,1
104MiniMax-M3MiniMax · poids ouverts · 2 configurationsNon précisée71,1 %68,4
104Gemini 3.5 Flash-LiteGoogle DeepMind · 3 configurationsÉlevée71,1 %68,4
104Claude Sonnet 4Anthropic · 4 configurationsBudget71,1 %68,4
107Gemini 2.5 Flash (May 2025)Google DeepMindNon précisée70,8 %68,4
108Qwen3-30B-A3B-Thinking (Jul 2025)Alibaba · poids ouvertsNon précisée70,3 %68,2
109Qwen3.5-35B-A3BAlibaba · poids ouverts · 2 configurationsSans70 %68,1
110Doubao-Seed-1.6ByteDance · poids ouvertsNon précisée69,4 %67,9
111Claude Opus 4.1Anthropic · 3 configurationsBudget68,9 %67,7
112GPT-5.5 InstantOpenAINon précisée68,1 %67,5
113seed-oss-36b-instructByteDance · poids ouvertsNon précisée67,5 %67,3
114Qwen3-32BAlibaba · poids ouverts · 2 configurationsNon précisée66,9 %67,1
115Claude Haiku 4.5Anthropic · 2 configurationsBudget66,7 %67,0
116DeepSeek-R1 (May 2025)DeepSeek · poids ouvertsNon précisée66,4 %67,0
116Qwen3-14BAlibaba · poids ouverts · 2 configurationsNon précisée66,4 %67,0
118gpt-oss-20bOpenAI · poids ouverts · 3 configurationsMoyenne65,3 %66,6
119Claude Opus 4Anthropic · 3 configurationsBudget64,4 %66,4
120Qwen3-30B-A3BAlibaba · poids ouverts · 2 configurationsNon précisée62,8 %65,9
121Qwen3-30B-A3B-Instruct (Jul 2025)Alibaba · poids ouvertsNon précisée62,2 %65,7
122Qwen3.5-9BAlibaba · poids ouverts · 2 configurationsSans61,7 %65,6
123QwQ-32BAlibaba · poids ouvertsNon précisée59,2 %64,9
124glm-4.7-flashZ.ai (Zhipu AI) · poids ouvertsNon précisée58,3 %64,6
125Claude 3.7 SonnetAnthropic · 4 configurationsBudget57,8 %64,5
125Gemini 2.0 Flash Thinking (Jan 2025)Google DeepMindNon précisée57,8 %64,5
127Qwen3-8BAlibaba · poids ouverts · 2 configurationsNon précisée56,1 %64,0
128Qwen3.5-4BAlibaba · poids ouvertsSans55,8 %63,9
129Grok 3xAINon précisée55,6 %63,9
129DeepSeek-R1-Distill-Qwen-32BDeepSeek · poids ouvertsNon précisée55,6 %63,9
131DeepSeek-R1DeepSeek · poids ouvertsNon précisée53,3 %63,2
132qwen3-4b-instruct-2507AlibabaNon précisée52,2 %62,9
133DeepSeek-R1-Distill-Llama-70BDeepSeek · poids ouvertsNon précisée51,4 %62,7
134DeepSeek-R1-Distill-Qwen-14BDeepSeekNon précisée50,6 %62,5
135o1-miniOpenAI · 2 configurationsÉlevée46,9 %61,5
136GPT-4.1 miniOpenAINon précisée44,7 %60,9
137deepseek-r1-0528-qwen3-8bDeepSeek · poids ouvertsNon précisée43,9 %60,7
138GPT-4.1OpenAINon précisée38,3 %59,1
139GPT-4.5OpenAINon précisée37,8 %59,0
139DeepSeek-V3 (Mar 2025)DeepSeek · poids ouvertsNon précisée37,8 %59,0
141Mistral Medium 3Mistral AINon précisée32,2 %57,3
142o1-previewOpenAINon précisée31,1 %56,9
142Gemini 2.0 Flash (Feb 2025)Google DeepMindNon précisée31,1 %56,9
144Mistral Small 3.2Mistral AI · poids ouvertsNon précisée30,3 %56,7
145Magistral Small 1.0Mistral AI · poids ouvertsNon précisée30 %56,6
146GPT-4.1 nanoOpenAINon précisée28,9 %56,2
147Magistral Small 1.2Mistral AI · poids ouvertsNon précisée28,1 %55,9
148glm-4.7-flash_noneZ.ai (Zhipu AI)Sans25 %54,9
149Gemini 1.5 Pro (Sept 2024)Google DeepMindNon précisée23,1 %54,2
150Gemma 3 27BGoogle DeepMind · poids ouvertsNon précisée22,5 %53,9
151DeepSeek-R1-Distill-Qwen-1.5BDeepSeekNon précisée21,4 %53,5
152Llama 4 MaverickMeta AI · poids ouvertsNon précisée20,6 %53,2
153Qwen Plus (Jan 2025)AlibabaNon précisée17,8 %51,9
154Gemma 3 12BGoogle DeepMind · poids ouvertsNon précisée16,7 %51,4
155Gemini 1.5 Flash (Sep 2024)Google DeepMindNon précisée16,3 %51,2
156Qwen2.5-MaxAlibabaNon précisée16,1 %51,1
157DeepSeek-V3DeepSeek · poids ouvertsNon précisée15,8 %51,0
158Phi-4Microsoft · poids ouvertsNon précisée13,8 %49,9
159Grok-2 (Dec 2024)xAINon précisée11,5 %48,5
160Llama 3.1-405BMeta AI · poids ouvertsNon précisée9,7 %47,2
161Claude 3.5 Sonnet (October 2024)AnthropicNon précisée8,5 %46,1
161Mistral Large 2 (Jul 2024)Mistral AI · poids ouvertsNon précisée8,5 %46,1
163Qwen2.5-72BAlibaba · poids ouvertsNon précisée8,1 %45,8
163Qwen3-1.7BAlibabaSans8,1 %45,8
165Llama 4 ScoutMeta AI · poids ouvertsNon précisée7,8 %45,5
165Mistral Large 2 (Nov 2024)Mistral AI · poids ouvertsNon précisée7,8 %45,5
167Gemma 3 4BGoogle DeepMind · poids ouvertsNon précisée7,5 %45,2
168Qwen2.5-32BAlibaba · poids ouvertsNon précisée7,4 %45,1
169GPT-4o miniOpenAINon précisée6,9 %44,7
170Gemini 1.5 Pro (May 2024)Google DeepMindNon précisée6,8 %44,5
171GPT-4 Turbo (Apr 2024)OpenAINon précisée6,7 %44,4
171Mistral Small 3Mistral AI · poids ouverts · 2 configurationsNon précisée6,7 %44,4
173Claude 3.5 SonnetAnthropicNon précisée6,5 %44,2
174GPT-4o (Aug 2024)OpenAINon précisée6,4 %44,0
175GPT-4o (May 2024)OpenAINon précisée6,3 %43,9
175GPT-4o (Nov 2024)OpenAINon précisée6,3 %43,9
177Qwen-TurboAlibabaNon précisée6,1 %43,7
178Mistral Small 3.1Mistral AI · poids ouverts · 2 configurationsNon précisée5,8 %43,4
179Llama 3.3 70BMeta AI · poids ouvertsNon précisée5,1 %42,5
180Claude 3 OpusAnthropicNon précisée4,7 %41,8
181Gemini 1.5 Flash 8BGoogle DeepMindNon précisée4,6 %41,6
182Tulu 3 (Tülu 3) 70BAllen Institute for AI · poids ouvertsNon précisée4,4 %41,4
183Claude 3.5 HaikuAnthropicNon précisée4,3 %41,2
183Llama 3-70BMeta AI · poids ouvertsNon précisée4,3 %41,2
185Gemini 1.5 Flash (May 2024)Google DeepMindNon précisée3,9 %40,4
186Llama 3.1-70BMeta AI · poids ouvertsNon précisée3,6 %39,9
187granite-4.0-microIBM · poids ouvertsNon précisée2,8 %38,0
188Llama 3.2 90BMeta AI · poids ouvertsNon précisée2,6 %37,6
189Claude 3 SonnetAnthropicNon précisée2,5 %37,2
189Hermes 2 Theta Llama-3 70BNous Research · poids ouvertsNon précisée2,5 %37,2
189Claude 2AnthropicNon précisée2,5 %37,2
189Qwen2.5-7BAlibaba · poids ouvertsNon précisée2,5 %37,2
193GPT-3.5 Turbo (Jan 2024)OpenAINon précisée2,2 %36,4
194Mistral LargeMistral AI · poids ouvertsNon précisée1,9 %35,4
194Claude 2.1AnthropicNon précisée1,9 %35,4
194Llama 3-8BMeta AI · poids ouvertsNon précisée1,9 %35,4
197Claude 3 HaikuAnthropicNon précisée1,8 %34,9
198Llama 3.1-8BMeta AI · poids ouvertsNon précisée1,7 %34,3
199Gemma 2 27BGoogle DeepMind · poids ouvertsNon précisée1,4 %33,0
200GPT-4 (Jun 2023)OpenAINon précisée1,1 %31,3
200Gemini 1.0 ProGoogle DeepMindNon précisée1,1 %31,3
200Gemma 3 1BGoogle DeepMind · poids ouvertsNon précisée1,1 %31,3
203granite-4.0-1bIBMNon précisée0,8 %31,2
203DeepSeek LLM 67BDeepSeek · poids ouvertsNon précisée0,8 %31,2
205GPT-4 (Mar 2023)OpenAINon précisée0,6 %31,2
205Gemma 2 9BGoogle DeepMind · poids ouvertsNon précisée0,6 %31,2
205Llama 3.2 1BMeta AI · poids ouvertsNon précisée0,6 %31,2
208granite-4.0-350mIBMNon précisée0,3 %31,2
208Mistral 7B v0.3Mistral AI · poids ouvertsNon précisée0,3 %31,2
210Llama 2-70BMeta AI · poids ouvertsNon précisée0 %31,2

En bref

Que mesure OTIS Mock AIME 2024-2025 ?
45 problèmes de concours de mathématiques, plus durs que MATH Level 5, dont la réponse est un entier entre 0 et 999. Sur QUELLE IA, il est rangé dans la tâche Mathématiques.
Comment OTIS Mock AIME 2024-2025 est-il noté ?
Part de réponses exactes sur les 45 problèmes, tirés de trois examens blancs. Un modèle qui obtient 50 % a un score IA d'environ 62.
Qui est en tête sur OTIS Mock AIME 2024-2025 ?
Claude Opus 5.5, GPT-6 Astra, GPT-6.1 Terra et 11 autres sont en tête d'OTIS Mock AIME 2024-2025 avec 100 %, dans l'édition du 9 novembre 2026. Suivent GPT-5.6 Terra (99,7 %) et Muse Wonder (99,4 %). 210 modèles y sont mesurés.
Quelles sont les limites d'OTIS Mock AIME 2024-2025 ?
Avec 45 problèmes, un seul pèse plus de deux points. Plusieurs modèles atteignent 100 % et les énoncés sont publics. Au 9 novembre 2026, le benchmark est saturé.
Combien pèse OTIS Mock AIME 2024-2025 dans le score IA ?
OTIS Mock AIME 2024-2025 compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 13 % de la tâche Mathématiques (10 % du score général), que se partagent 8 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
Qui maintient OTIS Mock AIME 2024-2025 ?
Epoch AI ; problèmes écrits par des élèves du programme OTIS. Sa page de référence : epoch.ai/benchmarks/otis-mock-aime-2024-2025.

Les autres benchmarks de la tâche Mathématiques

Tous les benchmarks →Comment le score IA est calculé →