Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

MathsFiche benchmark · Epoch AI, avec le site ErdősProblems.com de Thomas Bloom · epoch.ai

FrontierMath Erdős

68 conjectures de Paul Erdős que personne n'a résolues, à démontrer ou à réfuter par une preuve formelle en Lean.

À quoi il sert

Sur QUELLE IA, FrontierMath Erdős sert à noter la tâche Mathématiques : c'est l'un de ses 8 benchmarks.

Comment c'est noté

Part des 68 conjectures résolues, la preuve étant vérifiée par la machine ; budget de 300 dollars et 72 heures par problème.

Ce qu'il ne dit pas

Presque tous les scores sont à zéro : le test guette une percée et ne classe pas encore les modèles. Une conjecture résolue peut ensuite fuiter dans les données d'entraînement.

Comment lire le score

14 modèles mesurés

En tête : GPT-6.1 Sol, 4,4 %

Chaque trait est un modèle, placé à son meilleur score. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 3 %. Le meilleur, GPT-6.1 Sol, atteint 4,4 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
moins de 1 %
Score IA 76niveau de Claude Sonnet 4.5
moins de 1 %
Score IA 100niveau de Claude Opus 5.5
3 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

1,25 %du score général. FrontierMath Erdős porte 13 % de la tâche Mathématiques (10 % du score général), que se partagent 8 benchmarks.

En couleur, la tâche Mathématiques dans le score général. En noir, la part de FrontierMath Erdős.

Le classement du benchmark

Scores relevés sur epoch.ai · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1GPT-6.1 SolOpenAIMaximale4,4 %101,7
2GPT-6 AstraOpenAIMaximale2,9 %99,8
3Claude Opus 5.5AnthropicMaximale2,9 %99,8
4Claude Sonnet 5.5AnthropicMaximale2,9 %99,8
5Gemini 4 ArgonGoogle DeepMindÉlevée1,5 %96,7
5GPT-6 SolOpenAIMaximale1,5 %96,7
7Claude Fable 5.1AnthropicMaximale0 %95,0
7Claude Opus 5AnthropicMaximale0 %95,0
7Claude Fable 5AnthropicMaximale0 %95,0
7GPT-5.6 SolOpenAIMaximale0 %95,0
14 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 14 →Replier le classement ↑
7GPT-5.5OpenAIMaximale0 %95,0
7Gemini 3.8 FlashGoogle DeepMindÉlevée0 %95,0
7Kimi K3Moonshot · poids ouvertsMaximale0 %95,0
7Grok 4.7xAIMaximale0 %95,0

En bref

Que mesure FrontierMath Erdős ?
68 conjectures de Paul Erdős que personne n'a résolues, à démontrer ou à réfuter par une preuve formelle en Lean. Sur QUELLE IA, il est rangé dans la tâche Mathématiques.
Comment FrontierMath Erdős est-il noté ?
Part des 68 conjectures résolues, la preuve étant vérifiée par la machine ; budget de 300 dollars et 72 heures par problème. Le test reste très dur : d'après sa courbe d'étalonnage, même un modèle de score IA 100 n'y obtient qu'environ 3 %.
Qui est en tête sur FrontierMath Erdős ?
GPT-6.1 Sol (OpenAI) est en tête de FrontierMath Erdős avec 4,4 %, dans l'édition du 9 novembre 2026. Suivent GPT-6 Astra (2,9 %) et Claude Opus 5.5 (2,9 %). 14 modèles y sont mesurés.
Quelles sont les limites de FrontierMath Erdős ?
Presque tous les scores sont à zéro : le test guette une percée et ne classe pas encore les modèles. Une conjecture résolue peut ensuite fuiter dans les données d'entraînement. Au 9 novembre 2026, le benchmark est actif.
Combien pèse FrontierMath Erdős dans le score IA ?
FrontierMath Erdős compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 13 % de la tâche Mathématiques (10 % du score général), que se partagent 8 benchmarks.
Qui maintient FrontierMath Erdős ?
Epoch AI, avec le site ErdősProblems.com de Thomas Bloom. Sa page de référence : epoch.ai/benchmarks/frontiermath-erdos.

Les autres benchmarks de la tâche Mathématiques

Tous les benchmarks →Comment le score IA est calculé →