À quoi il sert
Sur Quelle IA, ProofBench sert à noter la tâche Mathématiques : c'est l'un de ses 8 benchmarks. Il départage surtout les modèles dont le score IA approche 88.
MathsFiche benchmark · Vals AI · vals.ai
ProofBench
Démontrer des théorèmes de niveau licence avancée et master dans le langage formel Lean 4, avec une preuve vérifiée par la machine.
Comment c'est noté
Part de théorèmes dont la preuve est acceptée par Lean, sur 100 problèmes privés, avec 40 tours d'échange au plus.
Ce qu'il ne dit pas
Trois modèles atteignent 100 % : le test est saturé. Le fichier mêle des scores d'avant et d'après la correction d'août 2026, non comparables entre eux.
Qui le tient
Vals AI.
vals.ai/benchmarks/proof_bench · tâche Maths · 70 modèles mesurés
Comment lire le score
70 modèles mesurésZone saturée, au-delà de 95 % ↓
0 %50 %100 %
En tête : 3 modèles, 100 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 88. 3 modèles partagent la première place avec 100 %. Le seuil de saturation (95 %) est franchi : au sommet, les meilleurs modèles ne se départagent plus.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 5 %
- Score IA 100niveau de Claude Opus 5.5
- 96 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. ProofBench porte 13 % de la tâche Mathématiques (10 % du score général), que se partagent 8 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
En couleur, la tâche Mathématiques dans le score général. En noir, la part de ProofBench.
Le classement du benchmark
Scores relevés sur vals.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
70 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 70 →Replier le classement ↑
En bref
- Que mesure ProofBench ?
- Démontrer des théorèmes de niveau licence avancée et master dans le langage formel Lean 4, avec une preuve vérifiée par la machine. Sur Quelle IA, il est rangé dans la tâche Mathématiques.
- Comment ProofBench est-il noté ?
- Part de théorèmes dont la preuve est acceptée par Lean, sur 100 problèmes privés, avec 40 tours d'échange au plus. Un modèle qui obtient 50 % a un score IA d'environ 88.
- Qui est en tête sur ProofBench ?
- Claude Opus 5.5, Claude Sonnet 5.5 et Claude Fable 5.1 sont en tête de ProofBench avec 100 %, dans l'édition du 28 septembre 2026. Suivent GPT-6 Astra (99 %) et Claude Opus 5 (99 %). 70 modèles y sont mesurés.
- Quelles sont les limites de ProofBench ?
- Trois modèles atteignent 100 % : le test est saturé. Le fichier mêle des scores d'avant et d'après la correction d'août 2026, non comparables entre eux. Au 28 septembre 2026, le benchmark est saturé.
- Combien pèse ProofBench dans le score IA ?
- ProofBench compte pour 1,25 % du score général, dans l'édition du 28 septembre 2026. Il porte 13 % de la tâche Mathématiques (10 % du score général), que se partagent 8 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
- Qui maintient ProofBench ?
- Vals AI. Sa page de référence : vals.ai/benchmarks/proof_bench.
Les autres benchmarks de la tâche Mathématiques
- Arena, questions de maths269 modèles · 1,25 % du score
- OTIS Mock AIME 2024-2025190 modèles · 1,25 % du scoreSATURÉ
- FrontierMath, paliers 1 à 3 (v2)77 modèles · 1,25 % du score
- FrontierMath, paliers 1 à 3 (version 2025)70 modèles · 1,25 % du score
- FrontierMath, palier 4 (v2)59 modèles · 1,25 % du scoreSATURÉ
- FrontierMath, palier 4 (version 2025)55 modèles · 1,25 % du score
- FrontierMath Erdős5 modèles · 1,25 % du score
- MATH Level 594 modèles · hors scoreARCHIVÉ
- GSM8K82 modèles · hors scoreARCHIVÉ
- LiveBench, mathématiques48 modèles · hors scoreARCHIVÉ