À quoi il sert
Sur Quelle IA, SWE-bench Verified sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 62.
Comment c'est noté
Part des 484 tickets résolus, c'est-à-dire dont les tests passent, dans le harnais d'Epoch (terminal et éditeur de fichiers).
Ce qu'il ne dit pas
Les dépôts sont publics et anciens, donc en partie mémorisés. Epoch estime que 5 à 10 % des tickets sont ambigus, et le harnais d'un éditeur peut donner d'autres chiffres.
Qui le tient
Epoch AI pour l'évaluation ; sélection validée par OpenAI à partir de SWE-bench.
epoch.ai/benchmarks/swe-bench-verified · tâche Code · 32 modèles mesurés
Comment lire le score
32 modèles mesurés · 35 mesuresSeuil de saturation : 95 % ↓
0 %50 %Claude Opus 4.7 : 83,5 %100 %
En tête : Claude Opus 4.7, 83,5 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 62. Le meilleur, Claude Opus 4.7, atteint 83,5 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 36 %
- Score IA 76niveau de Claude Sonnet 4.5
- 68 %
- Score IA 100niveau de Claude Opus 5.5
- 88 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. SWE-bench Verified porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de SWE-bench Verified.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
32 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 32 →Replier le classement ↑
En bref
- Que mesure SWE-bench Verified ?
- Corriger de vrais bugs signalés sur GitHub dans des projets Python connus, puis faire passer les tests du projet. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment SWE-bench Verified est-il noté ?
- Part des 484 tickets résolus, c'est-à-dire dont les tests passent, dans le harnais d'Epoch (terminal et éditeur de fichiers). Un modèle qui obtient 50 % a un score IA d'environ 62.
- Qui est en tête sur SWE-bench Verified ?
- Claude Opus 4.7 (Anthropic) est en tête de SWE-bench Verified avec 83,5 %, dans l'édition du 28 septembre 2026. Suivent GPT-5.5 (80,6 %) et Gemini 3.5 Flash (79,3 %). 32 modèles y sont mesurés.
- Quelles sont les limites de SWE-bench Verified ?
- Les dépôts sont publics et anciens, donc en partie mémorisés. Epoch estime que 5 à 10 % des tickets sont ambigus, et le harnais d'un éditeur peut donner d'autres chiffres. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse SWE-bench Verified dans le score IA ?
- SWE-bench Verified compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient SWE-bench Verified ?
- Epoch AI pour l'évaluation ; sélection validée par OpenAI à partir de SWE-bench. Sa page de référence : epoch.ai/benchmarks/swe-bench-verified.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- WeirdML (v2)129 modèles · 1,15 % du score
- SciCode120 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- FrontierCode37 modèles · 1,15 % du score
- DeepSWE26 modèles · 1,15 % du score
- GSO26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- FrontierSWE16 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ