À quoi il sert
Sur QUELLE IA, DeepSWE sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 87.
CodeFiche benchmark · Datacurve · deepswe.datacurve.ai
DeepSWE
113 tâches de développement longues et inédites, dans 91 dépôts open source actifs et cinq langages.
Comment c'est noté
Part d'essais réussis selon un vérificateur écrit à la main, sur quatre passages avec le harnais mini-SWE-agent.
Ce qu'il ne dit pas
Epoch le classe « défectueux » : au moins 23 tâches sur 113 échouent à cause du vérificateur lui-même, ce qui pénalise des solutions correctes.
Qui le tient
Datacurve.
deepswe.datacurve.ai · tâche Code · 26 modèles mesurés
Comment lire le score
26 modèles mesurés · 69 mesuresSeuil de saturation : 95 % ↓
0 %50 %GPT-6 Astra : 74,1 %100 %
En tête : GPT-6 Astra, 74,1 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 87. Le meilleur, GPT-6 Astra, atteint 74,1 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 20 %
- Score IA 100niveau de Claude Opus 5.5
- 87 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. DeepSWE porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de DeepSWE.
Le classement du benchmark
Scores relevés sur deepswe.datacurve.ai · édition du26 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 26 →Replier le classement ↑
Mesuré avec quels outils
Chaque mesure de ce benchmark est faite avec un outil qui pilote le modèle : mini-SWE-agent (26 mesures, outil de banc d'essai).
En bref
- Que mesure DeepSWE ?
- 113 tâches de développement longues et inédites, dans 91 dépôts open source actifs et cinq langages. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment DeepSWE est-il noté ?
- Part d'essais réussis selon un vérificateur écrit à la main, sur quatre passages avec le harnais mini-SWE-agent. Un modèle qui obtient 50 % a un score IA d'environ 87.
- Qui est en tête sur DeepSWE ?
- GPT-6 Astra (OpenAI) est en tête de DeepSWE avec 74,1 %, dans l'édition du 9 novembre 2026. Suivent Gemini 3.8 Flash (73,8 %) et Claude Opus 5 (73,6 %). 26 modèles y sont mesurés.
- Quelles sont les limites de DeepSWE ?
- Epoch le classe « défectueux » : au moins 23 tâches sur 113 échouent à cause du vérificateur lui-même, ce qui pénalise des solutions correctes. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse DeepSWE dans le score IA ?
- DeepSWE compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient DeepSWE ?
- Datacurve. Sa page de référence : deepswe.datacurve.ai.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- SciCode136 modèles · 1,25 % du score
- WeirdML (v2)130 modèles · 1,25 % du score
- FrontierCode46 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- GSO30 modèles · 1,25 % du score
- WeirdML v325 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- FrontierSWE21 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ