À quoi il sert
Sur Quelle IA, DeepSWE sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 87.
CodeFiche benchmark · Datacurve · deepswe.datacurve.ai
DeepSWE
113 tâches de développement longues et inédites, dans 91 dépôts open source actifs et cinq langages.
Comment c'est noté
Part d'essais réussis selon un vérificateur écrit à la main, sur quatre passages avec le harnais mini-SWE-agent.
Ce qu'il ne dit pas
Epoch le classe « défectueux » : au moins 23 tâches sur 113 échouent à cause du vérificateur lui-même, ce qui pénalise des solutions correctes.
Qui le tient
Datacurve.
deepswe.datacurve.ai · tâche Code · 26 modèles mesurés
Comment lire le score
26 modèles mesurés · 69 mesuresSeuil de saturation : 95 % ↓
0 %50 %GPT-6 Astra : 74,1 %100 %
En tête : GPT-6 Astra, 74,1 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 87. Le meilleur, GPT-6 Astra, atteint 74,1 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 21 %
- Score IA 100niveau de Claude Opus 5.5
- 85 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. DeepSWE porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de DeepSWE.
Le classement du benchmark
Scores relevés sur deepswe.datacurve.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
26 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 26 →Replier le classement ↑
En bref
- Que mesure DeepSWE ?
- 113 tâches de développement longues et inédites, dans 91 dépôts open source actifs et cinq langages. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment DeepSWE est-il noté ?
- Part d'essais réussis selon un vérificateur écrit à la main, sur quatre passages avec le harnais mini-SWE-agent. Un modèle qui obtient 50 % a un score IA d'environ 87.
- Qui est en tête sur DeepSWE ?
- GPT-6 Astra (OpenAI) est en tête de DeepSWE avec 74,1 %, dans l'édition du 28 septembre 2026. Suivent Gemini 3.8 Flash (73,8 %) et Claude Opus 5 (73,6 %). 26 modèles y sont mesurés.
- Quelles sont les limites de DeepSWE ?
- Epoch le classe « défectueux » : au moins 23 tâches sur 113 échouent à cause du vérificateur lui-même, ce qui pénalise des solutions correctes. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse DeepSWE dans le score IA ?
- DeepSWE compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient DeepSWE ?
- Datacurve. Sa page de référence : deepswe.datacurve.ai.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- WeirdML (v2)129 modèles · 1,15 % du score
- SciCode120 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- FrontierCode37 modèles · 1,15 % du score
- SWE-bench Verified32 modèles · 1,15 % du score
- GSO26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- FrontierSWE16 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ