À quoi il sert
Sur Quelle IA, FrontierSWE sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 96.
CodeFiche benchmark · Proximal · frontierswe.com
FrontierSWE
34 chantiers logiciels de très longue haleine : réécrire git en Zig, décoder la parole dans des signaux cérébraux, entraîner un modèle météo.
Comment c'est noté
Note moyenne sur cinq essais par tâche, avec un budget de 20 heures par essai, dans le harnais maison « proximus ».
Ce qu'il ne dit pas
34 tâches seulement et un coût élevé, jusqu'à 1 000 dollars en moyenne par tâche. Un seul harnais est utilisé, celui de l'éditeur du benchmark.
Qui le tient
Proximal.
frontierswe.com · tâche Code · 16 modèles mesurés
Comment lire le score
16 modèles mesurésSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : GPT-6 Astra, 65,5 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 96. Le meilleur, GPT-6 Astra, atteint 65,5 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 3 %
- Score IA 100niveau de Claude Opus 5.5
- 66 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. FrontierSWE porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de FrontierSWE.
Le classement du benchmark
Scores relevés sur frontierswe.com · édition duRangModèleRéflexionScore publiéSuggèreSource
16 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 16 →Replier le classement ↑
En bref
- Que mesure FrontierSWE ?
- 34 chantiers logiciels de très longue haleine : réécrire git en Zig, décoder la parole dans des signaux cérébraux, entraîner un modèle météo. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment FrontierSWE est-il noté ?
- Note moyenne sur cinq essais par tâche, avec un budget de 20 heures par essai, dans le harnais maison « proximus ». Un modèle qui obtient 50 % a un score IA d'environ 96.
- Qui est en tête sur FrontierSWE ?
- GPT-6 Astra (OpenAI) est en tête de FrontierSWE avec 65,5 %, dans l'édition du 28 septembre 2026. Suivent Claude Opus 5.5 (62,3 %) et Claude Sonnet 5.5 (61,9 %). 16 modèles y sont mesurés.
- Quelles sont les limites de FrontierSWE ?
- 34 tâches seulement et un coût élevé, jusqu'à 1 000 dollars en moyenne par tâche. Un seul harnais est utilisé, celui de l'éditeur du benchmark. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse FrontierSWE dans le score IA ?
- FrontierSWE compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient FrontierSWE ?
- Proximal. Sa page de référence : frontierswe.com.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- WeirdML (v2)129 modèles · 1,15 % du score
- SciCode120 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- FrontierCode37 modèles · 1,15 % du score
- SWE-bench Verified32 modèles · 1,15 % du score
- DeepSWE26 modèles · 1,15 % du score
- GSO26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ