À quoi il sert
Sur QUELLE IA, FrontierSWE sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 96.
CodeFiche benchmark · Proximal · frontierswe.com
FrontierSWE
34 chantiers logiciels de très longue haleine : réécrire git en Zig, décoder la parole dans des signaux cérébraux, entraîner un modèle météo.
Comment c'est noté
Note moyenne sur cinq essais par tâche, avec un budget de 20 heures par essai, dans le harnais maison « proximus ».
Ce qu'il ne dit pas
34 tâches seulement et un coût élevé, jusqu'à 1 000 dollars en moyenne par tâche. Un seul harnais est utilisé, celui de l'éditeur du benchmark.
Qui le tient
Proximal.
frontierswe.com · tâche Code · 21 modèles mesurés
Comment lire le score
21 modèles mesurésSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : GPT-6 Astra, 65,5 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 96. Le meilleur, GPT-6 Astra, atteint 65,5 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 4 %
- Score IA 100niveau de Claude Opus 5.5
- 66 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. FrontierSWE porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de FrontierSWE.
Le classement du benchmark
Scores relevés sur frontierswe.com · édition du21 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 21 →Replier le classement ↑
Mesuré avec quels outils
Chaque mesure de ce benchmark est faite avec un outil qui pilote le modèle : proximus (21 mesures, outil de banc d'essai).
En bref
- Que mesure FrontierSWE ?
- 34 chantiers logiciels de très longue haleine : réécrire git en Zig, décoder la parole dans des signaux cérébraux, entraîner un modèle météo. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment FrontierSWE est-il noté ?
- Note moyenne sur cinq essais par tâche, avec un budget de 20 heures par essai, dans le harnais maison « proximus ». Un modèle qui obtient 50 % a un score IA d'environ 96.
- Qui est en tête sur FrontierSWE ?
- GPT-6 Astra (OpenAI) est en tête de FrontierSWE avec 65,5 %, dans l'édition du 9 novembre 2026. Suivent Claude Opus 5.5 (62,3 %) et Claude Sonnet 5.5 (61,9 %). 21 modèles y sont mesurés.
- Quelles sont les limites de FrontierSWE ?
- 34 tâches seulement et un coût élevé, jusqu'à 1 000 dollars en moyenne par tâche. Un seul harnais est utilisé, celui de l'éditeur du benchmark. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse FrontierSWE dans le score IA ?
- FrontierSWE compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient FrontierSWE ?
- Proximal. Sa page de référence : frontierswe.com.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- SciCode136 modèles · 1,25 % du score
- WeirdML (v2)130 modèles · 1,25 % du score
- FrontierCode46 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- GSO30 modèles · 1,25 % du score
- DeepSWE26 modèles · 1,25 % du score
- WeirdML v325 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ