À quoi il sert
Sur Quelle IA, FrontierCode sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 95.
CodeFiche benchmark · Cognition · cognition.com
FrontierCode
Produire, pour un vrai ticket d'un projet open source, un correctif assez propre pour être accepté par les responsables du projet.
Comment c'est noté
Note moyenne sur cinq essais selon une grille pondérée, sur les 100 tâches les plus dures ; un seul critère bloquant manqué donne zéro.
Ce qu'il ne dit pas
Classement tenu par Cognition, éditeur de l'agent Devin, qui y figure. Le score retenu est celui du meilleur réglage de chaque modèle, avec des harnais différents.
Qui le tient
Cognition.
cognition.com/frontiercode · tâche Code · 37 modèles mesurés
Comment lire le score
37 modèles mesurésSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : Claude Fable 5, 53,5 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 95. Le meilleur, Claude Fable 5, atteint 53,5 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 2 %
- Score IA 76niveau de Claude Sonnet 4.5
- 16 %
- Score IA 100niveau de Claude Opus 5.5
- 62 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. FrontierCode porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de FrontierCode.
Le classement du benchmark
Scores relevés sur cognition.com · édition duRangModèleRéflexionScore publiéSuggèreSource
37 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 37 →Replier le classement ↑
En bref
- Que mesure FrontierCode ?
- Produire, pour un vrai ticket d'un projet open source, un correctif assez propre pour être accepté par les responsables du projet. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment FrontierCode est-il noté ?
- Note moyenne sur cinq essais selon une grille pondérée, sur les 100 tâches les plus dures ; un seul critère bloquant manqué donne zéro. Un modèle qui obtient 50 % a un score IA d'environ 95.
- Qui est en tête sur FrontierCode ?
- Claude Fable 5 (Anthropic) est en tête de FrontierCode avec 53,5 %, dans l'édition du 28 septembre 2026. Suivent Claude Opus 5 (53,4 %) et GPT-6 Astra (53,3 %). 37 modèles y sont mesurés.
- Quelles sont les limites de FrontierCode ?
- Classement tenu par Cognition, éditeur de l'agent Devin, qui y figure. Le score retenu est celui du meilleur réglage de chaque modèle, avec des harnais différents. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse FrontierCode dans le score IA ?
- FrontierCode compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient FrontierCode ?
- Cognition. Sa page de référence : cognition.com/frontiercode.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- WeirdML (v2)129 modèles · 1,15 % du score
- SciCode120 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- SWE-bench Verified32 modèles · 1,15 % du score
- DeepSWE26 modèles · 1,15 % du score
- GSO26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- FrontierSWE16 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ