À quoi il sert
Sur QUELLE IA, FrontierCode sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 95.
CodeFiche benchmark · Cognition · cognition.com
FrontierCode
Produire, pour un vrai ticket d'un projet open source, un correctif assez propre pour être accepté par les responsables du projet.
Comment c'est noté
Note moyenne sur cinq essais selon une grille pondérée, sur les 100 tâches les plus dures ; un seul critère bloquant manqué donne zéro.
Ce qu'il ne dit pas
Classement tenu par Cognition, éditeur de l'agent Devin, qui y figure. Le score retenu est celui du meilleur réglage de chaque modèle, avec des harnais différents.
Qui le tient
Cognition.
cognition.com/frontiercode · tâche Code · 46 modèles mesurés
Comment lire le score
46 modèles mesurésSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : Claude Opus 5.5, 54,6 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 95. Le meilleur, Claude Opus 5.5, atteint 54,6 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 3 %
- Score IA 76niveau de Claude Sonnet 4.5
- 19 %
- Score IA 100niveau de Claude Opus 5.5
- 59 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. FrontierCode porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de FrontierCode.
Le classement du benchmark
Scores relevés sur cognition.com · édition du46 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 46 →Replier le classement ↑
Mesuré avec quels outils
Chaque mesure de ce benchmark est faite avec un outil qui pilote le modèle : devin-cli (13 mesures, écriture non rangée), Claude Code (11 mesures, outil grand public), Codex CLI (9 mesures, outil grand public), mini-SWE-agent (7 mesures, outil de banc d'essai), Grok Build (3 mesures, outil grand public), chisel (1 mesure, autre agent), Cursor CLI (1 mesure, outil grand public), Devin (1 mesure, outil grand public).
En bref
- Que mesure FrontierCode ?
- Produire, pour un vrai ticket d'un projet open source, un correctif assez propre pour être accepté par les responsables du projet. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment FrontierCode est-il noté ?
- Note moyenne sur cinq essais selon une grille pondérée, sur les 100 tâches les plus dures ; un seul critère bloquant manqué donne zéro. Un modèle qui obtient 50 % a un score IA d'environ 95.
- Qui est en tête sur FrontierCode ?
- Claude Opus 5.5 (Anthropic) est en tête de FrontierCode avec 54,6 %, dans l'édition du 9 novembre 2026. Suivent Claude Fable 5 (53,5 %) et Claude Opus 5 (53,4 %). 46 modèles y sont mesurés.
- Quelles sont les limites de FrontierCode ?
- Classement tenu par Cognition, éditeur de l'agent Devin, qui y figure. Le score retenu est celui du meilleur réglage de chaque modèle, avec des harnais différents. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse FrontierCode dans le score IA ?
- FrontierCode compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient FrontierCode ?
- Cognition. Sa page de référence : cognition.com/frontiercode.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- SciCode136 modèles · 1,25 % du score
- WeirdML (v2)130 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- GSO30 modèles · 1,25 % du score
- DeepSWE26 modèles · 1,25 % du score
- WeirdML v325 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- FrontierSWE21 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ