À quoi il sert
Sur QUELLE IA, SciCode sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 83.
CodeFiche benchmark · Équipe SciCode (collectif de scientifiques) ; mesures d'Artificial Analysis · scicode-bench.github.io
SciCode
Traduire un savoir scientifique en code Python : des problèmes de recherche en physique, chimie, biologie et mathématiques, découpés en étapes.
Source : Artificial Analysis. Ces mesures, relayées par Epoch AI, comptent dans le score IA avec leur accord.
Comment c'est noté
Part des sous-problèmes dont le code passe les tests.
Ce qu'il ne dit pas
Le score par sous-problème est plus flatteur que la réussite d'un problème entier. Les chiffres sont mesurés par Artificial Analysis, dans ses propres conditions.
Qui le tient
Équipe SciCode (collectif de scientifiques) ; mesures d'Artificial Analysis.
scicode-bench.github.io · tâche Code · 136 modèles mesurés
Comment lire le score
136 modèles mesurés · 235 mesuresSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : Claude Opus 5.5, 66,9 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 83. Le meilleur, Claude Opus 5.5, atteint 66,9 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 26 %
- Score IA 76niveau de Claude Sonnet 4.5
- 45 %
- Score IA 100niveau de Claude Opus 5.5
- 64 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. SciCode porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de SciCode.
Le classement du benchmark
Scores relevés sur artificialanalysis.ai · édition du136 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 136 →Replier le classement ↑
En bref
- Que mesure SciCode ?
- Traduire un savoir scientifique en code Python : des problèmes de recherche en physique, chimie, biologie et mathématiques, découpés en étapes. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment SciCode est-il noté ?
- Part des sous-problèmes dont le code passe les tests. Un modèle qui obtient 50 % a un score IA d'environ 83.
- Qui est en tête sur SciCode ?
- Claude Opus 5.5 (Anthropic) est en tête de SciCode avec 66,9 %, dans l'édition du 9 novembre 2026. Suivent Gemini 4 Carbon (64,2 %) et Claude Fable 5.1 (63,1 %). 136 modèles y sont mesurés.
- Quelles sont les limites de SciCode ?
- Le score par sous-problème est plus flatteur que la réussite d'un problème entier. Les chiffres sont mesurés par Artificial Analysis, dans ses propres conditions. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse SciCode dans le score IA ?
- SciCode compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient SciCode ?
- Équipe SciCode (collectif de scientifiques) ; mesures d'Artificial Analysis. Sa page de référence : scicode-bench.github.io.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- WeirdML (v2)130 modèles · 1,25 % du score
- FrontierCode46 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- GSO30 modèles · 1,25 % du score
- DeepSWE26 modèles · 1,25 % du score
- WeirdML v325 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- FrontierSWE21 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ