À quoi il sert
Sur Quelle IA, SciCode sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 83.
CodeFiche benchmark · Équipe SciCode (collectif de scientifiques) ; mesures d'Artificial Analysis · scicode-bench.github.io
SciCode
Traduire un savoir scientifique en code Python : des problèmes de recherche en physique, chimie, biologie et mathématiques, découpés en étapes.
Comment c'est noté
Part des sous-problèmes dont le code passe les tests.
Ce qu'il ne dit pas
Le score par sous-problème est plus flatteur que la réussite d'un problème entier. Les chiffres sont mesurés par Artificial Analysis, dans ses propres conditions.
Qui le tient
Équipe SciCode (collectif de scientifiques) ; mesures d'Artificial Analysis.
scicode-bench.github.io · tâche Code · 120 modèles mesurés
Comment lire le score
120 modèles mesurés · 181 mesuresSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : Claude Opus 5.5, 66,9 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 83. Le meilleur, Claude Opus 5.5, atteint 66,9 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 25 %
- Score IA 76niveau de Claude Sonnet 4.5
- 44 %
- Score IA 100niveau de Claude Opus 5.5
- 64 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. SciCode porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de SciCode.
Le classement du benchmark
Scores relevés sur artificialanalysis.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
120 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 120 →Replier le classement ↑
En bref
- Que mesure SciCode ?
- Traduire un savoir scientifique en code Python : des problèmes de recherche en physique, chimie, biologie et mathématiques, découpés en étapes. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment SciCode est-il noté ?
- Part des sous-problèmes dont le code passe les tests. Un modèle qui obtient 50 % a un score IA d'environ 83.
- Qui est en tête sur SciCode ?
- Claude Opus 5.5 (Anthropic) est en tête de SciCode avec 66,9 %, dans l'édition du 28 septembre 2026. Suivent Claude Fable 5.1 (63,1 %) et Claude Sonnet 5.5 (61 %). 120 modèles y sont mesurés.
- Quelles sont les limites de SciCode ?
- Le score par sous-problème est plus flatteur que la réussite d'un problème entier. Les chiffres sont mesurés par Artificial Analysis, dans ses propres conditions. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse SciCode dans le score IA ?
- SciCode compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient SciCode ?
- Équipe SciCode (collectif de scientifiques) ; mesures d'Artificial Analysis. Sa page de référence : scicode-bench.github.io.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- WeirdML (v2)129 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- FrontierCode37 modèles · 1,15 % du score
- SWE-bench Verified32 modèles · 1,15 % du score
- DeepSWE26 modèles · 1,15 % du score
- GSO26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- FrontierSWE16 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ