À quoi il sert
Sur Quelle IA, GSO sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 93.
CodeFiche benchmark · UC Berkeley · gso-bench.github.io
GSO
Accélérer un vrai logiciel open source : le modèle reçoit le code et un test de performance, et doit égaler l'optimisation d'un expert.
Comment c'est noté
Part des 102 tâches où un seul essai atteint au moins 95 % du gain de vitesse humain tout en passant les tests (OPT@1).
Ce qu'il ne dit pas
Un seul harnais, OpenHands, est utilisé. Certains gains venaient de tricheries sur les tests, d'où un second score corrigé, publié à part depuis fin 2025.
Qui le tient
UC Berkeley.
gso-bench.github.io · tâche Code · 26 modèles mesurés
Comment lire le score
26 modèles mesurés · 38 mesuresSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : Claude Opus 4.8, 47,1 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 93. Le meilleur, Claude Opus 4.8, atteint 47,1 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 9 %
- Score IA 100niveau de Claude Opus 5.5
- 73 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. GSO porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de GSO.
Le classement du benchmark
Scores relevés auprès de 2 sources · édition duRangModèleRéflexionScore publiéSuggèreSource
26 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 26 →Replier le classement ↑
En bref
- Que mesure GSO ?
- Accélérer un vrai logiciel open source : le modèle reçoit le code et un test de performance, et doit égaler l'optimisation d'un expert. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment GSO est-il noté ?
- Part des 102 tâches où un seul essai atteint au moins 95 % du gain de vitesse humain tout en passant les tests (OPT@1). Un modèle qui obtient 50 % a un score IA d'environ 93.
- Qui est en tête sur GSO ?
- Claude Opus 4.8 (Anthropic) est en tête de GSO avec 47,1 %, dans l'édition du 28 septembre 2026. Suivent Claude Opus 4.7 (44,1 %) et Claude Opus 4.6 (41,2 %). 26 modèles y sont mesurés.
- Quelles sont les limites de GSO ?
- Un seul harnais, OpenHands, est utilisé. Certains gains venaient de tricheries sur les tests, d'où un second score corrigé, publié à part depuis fin 2025. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse GSO dans le score IA ?
- GSO compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient GSO ?
- UC Berkeley. Sa page de référence : gso-bench.github.io.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- WeirdML (v2)129 modèles · 1,15 % du score
- SciCode120 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- FrontierCode37 modèles · 1,15 % du score
- SWE-bench Verified32 modèles · 1,15 % du score
- DeepSWE26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- FrontierSWE16 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ