À quoi il sert
Sur QUELLE IA, GSO sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 91.
CodeFiche benchmark · UC Berkeley · gso-bench.github.io
GSO
Accélérer un vrai logiciel open source : le modèle reçoit le code et un test de performance, et doit égaler l'optimisation d'un expert.
Comment c'est noté
Part des 102 tâches où un seul essai atteint au moins 95 % du gain de vitesse humain tout en passant les tests (OPT@1).
Ce qu'il ne dit pas
Un seul harnais, OpenHands, est utilisé. Certains gains venaient de tricheries sur les tests, d'où un second score corrigé, publié à part depuis fin 2025.
Qui le tient
UC Berkeley.
gso-bench.github.io · tâche Code · 30 modèles mesurés
Comment lire le score
30 modèles mesurés · 42 mesuresSeuil de saturation : 95 % ↓
0 %50 %Claude Fable 5.1 : 88,2 %100 %
En tête : Claude Fable 5.1, 88,2 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 91. Le meilleur, Claude Fable 5.1, atteint 88,2 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 5 %
- Score IA 100niveau de Claude Opus 5.5
- 87 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. GSO porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de GSO.
Le classement du benchmark
Scores relevés auprès de 2 sources · édition du30 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 30 →Replier le classement ↑
Mesuré avec quels outils
Chaque mesure de ce benchmark est faite avec un outil qui pilote le modèle : OpenHands (30 mesures, outil grand public).
En bref
- Que mesure GSO ?
- Accélérer un vrai logiciel open source : le modèle reçoit le code et un test de performance, et doit égaler l'optimisation d'un expert. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment GSO est-il noté ?
- Part des 102 tâches où un seul essai atteint au moins 95 % du gain de vitesse humain tout en passant les tests (OPT@1). Un modèle qui obtient 50 % a un score IA d'environ 91.
- Qui est en tête sur GSO ?
- Claude Fable 5.1 (Anthropic) est en tête de GSO avec 88,2 %, dans l'édition du 9 novembre 2026. Suivent GPT-6 Astra (79,4 %) et Claude Fable 5 (78,4 %). 30 modèles y sont mesurés.
- Quelles sont les limites de GSO ?
- Un seul harnais, OpenHands, est utilisé. Certains gains venaient de tricheries sur les tests, d'où un second score corrigé, publié à part depuis fin 2025. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse GSO dans le score IA ?
- GSO compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient GSO ?
- UC Berkeley. Sa page de référence : gso-bench.github.io.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- SciCode136 modèles · 1,25 % du score
- WeirdML (v2)130 modèles · 1,25 % du score
- FrontierCode46 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- DeepSWE26 modèles · 1,25 % du score
- WeirdML v325 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- FrontierSWE21 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ