À quoi il sert
Sur Quelle IA, BALROG sert à noter la tâche Agents : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 85.
AgentsFiche benchmark · Équipe BALROG (auteurs de l'article de 2024) · balrogai.com
BALROG
Jouer à six jeux, du simple BabyAI au redoutable NetHack, qui demandent d'explorer, de planifier et de tenir sur la durée.
Comment c'est noté
Progression moyenne dans les six jeux, de 0 à 1, calculée sur plusieurs parties par jeu.
Ce qu'il ne dit pas
La moyenne cache de grands écarts : les modèles terminent les jeux simples mais avancent à peine dans NetHack.
Qui le tient
Équipe BALROG (auteurs de l'article de 2024).
balrogai.com · tâche Agents · 37 modèles mesurés
Comment lire le score
37 modèles mesurés · 41 mesuresSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : GPT-6 Astra, 68,3 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 85. Le meilleur, GPT-6 Astra, atteint 68,3 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 22 %
- Score IA 76niveau de Claude Sonnet 4.5
- 42 %
- Score IA 100niveau de Claude Opus 5.5
- 63 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. BALROG porte 11 % de la tâche Agents (15 % du score général), que se partagent 9 benchmarks.
En couleur, la tâche Agents dans le score général. En noir, la part de BALROG.
Le classement du benchmark
Scores relevés auprès de 2 sources · édition duRangModèleRéflexionScore publiéSuggèreSource
37 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 37 →Replier le classement ↑
En bref
- Que mesure BALROG ?
- Jouer à six jeux, du simple BabyAI au redoutable NetHack, qui demandent d'explorer, de planifier et de tenir sur la durée. Sur Quelle IA, il est rangé dans la tâche Agents.
- Comment BALROG est-il noté ?
- Progression moyenne dans les six jeux, de 0 à 1, calculée sur plusieurs parties par jeu. Un modèle qui obtient 50 % a un score IA d'environ 85.
- Qui est en tête sur BALROG ?
- GPT-6 Astra (OpenAI) est en tête de BALROG avec 68,3 %, dans l'édition du 28 septembre 2026. Suivent Claude Opus 5 (63,4 %) et GPT-5.6 Sol (60 %). 37 modèles y sont mesurés.
- Quelles sont les limites de BALROG ?
- La moyenne cache de grands écarts : les modèles terminent les jeux simples mais avancent à peine dans NetHack. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse BALROG dans le score IA ?
- BALROG compte pour 1,67 % du score général, dans l'édition du 28 septembre 2026. Il porte 11 % de la tâche Agents (15 % du score général), que se partagent 9 benchmarks.
- Qui maintient BALROG ?
- Équipe BALROG (auteurs de l'article de 2024). Sa page de référence : balrogai.com.
Les autres benchmarks de la tâche Agents
- Vending-Bench 256 modèles · 1,67 % du score
- METR Time Horizons (taux de réussite)41 modèles · 1,67 % du score
- APEX-Agents34 modèles · 1,67 % du score
- DeepResearch Bench24 modèles · 1,67 % du score
- EBR-bench (Earthborne Rangers)23 modèles · 1,67 % du score
- Remote Labor Index13 modèles · 1,67 % du score
- PostTrainBench11 modèles · 1,67 % du score
- OSWorld 2.09 modèles · 1,67 % du score
- TheAgentCompany14 modèles · hors scoreARCHIVÉ
- GDPval11 modèles · hors scoreARCHIVÉ
- OSWorld9 modèles · hors scoreARCHIVÉ