À quoi il sert
Terminal-Bench 2.0 servait à noter la tâche Code. Archivé faute de modèle récent mesuré, il ne sert plus qu'à situer les modèles plus anciens sur l'échelle commune.
CodeFiche benchmark · Stanford et Laude Institute · tbench.ai
Mener à bien des tâches dans un terminal : comprendre le système, utiliser les programmes disponibles, enchaîner les commandes jusqu'au résultat.
Terminal-Bench 2.0 servait à noter la tâche Code. Archivé faute de modèle récent mesuré, il ne sert plus qu'à situer les modèles plus anciens sur l'échelle commune.
Part de tâches réussies, en moyenne sur plusieurs passages ; chaque ligne associe un modèle et un harnais (Claude Code, Codex CLI, Terminus).
Le harnais compte autant que le modèle : un même modèle change de score selon l'agent qui le pilote. Les données suivent la version 2.0, déjà remplacée sur le site officiel.
En tête : GPT-5.5, 84,7 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 78. Le meilleur, GPT-5.5, atteint 84,7 %. Le benchmark est archivé, faute de modèle récent mesuré.
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
0 %du score général. Terminal-Bench 2.0 est archivé et ne compte plus : la tâche Code (15 % du score général) repose sur 12 autres benchmarks.
En couleur, la tâche Code dans le score général. Terminal-Bench 2.0 n'y a plus de part.
Chaque mesure de ce benchmark est faite avec un outil qui pilote le modèle : Terminus 2 (33 mesures, outil de banc d'essai), mini-SWE-agent (14 mesures, outil de banc d'essai), OpenHands (13 mesures, outil grand public), Codex CLI (7 mesures, outil grand public), Claude Code (5 mesures, outil grand public), Crux (5 mesures, autre agent), Droid (Factory) (5 mesures, outil grand public), Gemini CLI (5 mesures, outil grand public), Xum (ex-Mux) (4 mesures, outil grand public), goose (3 mesures, outil grand public), Letta Code (3 mesures, outil grand public), spoox-o-m (3 mesures, agent de recherche), Capy (2 mesures, autre agent), CodeBrain-1.5 (2 mesures, autre agent), IndusAGI Coding Agent (2 mesures, autre agent), little-coder (2 mesures, autre agent), MAYA-V2 (2 mesures, autre agent), SageAgent (2 mesures, autre agent), Terminus-KIRA (2 mesures, autre agent), TongAgents (2 mesures, agent de recherche), Ante (1 mesure, autre agent), CAMEL-AI (1 mesure, agent de recherche), cchuter (1 mesure, autre agent), clnkr (1 mesure, autre agent), Codelia (1 mesure, autre agent), Dakou Agent (1 mesure, autre agent), Deep Agents (1 mesure, bibliothèque pour développeurs), Grok CLI (1 mesure, outil grand public), Harness Agent (1 mesure, autre agent), hookele (1 mesure, autre agent), II-Agent (1 mesure, autre agent), Junie CLI (1 mesure, outil grand public), Meta-Harness (1 mesure, agent de recherche), NexAU-AHE (1 mesure, autre agent), OpenCode (1 mesure, outil grand public), Simplai Agent (1 mesure, autre agent), Simple Codex (1 mesure, autre agent), WOZCODE (1 mesure, autre agent).
↑↓ choisirEntrée ouvrirÉchap fermerTous les modèles, avec filtres