À quoi il sert
Sur QUELLE IA, DTBench sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 62.
RaisonnementFiche benchmark · Redwood Research · conceptualreasoning.ai
DTBench
407 questions de théorie de la décision sur des dilemmes de type Newcomb, où le choix d'un agent renseigne sur celui de ses semblables.
Comment c'est noté
Part de bonnes réponses ; le hasard donne 40 %.
Pour le calcul, ce score est ramené entre 0 et 1 : 40 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Domaine très étroit, et les meilleurs modèles frôlent 99 %. Les questions d'opinion du jeu sont exclues du score.
Qui le tient
Redwood Research.
conceptualreasoning.ai/dtbench · tâche Raisonnement · 177 modèles mesurés
Comment lire le score
177 modèles mesurés · 235 mesuresZone saturée, au-delà de 97 % ↓
0 %50 %100 %
En tête : Claude Opus 5.5, 98,9 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 70 % a un score IA d'environ 62. Le meilleur, Claude Opus 5.5, atteint 98,9 %. Le seuil de saturation (97 %) est franchi : au sommet, les meilleurs modèles ne se départagent plus.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 59 %
- Score IA 76niveau de Claude Sonnet 4.5
- 84 %
- Score IA 100niveau de Claude Opus 5.5
- 96 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. DTBench porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
En couleur, la tâche Raisonnement dans le score général. En noir, la part de DTBench.
Le classement du benchmark
Scores relevés sur conceptualreasoning.ai · édition du177 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 177 →Replier le classement ↑
En bref
- Que mesure DTBench ?
- 407 questions de théorie de la décision sur des dilemmes de type Newcomb, où le choix d'un agent renseigne sur celui de ses semblables. Sur QUELLE IA, il est rangé dans la tâche Raisonnement.
- Comment DTBench est-il noté ?
- Part de bonnes réponses ; le hasard donne 40 %. Un modèle qui obtient 70 % a un score IA d'environ 62.
- Qui est en tête sur DTBench ?
- Claude Opus 5.5 (Anthropic) est en tête de DTBench avec 98,9 %, dans l'édition du 9 novembre 2026. Suivent Claude Fable 5 (98,4 %) et Claude Opus 5 (97,9 %). 177 modèles y sont mesurés.
- Quelles sont les limites de DTBench ?
- Domaine très étroit, et les meilleurs modèles frôlent 99 %. Les questions d'opinion du jeu sont exclues du score. Au 9 novembre 2026, le benchmark est saturé.
- Combien pèse DTBench dans le score IA ?
- DTBench compte pour 1,67 % du score général, dans l'édition du 9 novembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
- Qui maintient DTBench ?
- Redwood Research. Sa page de référence : conceptualreasoning.ai/dtbench.
Les autres benchmarks de la tâche Raisonnement
- LMCA139 modèles · 1,67 % du score
- ARC-AGI-196 modèles · 1,67 % du scoreSATURÉ
- ARC-AGI-294 modèles · 1,67 % du scoreSATURÉ
- Chess Puzzles91 modèles · 1,67 % du score
- ForecastBench83 modèles · 1,67 % du score
- Mystery Game Puzzles82 modèles · 1,67 % du score
- SimpleBench82 modèles · 1,67 % du score
- EnigmaEval41 modèles · 1,67 % du score
- LiveBench, raisonnement48 modèles · hors scoreARCHIVÉ