À quoi il sert
Sur Quelle IA, DTBench sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 62.
RaisonnementFiche benchmark · Redwood Research · conceptualreasoning.ai
DTBench
407 questions de théorie de la décision sur des dilemmes de type Newcomb, où le choix d'un agent renseigne sur celui de ses semblables.
Comment c'est noté
Part de bonnes réponses ; le hasard donne 40 %.
Pour le calcul, ce score est ramené entre 0 et 1 : 40 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Domaine très étroit, et les meilleurs modèles frôlent 99 %. Les questions d'opinion du jeu sont exclues du score.
Qui le tient
Redwood Research.
conceptualreasoning.ai/dtbench · tâche Raisonnement · 168 modèles mesurés
Comment lire le score
168 modèles mesurés · 211 mesuresZone saturée, au-delà de 97 % ↓
0 %50 %100 %
En tête : Claude Opus 5.5, 98,9 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 70 % a un score IA d'environ 62. Le meilleur, Claude Opus 5.5, atteint 98,9 %. Le seuil de saturation (97 %) est franchi : au sommet, les meilleurs modèles ne se départagent plus.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 59 %
- Score IA 76niveau de Claude Sonnet 4.5
- 84 %
- Score IA 100niveau de Claude Opus 5.5
- 96 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. DTBench porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
En couleur, la tâche Raisonnement dans le score général. En noir, la part de DTBench.
Le classement du benchmark
Scores relevés sur conceptualreasoning.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
168 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 168 →Replier le classement ↑
En bref
- Que mesure DTBench ?
- 407 questions de théorie de la décision sur des dilemmes de type Newcomb, où le choix d'un agent renseigne sur celui de ses semblables. Sur Quelle IA, il est rangé dans la tâche Raisonnement.
- Comment DTBench est-il noté ?
- Part de bonnes réponses ; le hasard donne 40 %. Un modèle qui obtient 70 % a un score IA d'environ 62.
- Qui est en tête sur DTBench ?
- Claude Opus 5.5 (Anthropic) est en tête de DTBench avec 98,9 %, dans l'édition du 28 septembre 2026. Suivent Claude Fable 5 (98,4 %) et Claude Opus 5 (97,9 %). 168 modèles y sont mesurés.
- Quelles sont les limites de DTBench ?
- Domaine très étroit, et les meilleurs modèles frôlent 99 %. Les questions d'opinion du jeu sont exclues du score. Au 28 septembre 2026, le benchmark est saturé.
- Combien pèse DTBench dans le score IA ?
- DTBench compte pour 1,67 % du score général, dans l'édition du 28 septembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
- Qui maintient DTBench ?
- Redwood Research. Sa page de référence : conceptualreasoning.ai/dtbench.
Les autres benchmarks de la tâche Raisonnement
- Chess Puzzles136 modèles · 1,67 % du score
- LMCA130 modèles · 1,67 % du score
- ARC-AGI-182 modèles · 1,67 % du scoreSATURÉ
- SimpleBench82 modèles · 1,67 % du score
- ARC-AGI-280 modèles · 1,67 % du scoreSATURÉ
- ForecastBench77 modèles · 1,67 % du score
- Mystery Game Puzzles69 modèles · 1,67 % du score
- EnigmaEval41 modèles · 1,67 % du score
- LiveBench, raisonnement48 modèles · hors scoreARCHIVÉ