À quoi il sert
Sur QUELLE IA, LMCA sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 82.
RaisonnementFiche benchmark · Redwood Research · conceptualreasoning.ai
LMCA
Juger la qualité d'arguments en philosophie, en théorie de la décision et en sûreté de l'IA, comme le ferait un expert.
Comment c'est noté
Corrélation entre les notes du modèle et celles des experts, multipliée par 100 ; les auteurs situent le plafond vers 85.
Pour le calcul, ce score est ramené entre 0 et 1 : 0 vaut 0 et 85, le plafond retenu, vaut 1.
Ce qu'il ne dit pas
Le jeu de données est privé et les notes d'experts gardent une part de subjectivité, si bien qu'un score de 100 est hors d'atteinte.
Qui le tient
Redwood Research.
conceptualreasoning.ai/lmca · tâche Raisonnement · 139 modèles mesurés
Comment lire le score
139 modèles mesurés · 197 mesures035Claude Sonnet 5.5 : 68,2670
En tête : Claude Sonnet 5.5, 68,26
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 42,5 a un score IA d'environ 82. Le meilleur, Claude Sonnet 5.5, atteint 68,26.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 11,2
- Score IA 76niveau de Claude Sonnet 4.5
- 35,1
- Score IA 100niveau de Claude Opus 5.5
- 63,5
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. LMCA porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
En couleur, la tâche Raisonnement dans le score général. En noir, la part de LMCA.
Le classement du benchmark
Scores relevés sur conceptualreasoning.ai · édition du139 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 139 →Replier le classement ↑
En bref
- Que mesure LMCA ?
- Juger la qualité d'arguments en philosophie, en théorie de la décision et en sûreté de l'IA, comme le ferait un expert. Sur QUELLE IA, il est rangé dans la tâche Raisonnement.
- Comment LMCA est-il noté ?
- Corrélation entre les notes du modèle et celles des experts, multipliée par 100 ; les auteurs situent le plafond vers 85. Un modèle qui obtient 42,5 a un score IA d'environ 82.
- Qui est en tête sur LMCA ?
- Claude Sonnet 5.5 (Anthropic) est en tête de LMCA avec 68,26, dans l'édition du 9 novembre 2026. Suivent Claude Opus 5.5 (68,23) et Claude Fable 5.1 (65,46). 139 modèles y sont mesurés.
- Quelles sont les limites de LMCA ?
- Le jeu de données est privé et les notes d'experts gardent une part de subjectivité, si bien qu'un score de 100 est hors d'atteinte. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse LMCA dans le score IA ?
- LMCA compte pour 1,67 % du score général, dans l'édition du 9 novembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
- Qui maintient LMCA ?
- Redwood Research. Sa page de référence : conceptualreasoning.ai/lmca.
Les autres benchmarks de la tâche Raisonnement
- DTBench177 modèles · 1,67 % du scoreSATURÉ
- ARC-AGI-196 modèles · 1,67 % du scoreSATURÉ
- ARC-AGI-294 modèles · 1,67 % du scoreSATURÉ
- Chess Puzzles91 modèles · 1,67 % du score
- ForecastBench83 modèles · 1,67 % du score
- Mystery Game Puzzles82 modèles · 1,67 % du score
- SimpleBench82 modèles · 1,67 % du score
- EnigmaEval41 modèles · 1,67 % du score
- LiveBench, raisonnement48 modèles · hors scoreARCHIVÉ