À quoi il sert
Sur Quelle IA, LMCA sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 82.
RaisonnementFiche benchmark · Redwood Research · conceptualreasoning.ai
LMCA
Juger la qualité d'arguments en philosophie, en théorie de la décision et en sûreté de l'IA, comme le ferait un expert.
Comment c'est noté
Corrélation entre les notes du modèle et celles des experts, multipliée par 100 ; les auteurs situent le plafond vers 85.
Pour le calcul, ce score est ramené entre 0 et 1 : 0 vaut 0 et 85, le plafond retenu, vaut 1.
Ce qu'il ne dit pas
Le jeu de données est privé et les notes d'experts gardent une part de subjectivité, si bien qu'un score de 100 est hors d'atteinte.
Qui le tient
Redwood Research.
conceptualreasoning.ai/lmca · tâche Raisonnement · 130 modèles mesurés
Comment lire le score
130 modèles mesurés · 173 mesures035Claude Opus 5.5 : 68,2370
En tête : Claude Opus 5.5, 68,23
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 42,5 a un score IA d'environ 82. Le meilleur, Claude Opus 5.5, atteint 68,23.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 11,4
- Score IA 76niveau de Claude Sonnet 4.5
- 35,3
- Score IA 100niveau de Claude Opus 5.5
- 63,3
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. LMCA porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
En couleur, la tâche Raisonnement dans le score général. En noir, la part de LMCA.
Le classement du benchmark
Scores relevés sur conceptualreasoning.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
130 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 130 →Replier le classement ↑
En bref
- Que mesure LMCA ?
- Juger la qualité d'arguments en philosophie, en théorie de la décision et en sûreté de l'IA, comme le ferait un expert. Sur Quelle IA, il est rangé dans la tâche Raisonnement.
- Comment LMCA est-il noté ?
- Corrélation entre les notes du modèle et celles des experts, multipliée par 100 ; les auteurs situent le plafond vers 85. Un modèle qui obtient 42,5 a un score IA d'environ 82.
- Qui est en tête sur LMCA ?
- Claude Opus 5.5 (Anthropic) est en tête de LMCA avec 68,23, dans l'édition du 28 septembre 2026. Suivent Claude Fable 5.1 (65,46) et Claude Opus 5 (64,45). 130 modèles y sont mesurés.
- Quelles sont les limites de LMCA ?
- Le jeu de données est privé et les notes d'experts gardent une part de subjectivité, si bien qu'un score de 100 est hors d'atteinte. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse LMCA dans le score IA ?
- LMCA compte pour 1,67 % du score général, dans l'édition du 28 septembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks.
- Qui maintient LMCA ?
- Redwood Research. Sa page de référence : conceptualreasoning.ai/lmca.
Les autres benchmarks de la tâche Raisonnement
- DTBench168 modèles · 1,67 % du scoreSATURÉ
- Chess Puzzles136 modèles · 1,67 % du score
- ARC-AGI-182 modèles · 1,67 % du scoreSATURÉ
- SimpleBench82 modèles · 1,67 % du score
- ARC-AGI-280 modèles · 1,67 % du scoreSATURÉ
- ForecastBench77 modèles · 1,67 % du score
- Mystery Game Puzzles69 modèles · 1,67 % du score
- EnigmaEval41 modèles · 1,67 % du score
- LiveBench, raisonnement48 modèles · hors scoreARCHIVÉ