Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

Test historiqueFiche benchmark · Allen Institute for AI · allenai.org

ARC (AI2 Reasoning Challenge)

Des questions de sciences de niveau école et collège, à choix multiples, choisies pour résister à une simple recherche de mots-clés.

ARCHIVÉ

À quoi il sert

ARC (AI2 Reasoning Challenge) est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.

Comment c'est noté

Part de bonnes réponses sur la partie difficile du jeu (Challenge) ; le hasard donne 25 %.

Pour le calcul, ce score est ramené entre 0 et 1 : 25 %, le niveau du hasard, vaut 0 et 100 % vaut 1.

Ce qu'il ne dit pas

Test de 2018, saturé par les modèles récents. À ne pas confondre avec ARC-AGI, qui porte sur des puzzles de grilles.

Comment lire le score

76 modèles mesurés · 134 mesures

En tête : 2 modèles, 95,3 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 62 % a un score IA d'environ 1. 2 modèles partagent la première place avec 95,3 %. Le benchmark est archivé, faute de modèle récent mesuré.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
90 %
Score IA 76niveau de Claude Sonnet 4.5
96 %
Score IA 100niveau de Claude Opus 5.5
98 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

0 %du score général. ARC (AI2 Reasoning Challenge) est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.

Le classement du benchmark

Scores relevés sur epoch.ai · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1DeepSeek-V3DeepSeek · poids ouvertsNon précisée95,3 %72,9
1Llama 3.1-405BMeta AI · poids ouvertsNon précisée95,3 %72,9
3Qwen2.5-72BAlibaba · poids ouvertsNon précisée94,5 %68,5
4DeepSeek-V2 (MoE-236B, May 2024)DeepSeek · poids ouvertsNon précisée92,2 %58,3
5phi-3-medium 14BMicrosoft · poids ouvertsNon précisée91,6 %56,1
6phi-3-small 7.4BMicrosoft · poids ouvertsNon précisée90,7 %53,0
7GPT-3.5 Turbo (Nov 2023)OpenAINon précisée87,4 %43,6
8Mixtral 8x7BMistral AI · poids ouverts · 2 configurationsNon précisée87,3 %43,3
9Claude InstantAnthropic · 2 configurationsNon précisée86,3 %40,9
10Stable Beluga 2Stability AI · poids ouvertsNon précisée86,1 %40,4
76 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 76 →Replier le classement ↑
11davinci-002OpenAINon précisée85,2 %38,3
11PaLM (540B)Google Research · 5 configurationsNon précisée85,2 %38,3
13phi-3-mini 3.8BMicrosoft · poids ouvertsNon précisée84,9 %37,7
14Qwen-14BAlibaba · poids ouverts · 2 configurationsNon précisée84,4 %36,6
15Llama 3-8BMeta AI · poids ouvertsNon précisée82,8 %33,3
16internlm-20bShanghai AI LaboratoryNon précisée81,7 %31,1
17Mistral 7B v0.1Mistral AI · poids ouverts · 4 configurationsNon précisée78,6 %25,5
18Llama 2-70BMeta AI · poids ouverts · 4 configurationsNon précisée78,3 %24,9
18Gemma 7BGoogle DeepMind · poids ouverts · 3 configurationsNon précisée78,3 %24,9
20Phi-2Microsoft · poids ouvertsNon précisée75,9 %20,9
21Qwen-7BAlibaba · poids ouvertsNon précisée75,3 %20,0
22Qwen2.5-Coder-32BAlibaba · poids ouvertsNon précisée70,5 %12,6
23LLaMA-65BMeta AI · poids ouverts · 3 configurationsNon précisée69,5 %11,1
23internlm-7bShanghai AI LaboratoryNon précisée69,5 %11,1
25PaLM 2-LGoogle DeepMind · 2 configurationsNon précisée69,2 %10,7
26Falcon-180BTechnology Innovation Institute · poids ouverts · 2 configurationsNon précisée67,8 %8,6
27LLaMA-33BMeta AI · poids ouverts · 4 configurationsNon précisée67,5 %8,2
28Qwen2.5-Coder-14BAlibabaNon précisée66 %6,0
29PaLM 2-MGoogle DeepMind · 2 configurationsNon précisée64,9 %4,5
30DeepSeek-Coder-V2 236BDeepSeek · poids ouvertsNon précisée64,3 %3,6
31Falcon-40BTechnology Innovation Institute · poids ouverts · 4 configurationsNon précisée61,9 %0,1
32chatglm2-6bZ.ai (Zhipu AI)Non précisée61 %-1,1
33Qwen2.5-Coder (7B)Alibaba · poids ouvertsNon précisée60,9 %-1,2
34Llama 2-13BMeta AI · poids ouverts · 6 configurationsNon précisée60,3 %-2,1
35PaLM 2-SGoogle DeepMind · 2 configurationsNon précisée59,6 %-3,1
36DeepSeek-Coder-V2-Lite-BaseDeepSeekNon précisée57,3 %-6,4
37Yi-9B01.AINon précisée55,6 %-8,8
38Nemotron-4 15BNVIDIANon précisée55,5 %-9,0
39INTELLECT-1Prime IntellectNon précisée54,5 %-10,4
40Llama 2-34BMeta AI · 3 configurationsNon précisée54,5 %-10,5
41InstructGPT 175BOpenAI · 5 configurationsNon précisée53,2 %-12,4
41Qwen-1_8BAlibabaNon précisée53,2 %-12,4
43Qwen2.5-Coder-3BAlibabaNon précisée52,9 %-12,9
44LLaMA-13BMeta AI · poids ouverts · 3 configurationsNon précisée52,7 %-13,2
45PaLM 62BGoogle DeepMindNon précisée52,5 %-13,5
46MPT-30BMosaicML · poids ouvertsNon précisée50,6 %-16,4
47Yi 6B01.AI · poids ouvertsNon précisée50,3 %-16,9
48Falcon-7BTechnology Innovation Institute · poids ouverts · 7 configurationsNon précisée47,9 %-20,9
49LLaMA-7BMeta AI · poids ouverts · 5 configurationsNon précisée47,6 %-21,3
50StarCoder 2 15BHugging Face · poids ouvertsNon précisée47,2 %-22,0
51Llama 2-7BMeta AI · poids ouverts · 6 configurationsNon précisée45,9 %-24,2
52Qwen2.5-Coder (1.5B)Alibaba · poids ouvertsNon précisée45,2 %-25,5
53Phi-1.5Microsoft · poids ouvertsNon précisée44,4 %-26,9
54vicuna-13b-v1.1Non précisée43,2 %-29,2
55MPT-7BMosaicML · poids ouverts · 4 configurationsNon précisée42,6 %-30,4
56DeepSeek Coder 33BDeepSeek · poids ouvertsNon précisée42,2 %-31,2
57Gemma 2BGoogle DeepMind · poids ouvertsNon précisée42,1 %-31,4
58XGen-7BSalesforce · poids ouvertsNon précisée41,2 %-33,2
59GPT-NeoX-20BEleutherAI · poids ouvertsNon précisée41,1 %-33,4
60Dolly 2.0-12bDatabricks · poids ouvertsNon précisée39,6 %-36,7
61RedPajama-INCITE-7B-BaseNon précisée39,1 %-37,8
62StarCoder 2 7BHugging Face · poids ouvertsNon précisée38,7 %-38,8
62open_llama_7bNon précisée38,7 %-38,8
64Baichuan2-13BBaichuan · poids ouvertsNon précisée38 %-40,5
65DeepSeek Coder 6.7BDeepSeek · poids ouvertsNon précisée36,4 %-44,6
66GPT-J-6BEleutherAI · poids ouvertsNon précisée36,3 %-44,9
67opt-13bMeta AINon précisée35,8 %-46,3
68CodeQwen1.5-7BAlibabaNon précisée35,7 %-46,6
69Qwen2.5-Coder-0.5BAlibabaNon précisée34,4 %-50,6
70StarCoder 2 3BHugging Face · poids ouvertsNon précisée34,2 %-51,2
71Baichuan 2-7BBaichuan · poids ouvertsNon précisée32,5 %-57,3
72Cerebras-GPT-13BCerebras Systems · poids ouvertsNon précisée32,4 %-57,7
73stablelm-tuned-alpha-7bStability AINon précisée27 %-94,6
74DeepSeek Coder 1.3BDeepSeek · poids ouvertsNon précisée25,4 %-121,1
75GPT-2 (1.5B)OpenAI · poids ouvertsNon précisée25 %-121,1
76OPT-1.3BMeta AI · poids ouvertsNon précisée23,2 %-121,1

En bref

Que mesure ARC (AI2 Reasoning Challenge) ?
Des questions de sciences de niveau école et collège, à choix multiples, choisies pour résister à une simple recherche de mots-clés. C'est un test historique, hors des scores d'aujourd'hui.
Comment ARC (AI2 Reasoning Challenge) est-il noté ?
Part de bonnes réponses sur la partie difficile du jeu (Challenge) ; le hasard donne 25 %. Un modèle qui obtient 62 % a un score IA d'environ 1.
Qui est en tête sur ARC (AI2 Reasoning Challenge) ?
DeepSeek-V3 et Llama 3.1-405B sont en tête d'ARC (AI2 Reasoning Challenge) avec 95,3 %, dans l'édition du 9 novembre 2026. Suivent Qwen2.5-72B (94,5 %) et DeepSeek-V2 (MoE-236B, May 2024) (92,2 %). 76 modèles y sont mesurés.
Quelles sont les limites d'ARC (AI2 Reasoning Challenge) ?
Test de 2018, saturé par les modèles récents. À ne pas confondre avec ARC-AGI, qui porte sur des puzzles de grilles. Au 9 novembre 2026, le benchmark est archivé.
Combien pèse ARC (AI2 Reasoning Challenge) dans le score IA ?
ARC (AI2 Reasoning Challenge) compte pour 0 % du score général, dans l'édition du 9 novembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Qui maintient ARC (AI2 Reasoning Challenge) ?
Allen Institute for AI. Sa page de référence : allenai.org/data/arc.

Les autres tests historiques

Tous les benchmarks →Comment le score IA est calculé →