Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

RaisonnementFiche benchmark · ARC Prize Foundation (test créé par François Chollet en 2019) · arcprize.org

ARC-AGI-1

Des puzzles de grilles colorées : déduire une règle à partir de quelques exemples et l'appliquer à une nouvelle grille.

SATURÉ

À quoi il sert

Sur QUELLE IA, ARC-AGI-1 sert à noter la tâche Raisonnement : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 74.

Comment c'est noté

Part de puzzles résolus exactement sur le jeu semi-privé de l'ARC Prize (100 tâches).

Ce qu'il ne dit pas

Facile pour un humain et désormais presque résolu : les meilleurs systèmes dépassent 95 %, parfois au prix de dizaines de dollars par puzzle.

Comment lire le score

96 modèles mesurés · 309 mesures

En tête : 6 modèles, 98,5 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 74. 6 modèles partagent la première place avec 98,5 %. Le seuil de saturation (95 %) est franchi : au sommet, les meilleurs modèles ne se départagent plus.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
2 %
Score IA 76niveau de Claude Sonnet 4.5
60 %
Score IA 100niveau de Claude Opus 5.5
99 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

1,67 %du score général. ARC-AGI-1 porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.

En couleur, la tâche Raisonnement dans le score général. En noir, la part d'ARC-AGI-1.

Le classement du benchmark

Scores relevés auprès de 2 sources · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1Claude Opus 5.5Anthropic · 5 configurationsÉlevée98,5 %98,7
1GPT-6 AstraOpenAI · 6 configurationsMaximale98,5 %98,7
1GPT-6.1 SolOpenAI · 5 configurationsÉlevée98,5 %98,7
1Gemini 4 ArgonGoogle DeepMind · 3 configurationsMoyenne98,5 %98,7
1Claude Fable 5Anthropic · 5 configurationsMaximale98,5 %98,7
1Gemini 3.8 FlashGoogle DeepMind · 3 configurationsÉlevée98,5 %98,7
7Gemini 3.1 ProGoogle DeepMindNon précisée98 %96,9
8Claude Fable 5.1Anthropic · 5 configurationsMaximale97,5 %95,6
8Claude Opus 5Anthropic · 3 configurationsÉlevée97,5 %95,6
8GPT-5.6 SolOpenAI · 6 configurationsMaximale97,5 %95,6
96 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 96 →Replier le classement ↑
11Claude Sonnet 5.5Anthropic · 5 configurationsMaximale96,5 %93,6
11GPT-5.5 ProOpenAI · 3 configurationsÉlevée96,5 %93,6
11GPT-5.6 TerraOpenAI · 6 configurationsMaximale96,5 %93,6
14Gemini 3 Deep ThinkGoogle DeepMind · 3 configurationsNon précisée96 %92,7
15GPT-6 SolOpenAI · 6 configurationsMaximale95,5 %92,0
15Gemini 3.7 FlashGoogle DeepMind · 3 configurationsÉlevée95,5 %92,0
17GPT-5.5OpenAI · 5 configurationsMaximale95 %91,4
18GPT-5.4 ProOpenAI · 2 configurationsMaximale94,5 %90,8
18DeepSeek V4.1 Flash 1017DeepSeek · poids ouverts · 4 configurationsÉlevée94,5 %90,8
18Kimi K3Moonshot · poids ouverts · 3 configurationsMaximale94,5 %90,8
18DeepSeek V4.1 FlashDeepSeek · poids ouverts · 4 configurationsMaximale94,5 %90,8
22Claude Opus 4.6Anthropic · 5 configurationsBudget94 %90,2
23GPT-5.4OpenAI · 5 configurationsMaximale93,7 %89,9
24Claude Opus 4.7Anthropic · 6 configurationsÉlevée93,5 %89,7
25Claude Opus 4.8Anthropic · 4 configurationsMaximale92,5 %88,8
25Gemini 3.5 FlashGoogle DeepMind · 2 configurationsÉlevée92,5 %88,8
27Gemini 3.6 FlashGoogle DeepMind · 4 configurationsÉlevée91,2 %87,8
28GLM-5.3-FlashZ.ai (Zhipu AI) · poids ouverts · 3 configurationsMaximale91 %87,6
29GPT-5.2 ProOpenAI · 5 configurationsMaximale90,5 %87,3
29DeepSeek V4 Pro 0813DeepSeek · poids ouverts · 4 configurationsFaible90,5 %87,3
31Grok 4.7xAI · 4 configurationsÉlevée90,2 %87,1
32Grok 4.20xAINon précisée89,5 %86,6
33Claude Haiku 5.5Anthropic · 5 configurationsMaximale89 %86,3
33DeepSeek V4 Flash 0731DeepSeek · poids ouverts · 4 configurationsMaximale89 %86,3
33Muse Spark OpenMeta AI · poids ouverts · 4 configurationsMaximale89 %86,3
36GPT-5.6 LunaOpenAI · 6 configurationsMaximale88 %85,8
37Grok 4.6xAI · 4 configurationsMoyenne87,5 %85,5
37Qwen 3.8 27BAlibaba · poids ouverts · 4 configurationsMaximale87,5 %85,5
39Grok 4.5xAI · 3 configurationsMoyenne87,2 %85,3
40GPT-6 LunaOpenAI · 6 configurationsMaximale86,7 %85,0
41Claude Sonnet 4.6Anthropic · 2 configurationsÉlevée86,5 %85,0
42GPT-5.2OpenAI · 8 configurationsMaximale86,2 %84,8
43Gemini 3 FlashGoogle DeepMind · 4 configurationsNon précisée84,7 %84,1
44Inkling-SmallThinking Machines · poids ouverts · 6 configurationsMaximale84 %83,8
45Claude Opus 4.5Anthropic · 7 configurationsBudget80 %82,2
46InklingThinking Machines · poids ouvertsNon précisée79,5 %82,0
47GLM-5.2Z.ai (Zhipu AI) · poids ouvertsNon précisée77 %81,1
48Gemini 3 ProGoogle DeepMindNon précisée75 %80,5
49Beam 1.0Reflection · poids ouverts · 4 configurationsMaximale74 %80,2
50GPT-5.1OpenAI · 6 configurationsÉlevée72,8 %79,8
51GPT-5 ProOpenAI · 2 configurationsÉlevée70,2 %79,1
52Grok 4xAINon précisée66,7 %78,1
53GPT-5OpenAI · 4 configurationsÉlevée65,7 %77,8
54Kimi K2.5Moonshot · poids ouvertsNon précisée65,3 %77,7
55GPT-5.4 MiniOpenAI · 5 configurationsMaximale63,7 %77,3
55Claude Sonnet 4.5Anthropic · 5 configurationsBudget63,7 %77,3
55MiniMax-M2.5MiniMax · poids ouvertsNon précisée63,7 %77,3
58o3OpenAI · 3 configurationsÉlevée60,8 %76,6
59o3-proOpenAI · 3 configurationsÉlevée59,3 %76,2
60o4-miniOpenAI · 3 configurationsÉlevée58,7 %76,1
61DeepSeek-V3.2DeepSeek · poids ouvertsNon précisée57 %75,7
62GPT-5 miniOpenAI · 4 configurationsÉlevée54,3 %75,0
63Gemini 3.5 Flash-LiteGoogle DeepMind · 4 configurationsÉlevée53,5 %74,8
64GPT-5.4 NanoOpenAI · 5 configurationsMaximale51,5 %74,4
65Grok 4 FastxAINon précisée48,5 %73,7
66Claude Haiku 4.5Anthropic · 5 configurationsBudget47,7 %73,5
67GLM-5Z.ai (Zhipu AI) · poids ouvertsNon précisée44,7 %72,8
68Gemini 2.5 Pro (Jun 2025)Google DeepMind · 5 configurationsBudget41 %71,9
69tiny-recursion-modelNon précisée40 %71,6
69Claude Sonnet 4Anthropic · 4 configurationsBudget40 %71,6
71Claude Opus 4Anthropic · 4 configurationsBudget35,7 %70,5
72o3-miniOpenAI · 3 configurationsÉlevée34,5 %70,2
73Gemini 2.5 Flash (May 2025)Google DeepMind · 5 configurationsNon précisée33,3 %69,9
74Gemini 2.5 Pro (Mar 2025)Google DeepMindNon précisée33 %69,8
75Gemini 2.5 Flash (Apr 2025)Google DeepMindNon précisée32,3 %69,7
76o1OpenAI · 2 configurationsMoyenne30,7 %69,2
77Claude 3.7 SonnetAnthropic · 4 configurationsBudget28,6 %68,6
78codex-mini-2025-05-16OpenAINon précisée27,3 %68,3
79o1-proOpenAIFaible23,3 %67,0
80DeepSeek-R1 (May 2025)DeepSeek · poids ouvertsNon précisée21,2 %66,3
81GPT-5 nanoOpenAI · 4 configurationsMoyenne20,7 %66,1
82o1-previewOpenAINon précisée18 %65,1
83Grok-3 minixAI · 2 configurationsFaible16,5 %64,5
84DeepSeek-R1DeepSeek · poids ouvertsNon précisée15,8 %64,2
85o1-miniOpenAI · 2 configurationsMoyenne14 %63,3
86Qwen3-235B-A22B-Instruct (Jul 2025)Alibaba · poids ouvertsNon précisée11 %61,7
87GPT-4.5OpenAINon précisée10,3 %61,3
88Magistral Medium 1.1Mistral AI · 2 configurationsNon précisée6,1 %57,9
89Grok 3xAINon précisée5,5 %57,3
89GPT-4.1OpenAINon précisée5,5 %57,3
91Magistral Small 1.0Mistral AI · poids ouvertsNon précisée5 %56,7
92GPT-4o (Nov 2024)OpenAINon précisée4,5 %56,0
93Llama 4 MaverickMeta AI · poids ouvertsNon précisée4,4 %55,9
94GPT-4.1 miniOpenAINon précisée3,5 %54,5
95Llama 4 ScoutMeta AI · poids ouvertsNon précisée0,5 %46,9
96GPT-4.1 nanoOpenAINon précisée0 %46,9

En bref

Que mesure ARC-AGI-1 ?
Des puzzles de grilles colorées : déduire une règle à partir de quelques exemples et l'appliquer à une nouvelle grille. Sur QUELLE IA, il est rangé dans la tâche Raisonnement.
Comment ARC-AGI-1 est-il noté ?
Part de puzzles résolus exactement sur le jeu semi-privé de l'ARC Prize (100 tâches). Un modèle qui obtient 50 % a un score IA d'environ 74.
Qui est en tête sur ARC-AGI-1 ?
Claude Opus 5.5, GPT-6 Astra, GPT-6.1 Sol et 3 autres sont en tête d'ARC-AGI-1 avec 98,5 %, dans l'édition du 9 novembre 2026. Suivent Gemini 3.1 Pro (98 %) et Claude Fable 5.1 (97,5 %). 96 modèles y sont mesurés.
Quelles sont les limites d'ARC-AGI-1 ?
Facile pour un humain et désormais presque résolu : les meilleurs systèmes dépassent 95 %, parfois au prix de dizaines de dollars par puzzle. Au 9 novembre 2026, le benchmark est saturé.
Combien pèse ARC-AGI-1 dans le score IA ?
ARC-AGI-1 compte pour 1,67 % du score général, dans l'édition du 9 novembre 2026. Il porte 11 % de la tâche Raisonnement (15 % du score général), que se partagent 9 benchmarks. Saturé, il garde ce poids, mais il ne départage presque plus les meilleurs modèles.
Qui maintient ARC-AGI-1 ?
ARC Prize Foundation (test créé par François Chollet en 2019). Sa page de référence : arcprize.org/arc-agi/1.

Les autres benchmarks de la tâche Raisonnement

Tous les benchmarks →Comment le score IA est calculé →