Aller au contenu
EN 4 QUESTIONSTrouver mon modèle

SciencesFiche benchmark · Center for AI Safety et Scale AI · lastexam.ai

Humanity's Last Exam

2 500 questions de niveau expert dans plus de cent disciplines, écrites par près de mille chercheurs pour mettre les modèles en échec.

À quoi il sert

Sur QUELLE IA, Humanity's Last Exam sert à noter la tâche Sciences et savoir expert : c'est l'un de ses 5 benchmarks. Il départage surtout les modèles dont le score IA approche 97.

Comment c'est noté

Part de réponses exactes ; le classement publie aussi l'erreur de calibration, qui mesure l'excès de confiance du modèle.

Pour le calcul, ce score est ramené entre 0 et 1 : 5 %, le niveau du hasard, vaut 0 et 100 % vaut 1.

Ce qu'il ne dit pas

Epoch le classe « défectueux » : sur 48 questions vérifiées, 22 avaient un énoncé ou un corrigé fautif, ce qui borne le score atteignable.

Qui le tient

Center for AI Safety et Scale AI.

lastexam.ai · tâche Sciences · 46 modèles mesurés

Comment lire le score

46 modèles mesurés · 56 mesures

En tête : GPT-6 Astra, 54,8 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 52 % a un score IA d'environ 97. Le meilleur, GPT-6 Astra, atteint 54,8 %. Le benchmark sera dit saturé quand un modèle atteindra 95,2 %.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024)
7 %
Score IA 76niveau de Claude Sonnet 4.5
19 %
Score IA 100niveau de Claude Opus 5.5
58 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

2 %du score général. Humanity's Last Exam porte 20 % de la tâche Sciences et savoir expert (10 % du score général), que se partagent 5 benchmarks.

En couleur, la tâche Sciences et savoir expert dans le score général. En noir, la part de Humanity's Last Exam.

Le classement du benchmark

Scores relevés sur epoch.ai · édition du
RangModèleRéflexionScore publiéÉquivaut à?Source
1GPT-6 AstraOpenAINon précisée54,8 %98,3
2Claude Fable 5.1AnthropicMaximale46,5 %94,1
3Gemini 3.1 ProGoogle DeepMindNon précisée46,4 %94,1
4Claude Sonnet 5.5AnthropicMaximale46,1 %93,9
5Gemini 3.8 FlashGoogle DeepMindNon précisée44,5 %93,1
6GPT-5.4 ProOpenAINon précisée44,3 %93,0
7Muse SparkMeta AINon précisée40,6 %91,1
8Gemini 3 ProGoogle DeepMindNon précisée37,5 %89,4
9GPT-5.4OpenAIMaximale36,2 %88,7
10Claude Opus 4.7AnthropicNon précisée36,2 %88,7
46 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 46 →Replier le classement ↑
11Claude Opus 4.6Anthropic · 2 configurationsMaximale34,4 %87,7
12GPT-5 ProOpenAINon précisée31,6 %86,0
13Claude Haiku 5.5AnthropicNon précisée30,1 %85,0
14GPT-5.2OpenAINon précisée27,8 %83,5
15GPT-5OpenAI · 2 configurationsNon précisée25,3 %81,7
16Claude Opus 4.5Anthropic · 2 configurationsNon précisée25,2 %81,6
17Kimi K2.5Moonshot · poids ouvertsNon précisée24,4 %81,0
18GPT-5.1OpenAI · 2 configurationsNon précisée23,7 %80,5
19Gemini 2.5 Pro (Jun 2025)Google DeepMindNon précisée21,6 %78,8
20o3OpenAI · 2 configurationsÉlevée20,3 %77,6
21GPT-5 miniOpenAINon précisée19,4 %76,8
22Gemini 2.5 Pro (Mar 2025)Google DeepMindNon précisée18,2 %75,5
23o4-miniOpenAI · 2 configurationsÉlevée18,1 %75,5
24Gemini 2.5 Pro (May 2025)Google DeepMindNon précisée17,8 %75,2
25Claude Sonnet 4.5Anthropic · 2 configurationsNon précisée13,7 %70,1
26Gemini 2.5 Flash (Apr 2025)Google DeepMindNon précisée12,1 %67,5
27Claude Opus 4.1Anthropic · 2 configurationsNon précisée11,5 %66,4
28Gemini 2.5 Flash (May 2025)Google DeepMindNon précisée11 %65,3
29Claude Opus 4Anthropic · 2 configurationsNon précisée10,7 %64,8
30Gemini 3.1 Flash-LiteGoogle DeepMindNon précisée8,6 %59,4
31GLM-4.5Z.ai (Zhipu AI) · poids ouvertsNon précisée8,3 %58,3
32o1-proOpenAINon précisée8,1 %57,6
32GLM-4.5-AirZ.ai (Zhipu AI) · poids ouvertsNon précisée8,1 %57,6
34Claude 3.7 SonnetAnthropicNon précisée8 %57,3
35o1OpenAINon précisée8 %57,0
36Claude Sonnet 4Anthropic · 2 configurationsNon précisée7,8 %56,2
37Gemini 2.0 Flash Thinking (Jan 2025)Google DeepMindNon précisée6,6 %49,9
38Llama 4 MaverickMeta AI · poids ouvertsNon précisée5,7 %42,5
39GPT-4.5OpenAINon précisée5,4 %42,5
40GPT-4.1OpenAINon précisée5,4 %42,5
41Gemini 1.5 Pro (Sept 2024)Google DeepMindNon précisée4,6 %42,5
42Mistral Medium 3Mistral AINon précisée4,5 %42,5
43Amazon Nova ProAmazonNon précisée4,4 %42,5
44Claude 3.5 Sonnet (October 2024)AnthropicNon précisée4,1 %42,5
45Amazon Nova LiteAmazonNon précisée3,6 %42,5
46GPT-4o (Nov 2024)OpenAINon précisée2,7 %42,5

En bref

Que mesure Humanity's Last Exam ?
2 500 questions de niveau expert dans plus de cent disciplines, écrites par près de mille chercheurs pour mettre les modèles en échec. Sur QUELLE IA, il est rangé dans la tâche Sciences et savoir expert.
Comment Humanity's Last Exam est-il noté ?
Part de réponses exactes ; le classement publie aussi l'erreur de calibration, qui mesure l'excès de confiance du modèle. Un modèle qui obtient 52 % a un score IA d'environ 97.
Qui est en tête sur Humanity's Last Exam ?
GPT-6 Astra (OpenAI) est en tête de Humanity's Last Exam avec 54,8 %, dans l'édition du 9 novembre 2026. Suivent Claude Fable 5.1 (46,5 %) et Gemini 3.1 Pro (46,4 %). 46 modèles y sont mesurés.
Quelles sont les limites de Humanity's Last Exam ?
Epoch le classe « défectueux » : sur 48 questions vérifiées, 22 avaient un énoncé ou un corrigé fautif, ce qui borne le score atteignable. Au 9 novembre 2026, le benchmark est actif.
Combien pèse Humanity's Last Exam dans le score IA ?
Humanity's Last Exam compte pour 2 % du score général, dans l'édition du 9 novembre 2026. Il porte 20 % de la tâche Sciences et savoir expert (10 % du score général), que se partagent 5 benchmarks.
Qui maintient Humanity's Last Exam ?
Center for AI Safety et Scale AI. Sa page de référence : lastexam.ai.

Les autres benchmarks de la tâche Sciences et savoir expert

Tous les benchmarks →Comment le score IA est calculé →