Comment WinoGrande est-il noté ?

Part de bonnes réponses entre deux choix ; le hasard donne 50 %. Un modèle qui obtient 75 % a un score IA d'environ 8.

Qui est en tête sur WinoGrande ?

Llama 3.1-405B (Meta AI) est en tête de WinoGrande avec 89,2 %, dans l'édition du 9 novembre 2026. Suivent Claude 3 Opus (88,5 %) et GPT-4 (Mar 2023) (87,5 %). 77 modèles y sont mesurés.

Quelles sont les limites de WinoGrande ?

Test de 2019 saturé. Les scores viennent d'articles aux réglages variés. Au 9 novembre 2026, le benchmark est archivé.

Combien pèse WinoGrande dans le score IA ?

WinoGrande compte pour 0 % du score général, dans l'édition du 9 novembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.

Qui maintient WinoGrande ?

Allen Institute for AI (Sakaguchi et al., 2019). Sa page de référence : winogrande.allenai.org.

Test historiqueFiche benchmark · Allen Institute for AI (Sakaguchi et al., 2019) · winogrande.allenai.org

WinoGrande

Trouver à quoi renvoie un pronom ambigu dans une phrase, ce qui demande du bon sens et une connaissance du monde.

ARCHIVÉ

À quoi il sert

WinoGrande est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.

Comment c'est noté

Part de bonnes réponses entre deux choix ; le hasard donne 50 %.

Pour le calcul, ce score est ramené entre 0 et 1 : 50 %, le niveau du hasard, vaut 0 et 100 % vaut 1.

Ce qu'il ne dit pas

Test de 2019 saturé. Les scores viennent d'articles aux réglages variés.

Qui le tient

Allen Institute for AI (Sakaguchi et al., 2019).

winogrande.allenai.org · test historique · 77 modèles mesurés

Comment lire le score

77 modèles mesurés · 137 mesures

Seuil de saturation : 97,5 % ↓

0 %50 %Llama 3.1-405B : 89,2 %100 %

En tête : Llama 3.1-405B, 89,2 %

Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 75 % a un score IA d'environ 8. Le meilleur, Llama 3.1-405B, atteint 89,2 %. Le benchmark est archivé, faute de modèle récent mesuré.

Ce que ce benchmark attend à chaque niveau

Score IA 51niveau de GPT-4o (Nov 2024): 85 %
Score IA 76niveau de Claude Sonnet 4.5: 89 %
Score IA 100niveau de Claude Opus 5.5: 93 %

Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche

Son poids chez nous

0 %du score général. WinoGrande est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.

Le classement du benchmark

Scores relevés sur epoch.ai · édition du 9 novembre 2026

RangModèleRéflexionScore publiéÉquivaut à?Source

1Llama 3.1-405BMeta AI · poids ouverts · 2 configurationsNon précisée89,2 %75,2

2Claude 3 OpusAnthropicNon précisée88,5 %71,0

3GPT-4 (Mar 2023)OpenAI · 2 configurationsNon précisée87,5 %65,3

4Falcon-180BTechnology Innovation Institute · poids ouvertsNon précisée87,1 %63,1

5DeepSeek-V2 (MoE-236B, May 2024)DeepSeek · poids ouvertsNon précisée86,3 %58,9

6DeepSeek-V3DeepSeek · poids ouvertsNon précisée85,2 %53,3

7PaLM (540B)Google Research · 5 configurationsNon précisée85,1 %52,8

8DeepSeek-Coder-V2 236BDeepSeek · poids ouvertsNon précisée83,7 %46,0

9Llama 3-70BMeta AI · poids ouvertsNon précisée83,5 %45,1

10PaLM 2-LGoogle DeepMindNon précisée83 %42,7

77 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 77 →Replier le classement ↑

11Qwen2.5-72BAlibaba · poids ouvertsNon précisée82,3 %39,5

12davinci-002OpenAINon précisée81,6 %36,4

12GPT-3.5 Turbo (Jun 2023)OpenAINon précisée81,6 %36,4

14phi-3-medium 14BMicrosoft · poids ouvertsNon précisée81,5 %35,9

14phi-3-small 7.4BMicrosoft · poids ouvertsNon précisée81,5 %35,9

16Qwen2.5-Coder-32BAlibaba · poids ouvertsNon précisée80,8 %32,9

17Llama 2-70BMeta AI · poids ouvertsNon précisée80,2 %30,2

18GLaMGoogle DeepMind · 3 configurationsNon précisée79,2 %25,9

18PaLM 2-MGoogle DeepMindNon précisée79,2 %25,9

20Gemma 7BGoogle DeepMind · poids ouverts · 3 configurationsNon précisée79 %25,1

21Megatron-Turing NLG 530BMicrosoft · 4 configurationsNon précisée78,9 %24,7

22Falcon 2 11BTechnology Innovation Institute · poids ouverts · 2 configurationsNon précisée78,3 %22,1

23Nemotron-4 15BNVIDIANon précisée78 %20,9

24PaLM 2-SGoogle DeepMindNon précisée77,9 %20,4

25InstructGPT 175BOpenAI · 13 configurationsNon précisée77,7 %19,6

26Mixtral 8x7BMistral AI · poids ouverts · 2 configurationsNon précisée77,2 %17,5

27LLaMA-65BMeta AI · poids ouverts · 2 configurationsNon précisée77 %16,7

27PaLM 62BGoogle DeepMind · 2 configurationsNon précisée77 %16,7

29Falcon-40BTechnology Innovation Institute · poids ouverts · 3 configurationsNon précisée76,9 %16,2

30Qwen2.5-Coder-14BAlibabaNon précisée76,8 %15,8

31Llama 2-34BMeta AI · 2 configurationsNon précisée76,7 %15,4

32LLaMA-33BMeta AI · poids ouverts · 2 configurationsNon précisée76 %12,5

33Llama 3-8BMeta AI · poids ouverts · 2 configurationsNon précisée75,7 %11,3

34Mistral 7B v0.1Mistral AI · poids ouverts · 5 configurationsNon précisée75,3 %9,6

35Claude 3 SonnetAnthropicNon précisée75,1 %8,8

36ChinchillaDeepMind · 2 configurationsNon précisée74,9 %7,9

37Claude 3 HaikuAnthropicNon précisée74,2 %5,0

38Phi-1.5Microsoft · poids ouvertsNon précisée73,4 %1,7

39Yi-9B01.AINon précisée73 %0,0

39LLaMA-13BMeta AI · poids ouverts · 3 configurationsNon précisée73 %0,0

41Qwen2.5-Coder (7B)Alibaba · poids ouvertsNon précisée72,9 %-0,4

41DeepSeek-Coder-V2-Lite-BaseDeepSeekNon précisée72,9 %-0,4

43Llama 2-13BMeta AI · poids ouverts · 3 configurationsNon précisée72,8 %-0,8

44Yi 6B01.AI · poids ouvertsNon précisée71,3 %-7,1

45MPT-30BMosaicML · poids ouvertsNon précisée71 %-8,4

46phi-3-mini 3.8BMicrosoft · poids ouvertsNon précisée70,8 %-9,2

46vicuna-13b-v1.1Non précisée70,8 %-9,2

48Gopher (280B)DeepMind · 5 configurationsNon précisée70,2 %-11,8

49LLaMA-7BMeta AI · poids ouverts · 5 configurationsNon précisée70,1 %-12,2

50Llama 2-7BMeta AI · poids ouverts · 3 configurationsNon précisée69,2 %-16,2

51GPT-3.5 Turbo (Nov 2023)OpenAINon précisée68,8 %-17,9

52MPT-7BMosaicML · poids ouverts · 3 configurationsNon précisée68,6 %-18,8

53Qwen2.5-Coder-3BAlibabaNon précisée67,4 %-24,2

54Falcon-7BTechnology Innovation Institute · poids ouverts · 5 configurationsNon précisée67,2 %-25,1

55open_llama_7bNon précisée67 %-26,0

56GPT-NeoX-20BEleutherAI · poids ouvertsNon précisée66,1 %-30,3

57INTELLECT-1Prime IntellectNon précisée65,8 %-31,6

58Gemma 2BGoogle DeepMind · poids ouvertsNon précisée65,4 %-33,6

59XGen-7BSalesforce · poids ouvertsNon précisée64,9 %-36,1

60opt-13bMeta AINon précisée64,7 %-37,1

61GPT-J-6BEleutherAI · poids ouvertsNon précisée64,5 %-38,1

62StarCoder 2 15BHugging Face · poids ouvertsNon précisée64,3 %-39,1

63RedPajama-INCITE-7B-BaseNon précisée63,8 %-41,7

64DeepSeek Coder 33BDeepSeek · poids ouvertsNon précisée62 %-51,4

65Dolly 2.0-12bDatabricks · poids ouvertsNon précisée61,8 %-52,6

66OPT-1.3BMeta AI · poids ouvertsNon précisée61 %-57,3

67Cerebras-GPT-13BCerebras Systems · poids ouvertsNon précisée60,8 %-58,5

68Qwen2.5-Coder (1.5B)Alibaba · poids ouvertsNon précisée60,7 %-59,1

69CodeQwen1.5-7BAlibabaNon précisée59,8 %-64,8

70GPT-2 (1.5B)OpenAI · poids ouverts · 2 configurationsNon précisée58,3 %-75,4

71DeepSeek Coder 6.7BDeepSeek · poids ouvertsNon précisée57,6 %-80,8

72StarCoder 2 3BHugging Face · poids ouvertsNon précisée57,1 %-84,9

72StarCoder 2 7BHugging Face · poids ouvertsNon précisée57,1 %-84,9

74Qwen2.5-Coder-0.5BAlibabaNon précisée54,8 %-107,9

75Phi-2Microsoft · poids ouvertsNon précisée54,7 %-109,1

76DeepSeek Coder 1.3BDeepSeek · poids ouvertsNon précisée53,3 %-129,1

77stablelm-tuned-alpha-7bStability AINon précisée51,5 %-171,9

En bref

Que mesure WinoGrande ?: Trouver à quoi renvoie un pronom ambigu dans une phrase, ce qui demande du bon sens et une connaissance du monde. C'est un test historique, hors des scores d'aujourd'hui.
Comment WinoGrande est-il noté ?: Part de bonnes réponses entre deux choix ; le hasard donne 50 %. Un modèle qui obtient 75 % a un score IA d'environ 8.
Qui est en tête sur WinoGrande ?: Llama 3.1-405B (Meta AI) est en tête de WinoGrande avec 89,2 %, dans l'édition du 9 novembre 2026. Suivent Claude 3 Opus (88,5 %) et GPT-4 (Mar 2023) (87,5 %). 77 modèles y sont mesurés.
Quelles sont les limites de WinoGrande ?: Test de 2019 saturé. Les scores viennent d'articles aux réglages variés. Au 9 novembre 2026, le benchmark est archivé.
Combien pèse WinoGrande dans le score IA ?: WinoGrande compte pour 0 % du score général, dans l'édition du 9 novembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Qui maintient WinoGrande ?: Allen Institute for AI (Sakaguchi et al., 2019). Sa page de référence : winogrande.allenai.org.

Les autres tests historiques

Tous les benchmarks →Comment le score IA est calculé →