À quoi il sert
LAMBADA est un test historique : il ne compte dans aucun score d'aujourd'hui. Il sert à situer les anciens modèles sur la même échelle que les nouveaux.
Test historiqueFiche benchmark · Paperno et al. (université de Trente, 2016) · arxiv.org
LAMBADA
Deviner le dernier mot d'un passage de roman, ce qui exige d'avoir suivi tout le paragraphe.
Comment c'est noté
Part de mots exactement retrouvés.
Ce qu'il ne dit pas
Test de 2016, pensé pour les modèles d'avant ChatGPT. Les scores viennent d'articles anciens aux réglages variés.
Qui le tient
Paperno et al. (université de Trente, 2016).
arxiv.org/abs/1606.06031 · test historique · 26 modèles mesurés
Comment lire le score
26 modèles mesurés · 53 mesuresSeuil de saturation : 95 % ↓
0 %50 %Megatron-Turing NLG 530B : 87,2 %100 %
En tête : Megatron-Turing NLG 530B, 87,2 %
Chaque trait est un modèle, placé à son meilleur score. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 83 %. Le meilleur, Megatron-Turing NLG 530B, atteint 87,2 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 83 %
- Score IA 76niveau de Claude Sonnet 4.5
- 86 %
- Score IA 100niveau de Claude Opus 5.5
- 88 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. LAMBADA est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
26 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 26 →Replier le classement ↑
En bref
- Que mesure LAMBADA ?
- Deviner le dernier mot d'un passage de roman, ce qui exige d'avoir suivi tout le paragraphe. C'est un test historique, hors des scores d'aujourd'hui.
- Comment LAMBADA est-il noté ?
- Part de mots exactement retrouvés. Le test est devenu facile : d'après sa courbe d'étalonnage, un modèle de score IA 51 y obtient déjà environ 83 %.
- Qui est en tête sur LAMBADA ?
- Megatron-Turing NLG 530B (Microsoft) est en tête de LAMBADA avec 87,2 %, dans l'édition du 28 septembre 2026. Suivent InstructGPT 175B (86,4 %) et Falcon-180B (79,8 %). 26 modèles y sont mesurés.
- Quelles sont les limites de LAMBADA ?
- Test de 2016, pensé pour les modèles d'avant ChatGPT. Les scores viennent d'articles anciens aux réglages variés. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse LAMBADA dans le score IA ?
- LAMBADA compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est un test historique : il n'entre dans aucun score d'aujourd'hui et sert à situer les anciens modèles sur l'échelle commune.
- Qui maintient LAMBADA ?
- Paperno et al. (université de Trente, 2016). Sa page de référence : arxiv.org/abs/1606.06031.
Les autres tests historiques
- MMLU127 modèles · hors scoreARCHIVÉ
- WinoGrande77 modèles · hors scoreARCHIVÉ
- ARC (AI2 Reasoning Challenge)76 modèles · hors scoreARCHIVÉ
- BoolQ76 modèles · hors scoreARCHIVÉ
- HellaSwag75 modèles · hors scoreARCHIVÉ
- PIQA59 modèles · hors scoreARCHIVÉ
- LiveBench48 modèles · hors scoreARCHIVÉ
- BIG-Bench Hard (BBH)45 modèles · hors scoreARCHIVÉ
- OpenBookQA42 modèles · hors scoreARCHIVÉ
- TriviaQA38 modèles · hors scoreARCHIVÉ
- ScienceQA23 modèles · hors scoreARCHIVÉ
- ANLI (Adversarial NLI)11 modèles · hors scoreARCHIVÉ
- SuperGLUE8 modèles · hors scoreARCHIVÉ
- CommonsenseQA 2.06 modèles · hors scoreARCHIVÉ