À quoi il sert
Sur QUELLE IA, WeirdML v3 sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 99.
CodeFiche benchmark · Håvard Tveit Ihle · htihle.github.io
WeirdML v3
11 problèmes d'apprentissage automatique et d'analyse de données inhabituels : l'agent explore des données inconnues et construit un programme qui les traite.
Comment c'est noté
Score de 0 à 1 qui récompense à la fois le résultat final et la rapidité à l'atteindre, mesurée en jetons consommés.
Pour le calcul, ce score est ramené entre 0 et 1 : 0 % vaut 0 et 90 %, le plafond retenu, vaut 1.
Ce qu'il ne dit pas
Onze modèles seulement à ce stade. Les scores ne se comparent pas à ceux de WeirdML v2, et le harnais (Claude Code, Codex CLI) varie selon le modèle.
Qui le tient
Håvard Tveit Ihle.
htihle.github.io/weirdml.html · tâche Code · 25 modèles mesurés
Comment lire le score
25 modèles mesurésSeuil de saturation : 85,5 % ↓
0 %50 %100 %
En tête : GPT-6 Astra, 54 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 45 % a un score IA d'environ 99. Le meilleur, GPT-6 Astra, atteint 54 %. Le benchmark sera dit saturé quand un modèle atteindra 85,5 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 2 %
- Score IA 100niveau de Claude Opus 5.5
- 49 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. WeirdML v3 porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de WeirdML v3.
Le classement du benchmark
Scores relevés sur htihle.github.io · édition du25 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 25 →Replier le classement ↑
Mesuré avec quels outils
Chaque mesure de ce benchmark est faite avec un outil qui pilote le modèle : Codex CLI (12 mesures, outil grand public), Claude Code (7 mesures, outil grand public), OpenCode (3 mesures, outil grand public), Gemini CLI (2 mesures, outil grand public), Kimi Code CLI (1 mesure, outil grand public).
En bref
- Que mesure WeirdML v3 ?
- 11 problèmes d'apprentissage automatique et d'analyse de données inhabituels : l'agent explore des données inconnues et construit un programme qui les traite. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment WeirdML v3 est-il noté ?
- Score de 0 à 1 qui récompense à la fois le résultat final et la rapidité à l'atteindre, mesurée en jetons consommés. Un modèle qui obtient 45 % a un score IA d'environ 99.
- Qui est en tête sur WeirdML v3 ?
- GPT-6 Astra (OpenAI) est en tête de WeirdML v3 avec 54 %, dans l'édition du 9 novembre 2026. Suivent GPT-6.1 Sol (50,6 %) et Claude Opus 5.5 (49,8 %). 25 modèles y sont mesurés.
- Quelles sont les limites de WeirdML v3 ?
- Onze modèles seulement à ce stade. Les scores ne se comparent pas à ceux de WeirdML v2, et le harnais (Claude Code, Codex CLI) varie selon le modèle. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse WeirdML v3 dans le score IA ?
- WeirdML v3 compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient WeirdML v3 ?
- Håvard Tveit Ihle. Sa page de référence : htihle.github.io/weirdml.html.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- SciCode136 modèles · 1,25 % du score
- WeirdML (v2)130 modèles · 1,25 % du score
- FrontierCode46 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- GSO30 modèles · 1,25 % du score
- DeepSWE26 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- FrontierSWE21 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ