À quoi il sert
Sur QUELLE IA, WeirdML (v2) sert à noter la tâche Code : c'est l'un de ses 12 benchmarks. Il départage surtout les modèles dont le score IA approche 75.
CodeFiche benchmark · Håvard Tveit Ihle · htihle.github.io
WeirdML (v2)
Écrire du code PyTorch pour des problèmes d'apprentissage automatique inhabituels : reconnaître des formes, classer des chiffres, prédire l'issue de parties d'échecs.
Comment c'est noté
Précision moyenne obtenue par le code du modèle, exécuté dans un environnement isolé, avec cinq tentatives par tâche.
Ce qu'il ne dit pas
Version remplacée en septembre 2026 par un nouveau jeu de tâches. Ses scores ne se comparent pas à ceux de WeirdML v3.
Qui le tient
Håvard Tveit Ihle.
htihle.github.io/weirdml.html · tâche Code · 130 modèles mesurés
Comment lire le score
130 modèles mesurés · 173 mesuresSeuil de saturation : 95 % ↓
0 %50 %GPT-6 Astra : 93,6 %100 %
En tête : GPT-6 Astra, 93,6 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 75. Le meilleur, GPT-6 Astra, atteint 93,6 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 20 %
- Score IA 76niveau de Claude Sonnet 4.5
- 53 %
- Score IA 100niveau de Claude Opus 5.5
- 82 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,25 %du score général. WeirdML (v2) porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de WeirdML (v2).
Le classement du benchmark
Scores relevés auprès de 2 sources · édition du130 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 130 →Replier le classement ↑
En bref
- Que mesure WeirdML (v2) ?
- Écrire du code PyTorch pour des problèmes d'apprentissage automatique inhabituels : reconnaître des formes, classer des chiffres, prédire l'issue de parties d'échecs. Sur QUELLE IA, il est rangé dans la tâche Code.
- Comment WeirdML (v2) est-il noté ?
- Précision moyenne obtenue par le code du modèle, exécuté dans un environnement isolé, avec cinq tentatives par tâche. Un modèle qui obtient 50 % a un score IA d'environ 75.
- Qui est en tête sur WeirdML (v2) ?
- GPT-6 Astra (OpenAI) est en tête de WeirdML (v2) avec 93,6 %, dans l'édition du 9 novembre 2026. Suivent Claude Fable 5.1 (92,9 %) et Claude Fable 5 (91,9 %). 130 modèles y sont mesurés.
- Quelles sont les limites de WeirdML (v2) ?
- Version remplacée en septembre 2026 par un nouveau jeu de tâches. Ses scores ne se comparent pas à ceux de WeirdML v3. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse WeirdML (v2) dans le score IA ?
- WeirdML (v2) compte pour 1,25 % du score général, dans l'édition du 9 novembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 12 benchmarks.
- Qui maintient WeirdML (v2) ?
- Håvard Tveit Ihle. Sa page de référence : htihle.github.io/weirdml.html.
Les autres benchmarks de la tâche Code
- Arena, questions de code292 modèles · 1,25 % du score
- SciCode136 modèles · 1,25 % du score
- FrontierCode46 modèles · 1,25 % du score
- SWE-bench Verified32 modèles · 1,25 % du score
- GSO30 modèles · 1,25 % du score
- DeepSWE26 modèles · 1,25 % du score
- WeirdML v325 modèles · 1,25 % du score
- GBAEval23 modèles · 1,25 % du score
- FrontierSWE21 modèles · 1,25 % du score
- CursorBench19 modèles · 1,25 % du score
- MirrorCode15 modèles · 1,25 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ
- Terminal-Bench 2.045 modèles · hors scoreARCHIVÉ