À quoi il sert
Sur Quelle IA, WeirdML (v2) sert à noter la tâche Code : c'est l'un de ses 13 benchmarks. Il départage surtout les modèles dont le score IA approche 75.
CodeFiche benchmark · Håvard Tveit Ihle · htihle.github.io
WeirdML (v2)
Écrire du code PyTorch pour des problèmes d'apprentissage automatique inhabituels : reconnaître des formes, classer des chiffres, prédire l'issue de parties d'échecs.
Comment c'est noté
Précision moyenne obtenue par le code du modèle, exécuté dans un environnement isolé, avec cinq tentatives par tâche.
Ce qu'il ne dit pas
Version remplacée en septembre 2026 par un nouveau jeu de tâches. Ses scores ne se comparent pas à ceux de WeirdML v3.
Qui le tient
Håvard Tveit Ihle.
htihle.github.io/weirdml.html · tâche Code · 129 modèles mesurés
Comment lire le score
129 modèles mesurés · 172 mesuresSeuil de saturation : 95 % ↓
0 %50 %GPT-6 Astra : 93,6 %100 %
En tête : GPT-6 Astra, 93,6 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 75. Le meilleur, GPT-6 Astra, atteint 93,6 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 20 %
- Score IA 76niveau de Claude Sonnet 4.5
- 53 %
- Score IA 100niveau de Claude Opus 5.5
- 82 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,15 %du score général. WeirdML (v2) porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
En couleur, la tâche Code dans le score général. En noir, la part de WeirdML (v2).
Le classement du benchmark
Scores relevés auprès de 2 sources · édition duRangModèleRéflexionScore publiéSuggèreSource
129 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 129 →Replier le classement ↑
En bref
- Que mesure WeirdML (v2) ?
- Écrire du code PyTorch pour des problèmes d'apprentissage automatique inhabituels : reconnaître des formes, classer des chiffres, prédire l'issue de parties d'échecs. Sur Quelle IA, il est rangé dans la tâche Code.
- Comment WeirdML (v2) est-il noté ?
- Précision moyenne obtenue par le code du modèle, exécuté dans un environnement isolé, avec cinq tentatives par tâche. Un modèle qui obtient 50 % a un score IA d'environ 75.
- Qui est en tête sur WeirdML (v2) ?
- GPT-6 Astra (OpenAI) est en tête de WeirdML (v2) avec 93,6 %, dans l'édition du 28 septembre 2026. Suivent Claude Fable 5.1 (92,9 %) et Claude Fable 5 (91,9 %). 129 modèles y sont mesurés.
- Quelles sont les limites de WeirdML (v2) ?
- Version remplacée en septembre 2026 par un nouveau jeu de tâches. Ses scores ne se comparent pas à ceux de WeirdML v3. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse WeirdML (v2) dans le score IA ?
- WeirdML (v2) compte pour 1,15 % du score général, dans l'édition du 28 septembre 2026. Il porte 8 % de la tâche Code (15 % du score général), que se partagent 13 benchmarks.
- Qui maintient WeirdML (v2) ?
- Håvard Tveit Ihle. Sa page de référence : htihle.github.io/weirdml.html.
Les autres benchmarks de la tâche Code
- Arena, questions de code275 modèles · 1,15 % du score
- SciCode120 modèles · 1,15 % du score
- Terminal-Bench 2.045 modèles · 1,15 % du score
- FrontierCode37 modèles · 1,15 % du score
- SWE-bench Verified32 modèles · 1,15 % du score
- DeepSWE26 modèles · 1,15 % du score
- GSO26 modèles · 1,15 % du score
- GBAEval23 modèles · 1,15 % du score
- FrontierSWE16 modèles · 1,15 % du score
- CursorBench13 modèles · 1,15 % du score
- WeirdML v311 modèles · 1,15 % du score
- MirrorCode9 modèles · 1,15 % du score
- Aider Polyglot54 modèles · hors scoreARCHIVÉ
- LiveBench, code48 modèles · hors scoreARCHIVÉ