À quoi il sert
Sur Quelle IA, Blueprint-Bench 2 sert à noter la tâche Vision et multimodal : c'est l'un de ses 3 benchmarks. Il départage surtout les modèles dont le score IA approche 99.
VisionFiche benchmark · Andon Labs · andonlabs.com
Blueprint-Bench 2
Dessiner le plan en 2D d'un appartement à partir d'une vingtaine de photos : pièces, portes, tailles relatives.
Comment c'est noté
Ressemblance entre le plan produit et le vrai, ramenée de 0 (hasard) à 1 (plan parfait) ; calcul automatique, sans IA correctrice.
Ce qu'il ne dit pas
Une cinquantaine d'appartements seulement. Les humains testés obtiennent environ 0,59 et le meilleur modèle 0,50.
Qui le tient
Andon Labs.
andonlabs.com/evals/blueprint-bench-2 · tâche Vision · 26 modèles mesurés
Comment lire le score
26 modèles mesurésSeuil de saturation : 95 % ↓
0 %50 %100 %
En tête : GPT-6 Astra, 49,7 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 99. Le meilleur, GPT-6 Astra, atteint 49,7 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- moins de 1 %
- Score IA 76niveau de Claude Sonnet 4.5
- 7 %
- Score IA 100niveau de Claude Opus 5.5
- 52 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. Blueprint-Bench 2 porte 33 % de la tâche Vision et multimodal (5 % du score général), que se partagent 3 benchmarks.
En couleur, la tâche Vision et multimodal dans le score général. En noir, la part de Blueprint-Bench 2.
Le classement du benchmark
Scores relevés sur andonlabs.com · édition duRangModèleRéflexionScore publiéSuggèreSource
26 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 26 →Replier le classement ↑
En bref
- Que mesure Blueprint-Bench 2 ?
- Dessiner le plan en 2D d'un appartement à partir d'une vingtaine de photos : pièces, portes, tailles relatives. Sur Quelle IA, il est rangé dans la tâche Vision et multimodal.
- Comment Blueprint-Bench 2 est-il noté ?
- Ressemblance entre le plan produit et le vrai, ramenée de 0 (hasard) à 1 (plan parfait) ; calcul automatique, sans IA correctrice. Un modèle qui obtient 50 % a un score IA d'environ 99.
- Qui est en tête sur Blueprint-Bench 2 ?
- GPT-6 Astra (OpenAI) est en tête de Blueprint-Bench 2 avec 49,7 %, dans l'édition du 28 septembre 2026. Suivent Claude Fable 5.1 (41,9 %) et Claude Fable 5 (38,6 %). 26 modèles y sont mesurés.
- Quelles sont les limites de Blueprint-Bench 2 ?
- Une cinquantaine d'appartements seulement. Les humains testés obtiennent environ 0,59 et le meilleur modèle 0,50. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse Blueprint-Bench 2 dans le score IA ?
- Blueprint-Bench 2 compte pour 1,67 % du score général, dans l'édition du 28 septembre 2026. Il porte 33 % de la tâche Vision et multimodal (5 % du score général), que se partagent 3 benchmarks.
- Qui maintient Blueprint-Bench 2 ?
- Andon Labs. Sa page de référence : andonlabs.com/evals/blueprint-bench-2.
Les autres benchmarks de la tâche Vision et multimodal
- Arena, vision121 modèles · 1,67 % du score
- Furniture Assembly28 modèles · 1,67 % du score
- Video-MME50 modèles · hors scoreARCHIVÉ
- VPCT (Visual Physics Comprehension Test)28 modèles · hors scoreARCHIVÉ
- GeoBench27 modèles · hors scoreARCHIVÉ
- CadEval15 modèles · hors scoreARCHIVÉ
- SpatialViz-Bench8 modèles · hors scoreARCHIVÉ
- MindCube5 modèles · hors scoreARCHIVÉ