À quoi il sert
Sur Quelle IA, Vending-Bench 2 sert à noter la tâche Agents : c'est l'un de ses 9 benchmarks. Il départage surtout les modèles dont le score IA approche 88.
AgentsFiche benchmark · Andon Labs · andonlabs.com
Vending-Bench 2
Gérer seul un distributeur automatique simulé pendant un an : stocks, prix, négociation avec les fournisseurs, imprévus.
Comment c'est noté
Solde du compte en dollars à la fin de l'année simulée, en moyenne sur cinq parties.
Pour le calcul, le montant passe par son logarithme, centré sur 4 500 $ : doubler le montant compte autant à chaque niveau.
Ce qu'il ne dit pas
Un seul scénario simulé. Andon Labs estime qu'une bonne stratégie humaine atteindrait environ 63 000 dollars, quatre fois le meilleur modèle.
Qui le tient
Andon Labs.
andonlabs.com/evals/vending-bench-2 · tâche Agents · 56 modèles mesurés
Comment lire le score
56 modèles mesurés · 62 mesures0 $8 000 $16 000 $
En tête : GPT-6 Astra, 15 515 $
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 4 500 $ a un score IA d'environ 88. Le meilleur, GPT-6 Astra, atteint 15 515 $.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 0 $
- Score IA 76niveau de Claude Sonnet 4.5
- 190 $
- Score IA 100niveau de Claude Opus 5.5
- plus de 16 000 $
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,67 %du score général. Vending-Bench 2 porte 11 % de la tâche Agents (15 % du score général), que se partagent 9 benchmarks.
En couleur, la tâche Agents dans le score général. En noir, la part de Vending-Bench 2.
Le classement du benchmark
Scores relevés sur epoch.ai · édition duRangModèleRéflexionScore publiéSuggèreSource
56 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 56 →Replier le classement ↑
En bref
- Que mesure Vending-Bench 2 ?
- Gérer seul un distributeur automatique simulé pendant un an : stocks, prix, négociation avec les fournisseurs, imprévus. Sur Quelle IA, il est rangé dans la tâche Agents.
- Comment Vending-Bench 2 est-il noté ?
- Solde du compte en dollars à la fin de l'année simulée, en moyenne sur cinq parties. Un modèle qui obtient 4 500 $ a un score IA d'environ 88.
- Qui est en tête sur Vending-Bench 2 ?
- GPT-6 Astra (OpenAI) est en tête de Vending-Bench 2 avec 15 515 $, dans l'édition du 28 septembre 2026. Suivent Claude Opus 5 (11 182 $) et Claude Opus 4.7 (10 937 $). 56 modèles y sont mesurés.
- Quelles sont les limites de Vending-Bench 2 ?
- Un seul scénario simulé. Andon Labs estime qu'une bonne stratégie humaine atteindrait environ 63 000 dollars, quatre fois le meilleur modèle. Au 28 septembre 2026, le benchmark est actif.
- Combien pèse Vending-Bench 2 dans le score IA ?
- Vending-Bench 2 compte pour 1,67 % du score général, dans l'édition du 28 septembre 2026. Il porte 11 % de la tâche Agents (15 % du score général), que se partagent 9 benchmarks.
- Qui maintient Vending-Bench 2 ?
- Andon Labs. Sa page de référence : andonlabs.com/evals/vending-bench-2.
Les autres benchmarks de la tâche Agents
- METR Time Horizons (taux de réussite)41 modèles · 1,67 % du score
- BALROG37 modèles · 1,67 % du score
- APEX-Agents34 modèles · 1,67 % du score
- DeepResearch Bench24 modèles · 1,67 % du score
- EBR-bench (Earthborne Rangers)23 modèles · 1,67 % du score
- Remote Labor Index13 modèles · 1,67 % du score
- PostTrainBench11 modèles · 1,67 % du score
- OSWorld 2.09 modèles · 1,67 % du score
- TheAgentCompany14 modèles · hors scoreARCHIVÉ
- GDPval11 modèles · hors scoreARCHIVÉ
- OSWorld9 modèles · hors scoreARCHIVÉ