À quoi il sert
Sur QUELLE IA, Vending-Bench 2 sert à noter la tâche Agents : c'est l'un de ses 8 benchmarks. Il départage surtout les modèles dont le score IA approche 89.
AgentsFiche benchmark · Andon Labs · andonlabs.com
Vending-Bench 2
Gérer seul un distributeur automatique simulé pendant un an : stocks, prix, négociation avec les fournisseurs, imprévus.
Comment c'est noté
Solde du compte en dollars à la fin de l'année simulée, en moyenne sur cinq parties.
Pour le calcul, le montant passe par son logarithme, centré sur 4 500 $ : doubler le montant compte autant à chaque niveau.
Ce qu'il ne dit pas
Un seul scénario simulé. Andon Labs estime qu'une bonne stratégie humaine atteindrait environ 63 000 dollars, quatre fois le meilleur modèle.
Qui le tient
Andon Labs.
andonlabs.com/evals/vending-bench-2 · tâche Agents · 65 modèles mesurés
Comment lire le score
65 modèles mesurés · 71 mesures0 $9 000 $Gemini 4 Carbon : 16 484 $18 000 $
En tête : Gemini 4 Carbon, 16 484 $
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 4 500 $ a un score IA d'environ 89. Le meilleur, Gemini 4 Carbon, atteint 16 484 $.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 0 $
- Score IA 76niveau de Claude Sonnet 4.5
- 210 $
- Score IA 100niveau de Claude Opus 5.5
- plus de 16 000 $
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
1,88 %du score général. Vending-Bench 2 porte 13 % de la tâche Agents (15 % du score général), que se partagent 8 benchmarks.
En couleur, la tâche Agents dans le score général. En noir, la part de Vending-Bench 2.
Le classement du benchmark
Scores relevés sur epoch.ai · édition du65 modèles mesurés, chacun à sa meilleure configuration. « Équivaut à » : le score IA que ce seul résultat donnerait au modèle.Voir les 65 →Replier le classement ↑
En bref
- Que mesure Vending-Bench 2 ?
- Gérer seul un distributeur automatique simulé pendant un an : stocks, prix, négociation avec les fournisseurs, imprévus. Sur QUELLE IA, il est rangé dans la tâche Agents.
- Comment Vending-Bench 2 est-il noté ?
- Solde du compte en dollars à la fin de l'année simulée, en moyenne sur cinq parties. Un modèle qui obtient 4 500 $ a un score IA d'environ 89.
- Qui est en tête sur Vending-Bench 2 ?
- Gemini 4 Carbon (Google DeepMind) est en tête de Vending-Bench 2 avec 16 484 $, dans l'édition du 9 novembre 2026. Suivent GPT-6 Astra (15 515 $) et GPT-6 Sol (14 428 $). 65 modèles y sont mesurés.
- Quelles sont les limites de Vending-Bench 2 ?
- Un seul scénario simulé. Andon Labs estime qu'une bonne stratégie humaine atteindrait environ 63 000 dollars, quatre fois le meilleur modèle. Au 9 novembre 2026, le benchmark est actif.
- Combien pèse Vending-Bench 2 dans le score IA ?
- Vending-Bench 2 compte pour 1,88 % du score général, dans l'édition du 9 novembre 2026. Il porte 13 % de la tâche Agents (15 % du score général), que se partagent 8 benchmarks.
- Qui maintient Vending-Bench 2 ?
- Andon Labs. Sa page de référence : andonlabs.com/evals/vending-bench-2.
Les autres benchmarks de la tâche Agents
- APEX-Agents56 modèles · 1,88 % du score
- BALROG37 modèles · 1,88 % du score
- EBR-bench (Earthborne Rangers)29 modèles · 1,88 % du score
- DeepResearch Bench24 modèles · 1,88 % du score
- Remote Labor Index16 modèles · 1,88 % du score
- PostTrainBench11 modèles · 1,88 % du score
- OSWorld 2.09 modèles · 1,88 % du score
- METR Time Horizons (taux de réussite)39 modèles · hors scoreARCHIVÉ
- TheAgentCompany14 modèles · hors scoreARCHIVÉ
- GDPval11 modèles · hors scoreARCHIVÉ
- OSWorld9 modèles · hors scoreARCHIVÉ