À quoi il sert
Sur Quelle IA, Arena, vision sert à noter la tâche Vision et multimodal : c'est l'un de ses 3 benchmarks. Il départage surtout les modèles dont le score IA approche 75.
Sur Quelle IA, Arena, vision sert à noter la tâche Vision et multimodal : c'est l'un de ses 3 benchmarks. Il départage surtout les modèles dont le score IA approche 75.
Un score Elo calculé sur les duels avec image.
Pour le calcul, un Elo devient une probabilité de victoire face à un niveau de référence, ici 1 226 Elo. Un écart de 100 points donne environ 64 % de chances de l'emporter.
Porte sur des images du quotidien. La précision sur des documents techniques n'est pas mesurée.
Arena (ex LMArena).
arena.ai/leaderboard · tâche Vision · 121 modèles mesurés
En tête : Claude Fable 5, 1 310,1 Elo
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 1 226 Elo a un score IA d'environ 75. Le meilleur, Claude Fable 5, atteint 1 310,1 Elo.
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
1,67 %du score général. Arena, vision porte 33 % de la tâche Vision et multimodal (5 % du score général), que se partagent 3 benchmarks.
En couleur, la tâche Vision et multimodal dans le score général. En noir, la part d'Arena, vision.