À quoi il sert
Sur Quelle IA, Arena, texte sert à noter la tâche Usage courant : c'est son seul benchmark. Il départage surtout les modèles dont le score IA approche 70.
Sur Quelle IA, Arena, texte sert à noter la tâche Usage courant : c'est son seul benchmark. Il départage surtout les modèles dont le score IA approche 70.
Un score Elo calculé sur des millions de duels : plus il est haut, plus le modèle gagne souvent.
Pour le calcul, un Elo devient une probabilité de victoire face à un niveau de référence, ici 1 402 Elo. Un écart de 100 points donne environ 64 % de chances de l'emporter.
Mesure une préférence, qui récompense aussi le style et la longueur des réponses. Arena corrige cet effet, sans l'annuler.
Arena (ex LMArena).
arena.ai/leaderboard · tâche Usage · 277 modèles mesurés
En tête : Gemini 4 Argon, 1 524,8 Elo
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 1 402 Elo a un score IA d'environ 70. Le meilleur, Gemini 4 Argon, atteint 1 524,8 Elo.
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
10 %du score général. Arena, texte est le seul benchmark de la tâche Usage courant (10 % du score général) : il en porte tout le poids.
En couleur, la tâche Usage courant dans le score général. En noir, la part d'Arena, texte.
Aller plus loinTous les benchmarks →Comment le score IA est calculé →