À quoi il sert
Sur Quelle IA, Arena, questions d'experts sert à noter la tâche Sciences et savoir expert : c'est l'un de ses 5 benchmarks. Il départage surtout les modèles dont le score IA approche 71.
Sur Quelle IA, Arena, questions d'experts sert à noter la tâche Sciences et savoir expert : c'est l'un de ses 5 benchmarks. Il départage surtout les modèles dont le score IA approche 71.
Un score Elo calculé sur les duels classés comme experts par Arena.
Pour le calcul, un Elo devient une probabilité de victoire face à un niveau de référence, ici 1 422 Elo. Un écart de 100 points donne environ 64 % de chances de l'emporter.
La catégorie est attribuée automatiquement aux questions.
Arena (ex LMArena).
arena.ai/leaderboard · tâche Sciences · 263 modèles mesurés
En tête : Claude Fable 5, 1 549,0 Elo
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 1 422 Elo a un score IA d'environ 71. Le meilleur, Claude Fable 5, atteint 1 549,0 Elo.
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
2 %du score général. Arena, questions d'experts porte 20 % de la tâche Sciences et savoir expert (10 % du score général), que se partagent 5 benchmarks.
En couleur, la tâche Sciences et savoir expert dans le score général. En noir, la part d'Arena, questions d'experts.