Les mots du classement
- Benchmark
Une série d'épreuves identiques pour tous les modèles, qui donne un score comparable.
ExempleLe plus suivi des 98 benchmarks du site, Arena, texte, a mesuré 294 modèles.
- Score IA
L'estimation du niveau d'un modèle, calculée à partir de tous les benchmarks où il a été mesuré.
ExempleIl vaut 100 pour Claude Opus 5.5, le meilleur modèle au lancement du site, et 50 pour GPT-4o de novembre 2024. Une absence de mesure ne vaut jamais zéro.
- Marge d'erreur
L'intervalle où le vrai niveau du modèle a neuf chances sur dix de se trouver.
ExempleGemini 4 Carbon obtient 100,3, avec une marge de 96,7 à 103,9.
- Couverture
La part des tâches sur lesquelles le modèle a été mesuré.
ExempleGemini 4 Carbon est mesuré sur 7 des 10 tâches, qui pèsent 65 % du score général.
- Réflexion
Le temps de calcul que le modèle prend pour raisonner avant de répondre. Plus il réfléchit, mieux il répond et plus il coûte.
ExempleClaude Opus 5.5 se règle sur cinq niveaux de réflexion, de « faible » à « maximale ».
- Harnais
L'outil qui entoure le modèle et lui donne des moyens d'agir, comme lire des fichiers ou lancer des commandes.
ExempleLes plus utilisés dans les mesures de cette édition : mini-SWE-agent, OpenHands et Terminus 2.
- Poids ouverts
Le modèle se télécharge et peut tourner sur votre propre machine. À poids fermés, il ne s'utilise que par le service de son éditeur.
Exemple133 des 257 modèles classés ont des poids ouverts. Le mieux classé est Kimi K3.1 Pro, au rang 14.
- Version allégée
Une copie compressée du modèle, qui tient dans moins de mémoire au prix d'une légère perte de qualité.
ExempleDeepSeek V4.1 Flash 1017 pèse 1 269,6 Go en version complète et 380,9 Go en version allégée à 4 bits.
- Mémoire utile
La part de la mémoire d'une machine qu'un modèle peut vraiment occuper, une fois servis le système et l'affichage. C'est elle qui décide de ce qui tient.
ExempleSur une carte graphique de 16 Go, nous comptons 14,0 Go utiles ; sur un Mac de 24 Go, 17,8 Go.
- Mémoire unifiée
Une seule mémoire partagée par le processeur et le processeur graphique, comme sur un Mac ou un DGX Spark. Il y en a beaucoup, mais elle est plus lente que la mémoire d'une carte graphique.
ExempleUn Mac de 24 Go en compte 17,8 Go utiles, un DGX Spark 112,0 Go.
- Jeton
Le morceau de mot que le modèle lit et écrit. Les prix se comptent par million de jetons.
ExempleClaude Opus 5.5 coûte 4,00 € par million de jetons lus et 20,0 € par million de jetons écrits.
- Fenêtre de contexte
La quantité de texte que le modèle peut garder en tête pendant une conversation.
ExempleClaude Opus 5.5 garde 1 000 000 jetons en tête, soit environ 750 000 mots.
- Elo
Un score issu de duels, comme aux échecs. Battre un modèle fort rapporte plus que battre un modèle faible.
Exemple9 benchmarks du site notent en Elo, dont Arena, texte.
- Saturation
Un benchmark est saturé quand les meilleurs modèles y obtiennent presque le maximum.
Exemple10 benchmarks sont saturés dans cette édition, dont GPQA Diamond, où le meilleur modèle atteint 99,2 %. Les meilleurs ne s'y départagent plus.
- Contamination
Les questions d'un test ont circulé, et un modèle a pu les apprendre par cœur.
ExempleSur TriviaQA, la fiche du benchmark le signale : « Test de 2017, largement mémorisé par les modèles ».
- Agent
Un modèle qui enchaîne seul plusieurs actions pour mener une tâche à bien.
ExempleLa tâche Agents repose sur 8 benchmarks actifs, dont Vending-Bench 2.
- Étalonnage
Le calcul de la difficulté de chaque benchmark, qui permet de comparer des tests différents.
- Refus
Une réponse qui décline tout ou partie de la demande. Un avertissement suivi d’une réponse substantielle ne suffit pas à constituer un refus.
- Sur-refus
Le refus d’une demande pourtant annotée comme licite dans le jeu de test. Il est mesuré séparément du refus des demandes à risque.
- Ablitération
Une modification des calculs ou des poids d’un modèle visant à réduire certains comportements, notamment les refus.
- Ex æquo
Deux modèles sont ex æquo quand leurs marges d'erreur se recouvrent. L'écart entre eux est trop petit pour les départager.
ExempleGemini 4 Carbon, Claude Opus 5.5, GPT-6 Astra et GPT-6.1 Terra et 4 autres partagent la première place de cette édition.
- Provisoire
Un score est provisoire tant qu'il repose sur trop peu de mesures pour donner un rang : moins de 4 mesures, moins de 50 % du poids des tâches couvert, ou moins de 2 sources indépendantes.
Exemple220 des 633 modèles notés ont un score provisoire dans cette édition.
- Score historique
Le score d'un ancien modèle que plus aucun benchmark actif ne mesure. Il reste affiché pour mémoire, sans rang.
Exemple156 modèles ont un score historique dans cette édition, dont InstructGPT 175B.
- Archivé
Un benchmark est archivé quand il n'a plus mesuré de modèle récent depuis six mois. Il sort du calcul du score.
Exemple38 benchmarks sur 98 sont archivés, dont MMLU.
- Niveau suggéré
Le score IA qu'une mesure donnerait au modèle si elle était seule, compte tenu de la difficulté du benchmark. Le score général fait la synthèse de tous ces niveaux. Sur les fiches, c'est la colonne « Équivaut à ».
ExemplePour Gemini 4 Carbon, 64,2 % sur SciCode suggère un niveau de 101,0. Son score général est de 100,3.
Ces mots reviennent dans tout le site. Là où l'un d'eux apparaît surligné, sa définition s'ouvre sur place.
Comprendre la démarche →Les 98 benchmarks →