Un benchmark est une série d’épreuves identiques pour tous les modèles : les mêmes questions, les mêmes règles de correction, un score à la fin. Il permet de comparer des modèles qui n’ont jamais été testés côte à côte. Chacun ne regarde qu’un aspect, et un modèle excellent sur l’un peut être moyen sur l’autre.
Comment ça marche
On rencontre quatre grandes familles d’épreuves.
- Les questions à réponse vérifiable. Un problème de maths, une question de physique de niveau doctorat : la réponse est juste ou fausse, et le score est un pourcentage.
- Le code soumis à des tests. Le modèle corrige un vrai bug ou écrit une fonction, puis des tests automatiques disent si cela marche.
- Les duels entre modèles. Des internautes posent une question à deux modèles anonymes et votent pour la meilleure réponse. Le score est un classement Elo, comme aux échecs.
- Les tâches d’agent. Le modèle doit agir seul pendant des dizaines d’étapes : lancer des commandes, naviguer sur le web, remplir un formulaire. Son score dépend aussi de l’outil qui le pilote, le harnais.
Epoch AI, l’une des sources de QUELLE IA, réunit dans son hub les résultats de 99 benchmarks : certains passés par ses soins, d’autres repris des classements officiels de leurs auteurs.
Pourquoi un benchmark sature
Un benchmark sature quand les meilleurs modèles y obtiennent presque le maximum. Ils sont alors tous en haut, à quelques points d’écart, et le test ne dit plus lequel est le meilleur. Epoch AI le résume en décembre 2025 : la plupart des benchmarks saturent trop vite pour suivre les progrès sur la durée, et les modèles passent peu de temps dans la zone utile, au milieu de l’échelle.
Une étude présentée à la conférence ICML 2026 a examiné 60 benchmarks de modèles de langage : près de la moitié montrent des signes de saturation, d’autant plus qu’ils sont anciens. Les benchmarks construits par des experts résistent mieux.
Les vieux tests ont un autre défaut : la contamination. Quand les questions circulent sur le web depuis des années, un modèle a pu les voir pendant son entraînement et s’en souvenir. Son score mesure alors en partie sa mémoire.
Ce que fait QUELLE IA
Le score IA ne fait pas la moyenne brute des benchmarks. Chacun reçoit une difficulté, et un benchmark saturé compte encore, mais il départage mal les meilleurs. Un benchmark archivé sort du calcul. Le détail est sur la page La démarche, et chaque benchmark a sa fiche, avec son état, dans la liste des benchmarks suivis.
Bon à savoir. Un seul benchmark ne suffit jamais pour choisir. Regardez plutôt le classement de la tâche qui vous intéresse (code, maths, français…), qui en réunit plusieurs.
Pour aller plus loin
- Lire le score de QUELLE IA : marge, rang et ex æquoNiveau Débutant 3 min
- Harnais : pourquoi un même modèle change d'un outil à l'autreNiveau Amateur 8 min
- Modèle de réflexion : penser avant de répondreNiveau Débutant 2 min
- Fenêtre de contexte : ce que veut dire « 1 million de jetons »Niveau Débutant 2 min
- Paramètres et paramètres actifs : la taille d'une IANiveau Débutant 2 min
- Jetons, prix au million et vrai coût d'une tâcheNiveau Amateur 5 min
Pour monter son atelier d'IA à la maison, mini lab AI, du même auteur, va plus loin.
Sources
- epoch.ai, lue le
- epoch.ai, lue le
- proceedings.mlr.press, lue le
