Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Comprendre en 2 minutes · guide amateur · 4 min de lecture

Benchmark d'IA : ce qu'il mesure et pourquoi il sature

Un benchmark est un examen commun à tous les modèles, qui ne regarde qu'une compétence à la fois. Quand les meilleurs y frôlent le maximum, il sature et ne les départage plus.

Illustration du thème Comprendre en 2 minutes

Un benchmark est une série d’épreuves identiques pour tous les modèles : les mêmes questions, les mêmes règles de correction, un score à la fin. Il permet de comparer des modèles qui n’ont jamais été testés côte à côte. Chacun ne regarde qu’un aspect, et un modèle excellent sur l’un peut être moyen sur l’autre.

Le meilleur score obtenu sur un benchmark monte, puis bute contre le plafond. Tant qu'il reste de la marge, les modèles se départagent ; une fois saturé, les meilleurs sont tous en haut.

Comment ça marche

On rencontre quatre grandes familles d’épreuves.

  1. Les questions à réponse vérifiable. Un problème de maths, une question de physique de niveau doctorat : la réponse est juste ou fausse, et le score est un pourcentage.
  2. Le code soumis à des tests. Le modèle corrige un vrai bug ou écrit une fonction, puis des tests automatiques disent si cela marche.
  3. Les duels entre modèles. Des internautes posent une question à deux modèles anonymes et votent pour la meilleure réponse. Le score est un classement Elo, comme aux échecs.
  4. Les tâches d’agent. Le modèle doit agir seul pendant des dizaines d’étapes : lancer des commandes, naviguer sur le web, remplir un formulaire. Son score dépend aussi de l’outil qui le pilote, le harnais.

Epoch AI, l’une des sources de QUELLE IA, réunit dans son hub les résultats de 99 benchmarks : certains passés par ses soins, d’autres repris des classements officiels de leurs auteurs.

Pourquoi un benchmark sature

Un benchmark sature quand les meilleurs modèles y obtiennent presque le maximum. Ils sont alors tous en haut, à quelques points d’écart, et le test ne dit plus lequel est le meilleur. Epoch AI le résume en décembre 2025 : la plupart des benchmarks saturent trop vite pour suivre les progrès sur la durée, et les modèles passent peu de temps dans la zone utile, au milieu de l’échelle.

Une étude présentée à la conférence ICML 2026 a examiné 60 benchmarks de modèles de langage : près de la moitié montrent des signes de saturation, d’autant plus qu’ils sont anciens. Les benchmarks construits par des experts résistent mieux.

Les vieux tests ont un autre défaut : la contamination. Quand les questions circulent sur le web depuis des années, un modèle a pu les voir pendant son entraînement et s’en souvenir. Son score mesure alors en partie sa mémoire.

Ce que fait QUELLE IA

Le score IA ne fait pas la moyenne brute des benchmarks. Chacun reçoit une difficulté, et un benchmark saturé compte encore, mais il départage mal les meilleurs. Un benchmark archivé sort du calcul. Le détail est sur la page La démarche, et chaque benchmark a sa fiche, avec son état, dans la liste des benchmarks suivis.

Bon à savoir. Un seul benchmark ne suffit jamais pour choisir. Regardez plutôt le classement de la tâche qui vous intéresse (code, maths, français…), qui en réunit plusieurs.

Pour aller plus loin

Pour monter son atelier d'IA à la maison, mini lab AI, du même auteur, va plus loin.

Tous les guides →

Sources

  1. epoch.ai, lue le
  2. epoch.ai, lue le
  3. proceedings.mlr.press, lue le