Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
La démarche · méthode version 0.1

Comment on fabrique un score

Pour le Score IA, nous rassemblons les classements publiés par d'autres, puis nous expliquons ce qu'ils disent une fois mis ensemble. Pour le montrer, suivonsSuivons un modèle réel du début à la fin : Qwen 3.8 27B.

Chapitre 1 · L'objectif

Aider à choisir un modèle

Un benchmark est une série d'épreuves, la même pour tous les modèles, et chacun ne regarde qu'un aspect : le code, les maths ou les préférences des internautes. Un modèle excellent sur l'un peut être moyen sur l'autre. Le score IA réunit toutes ces mesures en une seule estimation, avec sa marge d'erreur.

Qwen 3.8 27B, benchmark par benchmark

Quatre échelles différentes : impossible de les additionner telles quelles.

Chapitre 2 · La collecte

Sept sources, chaque semaine

Chaque semaine, le site relève les classements publiés par sept sources. 12 349 mesures entrent dans l'édition du 9 novembre 2026. Pour Qwen 3.8 27B, on en retient 26.

Quand une source tombe en panne ou change sa page, la dernière valeur connue reste affichée, avec sa date et la mention « non mis à jour depuis le ».

Quatre sources apportent les mesures, deux complètent les fiches : prix, contexte, liens.

Artificial Analysis, à part du score. Artificial Analysis évalue les modèles d'IA de son côté et publie son propre indice, avec des mesures de vitesse et des prix. Avec son accord, donné le 1er octobre 2026, QUELLE IA relève ces résultats chaque lundi et les montre sur la fiche de chaque modèle concerné, avec la mention « Source : Artificial Analysis » et un lien vers leur page. Ils ne comptent pas dans le score IA et ne servent à aucun classement du site. Seule exception, couverte par le même accord : CritPt et SciCode, deux benchmarks du score dont Artificial Analysis mesure les résultats et qu'Epoch AI relaie ; leurs pages portent la même mention.

Agent Arena, à part du score. Agent Arena, le classement des agents d'Arena, mesure des agents sur de vraies sessions de travail, avec un modèle tiré au sort pour chaque session. QUELLE IA reprend son jeu de données public (licence CC BY 4.0) et montre sur la fiche de chaque modèle concerné son rang, son score net et le nombre de sessions, avec la mention « Source : Arena (Agent Arena), CC BY 4.0 ». Ces chiffres ne comptent pas dans le score IA et ne servent à aucun classement du site.

STEMBench d'Ulam, à part du score. STEMBench d'Ulam note les modèles de 0 à 4 sur 120 tâches de recherche en sciences et en ingénierie, tenues secrètes, certains passages avec des outils (recherche, exécution de code), les autres sans. Avec l'accord d'Ulam, QUELLE IA montre sur la fiche de chaque modèle concerné sa moyenne, son rang, ses six domaines, le réglage et la date de l'instantané, avec la mention « Source : Ulam STEMBench », et ces chiffres ne comptent pas dans le score IA ni dans aucun classement du site.

Tarifs des API d'images et de vidéos, à part du score. Sur la fiche de chaque modèle d'images ou de vidéos, le tarif de l'API est relevé à la main sur la page de tarifs officielle de l'éditeur, avec sa devise, son unité (par image, par seconde de vidéo, par mégapixel…), la date du relevé et le lien de la page. Un modèle sans API payante publique le dit, avec la raison. Ces prix ne comptent ni dans le score ni dans le classement.

Chapitre 3 · L'appariement

Un modèle, plusieurs noms

Chaque classement écrit le nom d'un modèle à sa façon. Le site reconnaît qu'il s'agit du même, puis distingue ses réglages : le temps de réflexion qu'on lui laisse, ou l'outil qui l'entoure pendant l'épreuve (le harnais).

Sur 12 349 mesures lues, 10 453 sont rattachées à un modèle. Le calcul en garde 7 461 : la meilleure configuration de chaque modèle sur chaque benchmark.

Claude Opus 5.57 configurations : réflexion élevée, faible, maximale, moyenne, avec Claude Code, avec proximus

Chapitre 4 · Le calcul

Quatre étapes, un score

  1. Étape 1 · Même échelle

    Chaque benchmark a son unité : pourcentage, Elo, note sur 10. On les ramène à une seule échelle, où 50 vaut GPT-4o de novembre 2024 et 100 le meilleur modèle au lancement.

  2. Étape 2 · Absences

    Un modèle absent d'un benchmark n'y reçoit pas zéro. Le score s'appuie sur les benchmarks où il est mesuré, en tenant compte de la difficulté de chacun.

  3. Étape 3 · Fraîcheur

    Un benchmark actif pèse pleinement. Un benchmark saturé compte encore, mais il départage mal les meilleurs. Un benchmark archivé sort du calcul.

  4. Étape 4 · Marge

    Moins un modèle est mesuré, plus sa marge est large. Deux modèles dont les marges se recouvrent sont ex æquo.

Pour Qwen 3.8 27B : ce que suggère chaque mesure8 des 26 mesures

Les mesures ne disent pas toutes la même chose : ici, de 63,2 (EuroEval Allociné, saturé, pastille en pointillé) à 121,6 (EuroEval ELTeC). Le score retient 83,3, de 80,3 à 86,3.

Chapitre 5 · La preuve

On cache, on devine, on compare

On masque des scores connus, puis on demande à la méthode de les retrouver. Elle se trompe de 6,9 points en moyenne. Une simple moyenne se trompe de 23.

Autre contrôle : sur les données d'Epoch AI, notre classement range les modèles presque exactement comme leur indice ECI, avec une corrélation de rang de 0,9999 (1 voudrait dire un ordre identique).

  • Méthode QUELLE IA6,9
  • Calcul additif9,8
  • Simple moyenne23
Erreur moyenne sur des résultats masqués, en points sur 100 au benchmark. Plus court, c'est mieux. Banc du 30 septembre 2026.

Chapitre 6 · Les limites

Ce que le site ne sait pas

  • Les benchmarks mesurent la version complète d'un modèle. La version allégée qui tourne sur un PC fait un peu moins bien.
  • Une mesure reprise d'un classement tiers ou d'une annonce d'éditeur compte aujourd'hui autant qu'une mesure indépendante. Chacune renvoie à sa source, pour en juger.
  • Données et Sécurité n'ont pas encore de sources assez solides : ce sont des dossiers, sans score.
  • Aucune publicité ni partenariat dans les classements. Chaque chiffre renvoie à sa source.
Signaler une erreur

Journal de la méthode

  1. V 0.1

    . Première version : dix tâches pondérées 15, 15, 15, 10, 10, 10, 10, 5, 5, 5. Ancrage : 50 pour GPT-4o de novembre 2024, 100 pour le meilleur modèle au lancement. Intervalle à 90 %.

Chaque changement de formule sera daté et justifié ici, et marqué d'une rupture sur les courbes.

Les changements du site lui-même (pages, fonctions, corrections) ont leur propre journal, dans chaque édition de La semaine.

Mode d'emploi · Lire un score

Comment lire un score

Un score ne se lit jamais seul. Voici celui de Qwen 3.8 27B dans l'édition du , avec tout ce qui l'accompagne.

Qwen 3.8 27B
1Que veut dire le score ?
Le score IA est une estimation du niveau d'un modèle, toutes tâches confondues. L'échelle est fixée une fois pour toutes : 100 est le score qu'obtenait Claude Opus 5.5, le meilleur modèle au lancement du site, le 28 septembre 2026, et 50 celui de GPT-4o de novembre 2024. Un modèle plus fort que le meilleur du lancement dépasse 100.
2Que veut dire la marge ?
La marge est l'intervalle dans lequel le score se trouve, avec une confiance de 90 %. Elle tient compte de deux incertitudes : le score bougerait un peu si le modèle avait été mesuré sur d'autres benchmarks, et chaque mesure a sa part de hasard. Moins un modèle est mesuré, plus elle est large. Pour Qwen 3.8 27B : 83,3, de 80,3 à 86,3.
3Que veut dire ex æquo ?
Deux modèles dont les marges se recouvrent sont ex æquo : l'écart entre leurs scores est plus petit que l'incertitude. Le classement les range par groupes, et un groupe réunit les modèles dont la marge recouvre celle de son premier. Qwen 3.8 27B est 58e sur 257, dans le groupe 5, qui compte 15 modèles.
4Que mesure la couverture ?
La couverture est la part du poids des tâches où le modèle a au moins une mesure. Les dix tâches pèsent, sur 100 : raisonnement 15, code 15, agents 15, usage 10, maths 10, sciences 10, français 10, vision 5, écriture 5, web 5. Qwen 3.8 27B couvre 100 % de ce poids avec 26 mesures.
5Pourquoi un modèle est-il provisoire ?
Un score est provisoire quand il repose sur trop peu de choses : moins de quatre mesures, moins de 50 % du poids des tâches couvert, ou moins de deux sources indépendantes. Le modèle garde son score et sa marge, mais il n'a pas de rang. Dans l'édition du 9 novembre 2026, 257 modèles sont classés sur 633 ; les 376 autres sont provisoires ou historiques.

Mode d'emploi · Le prix

Le prix, en langage courant

Les éditeurs vendent l'accès à leurs modèles par l'API, au million de jetons, un jeton valant environ trois quarts de mot. Le prix des jetons lus (la question) n'est pas celui des jetons écrits (la réponse). Pour donner un ordre de grandeur, chaque fiche traduit ces deux tarifs en un prix pour 1 000 questions.

Ces tarifs viennent de compar:IA quand il les donne, sinon de models.dev, qui recense en dollars les offres des éditeurs et des hébergeurs, converties en euros. Pour un modèle que son éditeur ne vend pas lui-même, la fiche reprend l'offre médiane des hébergeurs payants, une offre gratuite ne comptant pas.

Nous comptons 1 000 jetons lus par question, soit environ 750 mots, une question avec un peu de contexte, et 500 jetons écrits, soit environ 375 mots de réponse. Le calcul : 1 000 × (1 000 × prix d'entrée + 500 × prix de sortie) ÷ 1 000 000. Pour Qwen 3.8 27B, à 0,35 € en entrée et 2,75 € en sortie par million de jetons, cela fait environ 1,7 €.

C'est une convention de QUELLE IA, pas une mesure ni un tarif. Un modèle qui réfléchit longtemps avant de répondre écrit bien plus de jetons, et une longue conversation en relit davantage : la facture réelle peut être plusieurs fois plus élevée. L'estimation vaut pour l'API seulement.

Mode d'emploi · Le potentiel

Le potentiel des nouveaux modèles

Un modèle qui vient de sortir n'a pas encore de score : les sources publiques ne l'ont pas mesuré. Sa fiche montre alors son potentiel, une estimation tirée des résultats que l'éditeur annonce lui-même, sur les seuls benchmarks que QUELLE IA mesure aussi, à la même version et au même réglage. Ces résultats sont placés sur l'échelle du score général avec le modèle de calcul de l'édition, puis corrigés de l'optimisme des annonces.

Cet optimisme se mesure sur les modèles annoncés puis mesurés depuis : 10 aujourd'hui, sur lesquels les annonces surestimaient le score de 2,6 points en médiane. Une fois corrigé, l'écart restant est de 1,4 point en médiane (chaque modèle laissé hors du calcul de sa propre correction), et 80 % des écarts restent sous 3,5 points, la marge de la fourchette. Donner la moyenne à tous les modèles ferait 6,8 points d'écart. Tout se recalcule à chaque édition.

Le potentiel dit aussi le prix (comparé aux modèles classés du même niveau, en dollars comme les catalogues et les éditeurs le publient), la place qu'il prendrait sur la plus petite machine qui le fait tourner, et les premières vérifiables (premier modèle d'un éditeur, meilleur score des modèles à poids ouverts ou européens s'il tient ses chiffres). Paliers : Prétendant (dans les 10 premiers), Haut de tableau (11e à 50e), Milieu de tableau (au-delà). Avec un seul benchmark en commun, le palier reste une indication, sans fourchette. Le potentiel ne compte dans aucun classement et disparaît dès le premier score mesuré.

À part · La voix

La voix, à part du score

La transcription (parole vers texte), la synthèse vocale (texte vers parole) et la voix à voix (les agents vocaux, qui écoutent et répondent de vive voix) ont leurs propres classements, sur /voix/. Ils ne comptent ni dans le score IA des modèles de langage, ni dans les classements d'images et de vidéos.

Le français passe en premier. En transcription, le taux d'erreur par mot de l'Open ASR Leaderboard de Hugging Face sur trois jeux de parole lue en français (FLEURS, Common Voice, MLS), et la moyenne des trois telle que ce classement l'affiche. En synthèse vocale, la tranche française de l'arène Controlled Voice d'Artificial Analysis, où des votants de langue maternelle française départagent deux voix à l'aveugle, et à part un repère de prononciation, l'Open TTS Leaderboard de Hugging Face, qui fait relire la voix de synthèse par un modèle de transcription et compte les mots mal compris.

Les classements en anglais suivent, chacun dans son propre tableau : l'indice AA-WER d'Artificial Analysis et la moyenne anglaise de l'Open ASR Leaderboard pour la transcription, l'arène Provider Voice d'Artificial Analysis et TTS Arena V2 pour la synthèse vocale.

La voix à voix n'a, à ce jour, qu'une source publique, Artificial Analysis, et ses épreuves sont en anglais. Quatre tableaux, chacun dans son unité : leur indice voix à voix (sur 100), Big Bench Audio (bonnes réponses à des questions de raisonnement posées à l'oral), la tenue de la conversation (sous-ensemble de Full Duplex Bench : pauses, prise de parole, interruptions) et le délai avant le premier son, en secondes. Les réglages d'un même modèle (effort de raisonnement) ne se regroupent que par le registre, et la ligne gardée porte son nom chez la source.

Un modèle annoncé qu'aucune source ne classe encore a sa fiche, marquée « pas encore mesuré par une source publique » : présentation, langues, prix et liens lus chez l'éditeur, et à part les chiffres que l'éditeur annonce lui-même. Il n'entre dans aucun tableau classé. Le jour où une source le classe, sa fiche devient normale, à la même adresse.

Aucun score ne combine ces sources. Un taux d'erreur sur des jeux de test et une préférence de votants ne se mesurent pas dans la même unité, et deux sources ne testent pas les mêmes enregistrements : les réunir en un seul chiffre inventerait une précision qu'aucune n'a. Chaque tableau garde l'unité de sa source, son rang et sa date.

Rang : par taux d'erreur ou délai croissant, ou par Elo, indice ou part de réussite décroissants, avec un rang partagé à valeur égale telle que la source l'affiche (au centième pour un taux ou un délai, au dixième pour un indice ou une part de réussite, à l'unité pour un Elo). Pour les arènes d'Artificial Analysis, l'intervalle publié est à 95 % et deux modèles dont les intervalles se recouvrent sont ex æquo. TTS Arena V2 ne dit pas le niveau de confiance de son intervalle : son rang, qui suit la borne basse, est repris tel quel. Les taux d'erreur n'ont pas de marge publiée : aucune n'est inventée.

Une ligne par modèle : les variantes d'un même dépôt (réglage d'inférence, préversion) sont regroupées et la meilleure est gardée. Un même modèle présent dans deux sources n'est relié que par le registre (alias lus sur les pages des sources) ou par le dépôt de poids que la source donne elle-même.

Limites : la transcription en français ne porte que sur de la parole lue (pas de conversation, de téléphone ni de bruit) ; beaucoup de résultats de modèles fermés sont soumis par leurs éditeurs et non reproduits ; le repère de prononciation ne dit rien de l'agrément d'une voix.

Sources, reprises avec leur accord : l'Open ASR Leaderboard et l'Open TTS Leaderboard de Hugging Face (hf-audio) et TTS Arena V2 (TTS-AGI), accords du 17 octobre 2026 ; Artificial Analysis, accord du 1er octobre 2026 étendu à ses classements voix le 17 octobre 2026 et à son classement voix à voix le 20 octobre 2026 (la musique reste exclue). Chaque page qui montre leurs chiffres porte la mention de la source, le lien de sa page et la date du relevé.

Voix à voix : Source : Artificial Analysis, leur classement speech-to-speech, relevé du 9 novembre 2026, repris avec leur accord du 20 octobre 2026.

Les pages : la voix en bref, la transcription, la synthèse vocale, la voix à voix.

À part · Modèles de décision

Les modèles de décision, sans score

Les modèles de décision (Jev et sa famille) répondent par un choix et une probabilité. Ils ont leur dossier, /modeles-de-decision/, sans score QUELLE IA et à part de tous les classements du site.

Chaque semaine, la chaîne relève les tableaux de cinq bancs publics et les reprend tels qu'ils sont publiés : JevBench (deux tableaux, modèles servis par API et poids ouverts), Image JevBench et AudioJevBench de Benchmark Heaven, et le Jev Decision Index de multimodalart, pistes texte et vision. Ils sont rangés en trois familles, d'après ce que le système regarde pour décider : un texte, une image, un son.

Chaque tableau garde l'unité de son banc (un score de 0 à 100), le rang qu'il publie et ses groupes d'ex æquo quand il en a ; une ligne sans rang garde la raison que le banc donne (coût ou latence au-delà de ses plafonds, mesure provisoire). Aucun rang n'est recalculé, aucun score ne combine deux tableaux.

Une ligne d'un banc ne mène à une fiche du dossier que si le registre l'y rattache à la main, d'après l'adresse que le banc donne ou le nom de l'éditeur qu'il affiche : jamais par ressemblance de nom. Les autres lignes restent dans leur tableau, sans lien.

Sources, reprises avec leur accord du 17 octobre 2026 : Benchmark Heaven (JevBench, Image JevBench, AudioJevBench, mais pas les données que son site relaie d'autres sources) et multimodalart (Jev Decision Index). Chaque page qui montre leurs chiffres porte la mention de la source, le lien de sa page et la date du relevé. Une source en panne garde son dernier relevé, daté et marqué « repris ».

Les pages : le dossier, décider sur un texte, décider sur une image, décider à l'écoute.

En bref

Comment le score IA est-il calculé ?
Chaque semaine, QUELLE IA relève les classements publics de quatre sources (Epoch AI, Arena, compar:IA et EuroEval). Tous les benchmarks sont placés ensemble sur une même échelle. Le calcul estime la difficulté de chacun et sa pente, c'est-à-dire la netteté avec laquelle il sépare des modèles de niveau voisin, avec la même famille de méthode que l'indice ECI d'Epoch AI. Le score d'un modèle est ensuite le niveau qui explique le mieux ses propres résultats, et seulement eux : un benchmark où il n'a pas été mesuré ne compte pas, il ne vaut jamais zéro. L'édition du 9 novembre 2026 note 633 modèles à partir de 98 benchmarks.
D'où viennent les données ?
De sept sources publiques, relevées chaque semaine. Quatre apportent les mesures : Epoch AI, Arena, compar:IA et EuroEval. Deux complètent les fiches des modèles (prix, contexte, liens) : models.dev et OpenRouter. Ces mesures du Score IA proviennent de sources externes. Le banc de refus de QUELLE IA est distinct et décrit dans /non-censures/methode/. L'édition du 9 novembre 2026 lit 12 349 mesures et en retient 7 461.
La méthode a-t-elle été vérifiée ?
Oui, de deux façons, le 30 septembre 2026. D'abord, on cache des résultats connus et on lui demande de les retrouver : elle se trompe de 6,9 points sur 100 en moyenne, contre 9,8 pour un calcul plus simple (un niveau par modèle plus une difficulté par benchmark) et 23 pour la simple moyenne du modèle. Ensuite, sur les données d'Epoch AI, son classement range les modèles presque exactement comme l'indice ECI, avec une corrélation de rang de 0,9999 (1 voudrait dire un ordre identique).
Un modèle tout juste sorti est-il pénalisé ?
Très peu. Un modèle de tête qui vient de sortir, encore peu mesuré, est sous-estimé de 0,3 à 1 point, moins que sa marge. Un modèle que personne n'a encore mesuré n'a pas de score : il est listé en attente, comme 41 modèles de cette édition.

Pour aller plus loin : le classement, les benchmarks et leurs sources, le glossaire, les données et exports, ou cette page en texte.