Tencent · Chine · sorti le Tencent · Chine · 28 août 2026
Estimationenviron 1,9 € pour 1 000 questions par l'API, en comptant 1 000 jetons lus et 500 écrits par question. Comment on l'estime
Ces forfaits de code proposent ce modèle, d'après la page de leur éditeur. Tous les forfaits pour coder →
91,8de 89,3 à 94,4
Agent Arena, le classement des agents d'Arena, observe de vraies sessions de travail : des internautes confient une tâche à un agent (écrire du code, chercher, analyser des fichiers) dont le modèle est tiré au sort et reste caché. Le score net dit de combien de points ce modèle fait monter ou baisser les signes de réussite de ces sessions (tâche validée, compliments, corrections réussies, erreurs rattrapées, aucun outil inventé) par rapport au modèle moyen du classement, qui vaut 0 %. Il ne compte pas dans le score IA de QUELLE IA.
| Version évaluée | Rang | Score net | Intervalle à 95 % | Sessions |
|---|---|---|---|---|
| Hy4 preview | 30e sur 59 | +0,5 % | de −0,3 à +1,2 % | 103 029 |
Score net et intervalle de confiance à 95 % en points de pourcentage. Rang parmi les 59 modèles du classement, où un même modèle peut paraître à plusieurs niveaux d'effort. Classement publié par Arena le 11 novembre 2026, repris de son jeu de données public sous licence CC BY 4.0.
Source : Arena (Agent Arena), CC BY 4.0 · la méthode
STEMBench d'Ulam soumet aux modèles 120 tâches de recherche en sciences et en ingénierie, tenues secrètes, 20 dans chacun de six domaines. Chaque tâche reçoit une note de 0 à 4 : un niveau entier, de 0 (aucun progrès exploitable) à 4 (l'objectif entier atteint), affiné par un indice de qualité. La moyenne compte toutes les tâches, tentatives notées zéro comprises. Elle ne compte pas dans le score IA de QUELLE IA.
Deux des 11 passages ont travaillé avec des outils (recherche de sources, exécution de code, fichiers) : les passages avec outils ne se comparent pas directement aux autres.
sans outils
Moyenne2,586 sur 4
Instantané du 28 octobre 2026 (STEMBench120, version 1.0.0). Rang parmi les 11 passages publiés par Ulam, tous réglages confondus. Sur une même tâche, Ulam tient deux notes à moins de 0,05 l'une de l'autre pour égales. Aucun des 11 passages n'a atteint l'objectif entier d'une tâche.
Source : Ulam STEMBench
Trop lourd pour les machines que suit QUELLE IA : 531,3 Go en version allégée à 4 bits, plus que les 448 Go utiles de quatre DGX Spark en grappe. Il lui faut un serveur.
Les benchmarks mesurent la version complète du modèle. La version allégée fait un peu moins bien. À télécharger avec Ollama, LM Studio ou llama.cpp. Comment on compte la mémoire. Les prix et les marchands sont sur la page de chaque machine.
Pour aller plus loin. Installer Ollama, lancer un premier modèle et fixer la taille du contexte pour qu'il tienne dans la mémoire de la machine. Ollama & les modèles locaux, sur minilabai.com. Un guide du même auteur que QUELLE IA.
Un modèle proposé par un outil figure dans la liste que son éditeur publie. Rien n'y est mesuré. Tous les outils et leurs modèles →
↑↓ choisirEntrée ouvrirÉchap fermerTous les modèles, avec filtres