Alibaba · Chine · sorti le Alibaba · Chine · 14 août 2026
Estimationenviron 1,7 € pour 1 000 questions par l'API, en comptant 1 000 jetons lus et 500 écrits par question. Comment on l'estime
Ce forfait de code propose ce modèle, d'après la page de leur éditeur. Tous les forfaits pour coder →
83,3de 80,3 à 86,3
Artificial Analysis évalue les modèles de son côté et publie son propre indice, l'Artificial Analysis Intelligence Index. C'est un autre indice, qui ne compte pas dans le score IA de QUELLE IA et ne se compare pas directement à lui.
| Version évaluée | Indice | Rang chez eux | Vitesse | Premier jeton | Prix par million de jetonsentrée / sortie |
|---|---|---|---|---|---|
| Qwen3.8 27B (Xhigh) | 33,7 | non publié | 41,7 jetons/s | 1,19 s | 0,5 $ / 3 $ |
| Qwen3.8 27B (Medium) | 27,6 | non publié | 44,3 jetons/s | 1,25 s | 0,5 $ / 3 $ |
| Qwen3.8 27B (Low) | 26,2 | non publié | 47,1 jetons/s | 1,18 s | 0,5 $ / 3 $ |
| Qwen3.8 27B (Non-reasoning) | 20,2 | non publié | 44,6 jetons/s | 1,20 s | 0,5 $ / 3 $ |
Médianes de leurs mesures : vitesse en jetons produits par seconde, délai avant le premier jeton en secondes. Prix en dollars par million de jetons, en entrée puis en sortie. Relevé le 26 octobre 2026 sur leur site, reproduit avec leur accord.
Source : Artificial Analysis
Agent Arena, le classement des agents d'Arena, observe de vraies sessions de travail : des internautes confient une tâche à un agent (écrire du code, chercher, analyser des fichiers) dont le modèle est tiré au sort et reste caché. Le score net dit de combien de points ce modèle fait monter ou baisser les signes de réussite de ces sessions (tâche validée, compliments, corrections réussies, erreurs rattrapées, aucun outil inventé) par rapport au modèle moyen du classement, qui vaut 0 %. Il ne compte pas dans le score IA de QUELLE IA.
| Version évaluée | Rang | Score net | Intervalle à 95 % | Sessions |
|---|---|---|---|---|
| Qwen3.8-27B | 43e sur 59 | −4,8 % | de −5,6 à −3,9 % | 63 957 |
Score net et intervalle de confiance à 95 % en points de pourcentage. Rang parmi les 59 modèles du classement, où un même modèle peut paraître à plusieurs niveaux d'effort. Classement publié par Arena le 11 novembre 2026, repris de son jeu de données public sous licence CC BY 4.0.
Source : Arena (Agent Arena), CC BY 4.0 · la méthode
STEMBench d'Ulam soumet aux modèles 120 tâches de recherche en sciences et en ingénierie, tenues secrètes, 20 dans chacun de six domaines. Chaque tâche reçoit une note de 0 à 4 : un niveau entier, de 0 (aucun progrès exploitable) à 4 (l'objectif entier atteint), affiné par un indice de qualité. La moyenne compte toutes les tâches, tentatives notées zéro comprises. Elle ne compte pas dans le score IA de QUELLE IA.
Deux des 11 passages ont travaillé avec des outils (recherche de sources, exécution de code, fichiers) : les passages avec outils ne se comparent pas directement aux autres.
sans outilspoids quantifiés en NVFP4
Moyenne2,314 sur 4
Instantané du 28 octobre 2026 (STEMBench120, version 1.0.0). Rang parmi les 11 passages publiés par Ulam, tous réglages confondus. Sur une même tâche, Ulam tient deux notes à moins de 0,05 l'une de l'autre pour égales. Aucun des 11 passages n'a atteint l'objectif entier d'une tâche.
Source : Ulam STEMBench
Tient à partir d'une carte graphique de 24 Go (22 Go utiles), en version allégée à 4 bits, par exemple une Intel Arc Pro B60. Mémoire estimée : 18,6 Go.
Les benchmarks mesurent la version complète du modèle. La version allégée fait un peu moins bien. À télécharger avec Ollama, LM Studio ou llama.cpp. Comment on compte la mémoire. Les prix et les marchands sont sur la page de chaque machine.
Pour aller plus loin. Installer Ollama, lancer un premier modèle et fixer la taille du contexte pour qu'il tienne dans la mémoire de la machine. Ollama & les modèles locaux, sur minilabai.com. Un guide du même auteur que QUELLE IA.
2 variantes modifiées par des tiers pour refuser moins. Leur taux de refus vient du banc de QUELLE IA ; elles ne reprennent pas le score de cette fiche.
↑↓ choisirEntrée ouvrirÉchap fermerTous les modèles, avec filtres