Quel est le score de MPT-30B ?

MPT-30B obtient un score IA de 13,9, avec une marge de 0,0 à 31,9. Ce score est provisoire : il repose sur 4 mesures, et le modèle n'a pas de rang. Ce que veut dire ce score : https://quelleia.com/demarche/#que-veut-dire-le-score

Dans quelles tâches MPT-30B est-il le plus fort ?

Ses deux meilleures tâches sont écriture (14,4) et usage (13,1). Sa tâche la plus faible est maths (12,0).

MPT-30B est édité par MosaicML (États-Unis), et il est sorti le 22 juin 2023. Ses poids sont ouverts.

Fiche modèle · édition du 9 novembre 2026

MPT-⁠30B

MosaicML · États-Unis · sorti le 22 juin 2023MosaicML · États-Unis · 22 juin 2023

Poids ouverts

13,9de 0,0 à 31,9Provisoire · 40 %?

Empreinte?

RaisonnementCode12,3AgentsUsage13,1Maths12,0SciencesFrançaisVisionÉcriture14,4Web

Son bilan?

Pas encore de rang au classement général : il a trop peu de mesures, son score est provisoire.
Pas encore classé en code et maths : trop peu de mesures.
Mesuré seulement en code, usage courant, maths et écriture pour l'instant.

Score général?

13,9de 0,0 à 31,9

RangScore provisoireCouverture40 %4 mesures

Pourquoi ce score ? →Comment lire un score →

Les dix tâches?

Raisonnement
Non mesuré
Code
12,3Provisoire · 8 %
, voir le classement Code
Agents
Non mesuré
Usage
13,1Rang 280 · 100 %
, voir le classement Usage
Maths
12,0Provisoire · 12 %
, voir le classement Maths
Sciences
Non mesuré
Français
Non mesuré
Vision
Non mesuré
Écriture
14,4Rang 278 · 100 %
, voir le classement Écriture
Web
Non mesuré

Peut-il tourner chez vous ?

Il se télécharge, mais son éditeur ne dit pas combien de paramètres il compte : impossible d'estimer la mémoire qu'il demande.

Fiche technique

Prix: Non communiqué
Fenêtre de contexte: Non communiqué
Entrées: Non communiqué
Réflexion: Non communiqué
Paramètres: Non communiqué
Licence: Poids ouvertspoids ouverts, téléchargeables
Classe énergétique: Non communiquée
Hébergement en Europe: Non communiqué
Connaissances jusqu'à: Non communiqué

Où le trouver

Liens directs, sans affiliation

Toutes les mesures

22 mesures · d'où vient le score

BenchmarkRésultatÉquivaut à?RéflexionÉtatSource

TriviaQA73,6 %4,7InconnueARCHIVÉepoch.ai

TriviaQA73,3 %3,2InconnueARCHIVÉepoch.ai

TriviaQA71,3 %-6,2InconnueARCHIVÉepoch.ai

BoolQ85 %14,9InconnueARCHIVÉepoch.ai

TriviaQA68 %-20,8InconnueARCHIVÉepoch.ai

PIQA81,9 %11,3InconnueARCHIVÉepoch.ai

BoolQ79 %-8,9InconnueARCHIVÉepoch.ai

WinoGrande71 %-8,4InconnueARCHIVÉepoch.ai

BoolQ70,4 %-40,5InconnueARCHIVÉepoch.ai

OpenBookQA52 %-17,3InconnueARCHIVÉepoch.ai

GSM8K34,4 %-12,0InconnueARCHIVÉepoch.ai

ARC (AI2 Reasoning Challenge)50,6 %-16,4InconnueARCHIVÉepoch.ai

Voir les 10 autres mesures

MMLU47,9 %-15,6InconnueARCHIVÉepoch.ai

MMLU46,9 %-17,7InconnueARCHIVÉepoch.ai

Arena, écriture créative1 132,4 Elo15,7InconnueACTIFarena.ai

Arena, texte1 150,9 Elo10,6InconnueACTIFarena.ai

BIG-Bench Hard (BBH)38 %-20,9InconnueARCHIVÉepoch.ai

Arena, questions de code1 168,1 Elo7,5InconnueACTIFarena.ai

GSM8K16,4 %-33,0InconnueARCHIVÉepoch.ai

GSM8K15,2 %-34,9InconnueARCHIVÉepoch.ai

Arena, questions de maths1 096,3 Elo5,9InconnueACTIFarena.ai

En bref

Quel est le score de MPT-30B ?: MPT-30B obtient un score IA de 13,9, avec une marge de 0,0 à 31,9. Ce score est provisoire : il repose sur 4 mesures, et le modèle n'a pas de rang.?
Dans quelles tâches MPT-30B est-il le plus fort ?: Ses deux meilleures tâches sont écriture (14,4) et usage (13,1). Sa tâche la plus faible est maths (12,0).
MPT-30B peut-il tourner en local ?: Il se télécharge, mais son éditeur ne dit pas combien de paramètres il compte : impossible d'estimer la mémoire qu'il demande.
Qui édite MPT-30B ?: MPT-30B est édité par MosaicML (États-Unis), et il est sorti le 22 juin 2023. Ses poids sont ouverts.