Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Fiche modèle · édition du

MPT-⁠7B

MosaicML · États-Unis · sorti le MosaicML · États-Unis · 5 mai 2023

  • Poids ouverts
0,0de 0,0 à 20,3Provisoire · 40 %?
Empreinte?
RaisonnementCode0,0AgentsUsage0,0Maths0,0SciencesFrançaisVisionÉcriture0,0Web

Son bilan?

  • Pas encore de rang au classement général : il a trop peu de mesures, son score est provisoire.
  • Pas encore classé en code et maths : trop peu de mesures.
  • Mesuré seulement en code, usage courant, maths et écriture pour l'instant.

Score général?

0,0de 0,0 à 20,3

RangScore provisoireCouverture40 %4 mesures

Pourquoi ce score ? →Comment lire un score →

Les dix tâches?

Peut-il tourner chez vous ?

Il se télécharge, mais son éditeur ne dit pas combien de paramètres il compte : impossible d'estimer la mémoire qu'il demande.

Fiche technique

Prix
Non communiqué
Fenêtre de contexte
Non communiqué
Entrées
Non communiqué
Réflexion
Non communiqué
Paramètres
Non communiqué
Licence
Poids ouvertspoids ouverts, téléchargeables
Classe énergétique
Non communiquée
Hébergement en Europe
Non communiqué
Connaissances jusqu'à
Non communiqué

Où le trouver

Liens directs, sans affiliation

Toutes les mesures

44 mesures · d'où vient le score
BenchmarkRésultatÉquivaut à?RéflexionÉtatSource
LAMBADA70 %-24,5InconnueARCHIVÉepoch.ai
LAMBADA70 %-24,5InconnueARCHIVÉepoch.ai
HellaSwag76,4 %-6,0InconnueARCHIVÉepoch.ai
HellaSwag76,1 %-7,2InconnueARCHIVÉepoch.ai
TriviaQA61,6 %-47,2InconnueARCHIVÉepoch.ai
PIQA80,6 %-1,8InconnueARCHIVÉepoch.ai
PIQA80,6 %-1,8InconnueARCHIVÉepoch.ai
TriviaQA61,2 %-48,8InconnueARCHIVÉepoch.ai
TriviaQA59,6 %-55,1InconnueARCHIVÉepoch.ai
PIQA79,1 %-16,6InconnueARCHIVÉepoch.ai
PIQA78,9 %-18,5InconnueARCHIVÉepoch.ai
TriviaQA55,7 %-70,1InconnueARCHIVÉepoch.ai
Voir les 32 autres mesures
BoolQ75 %-23,6InconnueARCHIVÉepoch.ai
BoolQ75 %-23,6InconnueARCHIVÉepoch.ai
BoolQ74,1 %-26,8InconnueARCHIVÉepoch.ai
BoolQ73,9 %-27,6InconnueARCHIVÉepoch.ai
HellaSwag57,1 %-75,9InconnueARCHIVÉepoch.ai
WinoGrande68,6 %-18,8InconnueARCHIVÉepoch.ai
WinoGrande68,3 %-20,1InconnueARCHIVÉepoch.ai
WinoGrande68 %-21,5InconnueARCHIVÉepoch.ai
OpenBookQA51,4 %-18,3InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)42,6 %-30,4InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)42,6 %-30,4InconnueARCHIVÉepoch.ai
OpenBookQA41,8 %-37,6InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)41,7 %-32,2InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)40,5 %-34,7InconnueARCHIVÉepoch.ai
BIG-Bench Hard (BBH)35,6 %-26,9InconnueARCHIVÉepoch.ai
Arena, écriture créative1 053,2 Elo-2,6InconnueACTIFarena.ai
BIG-Bench Hard (BBH)35,2 %-28,0InconnueARCHIVÉepoch.ai
Arena, texte1 063,7 Elo-10,2InconnueACTIFarena.ai
Arena, questions de code1 066,1 Elo-15,6InconnueACTIFarena.ai
GSM8K9,1 %-47,4InconnueARCHIVÉepoch.ai
GSM8K8,6 %-48,6InconnueARCHIVÉepoch.ai
OpenBookQA31,4 %-72,0InconnueARCHIVÉepoch.ai
Arena, questions de maths987,8 Elo-17,0InconnueACTIFarena.ai
BIG-Bench Hard (BBH)31 %-42,9InconnueARCHIVÉepoch.ai
MMLU30,8 %-70,4InconnueARCHIVÉepoch.ai
GSM8K6,8 %-54,1InconnueARCHIVÉepoch.ai
GSM8K6,8 %-54,1InconnueARCHIVÉepoch.ai
MMLU27,9 %-94,3InconnueARCHIVÉepoch.ai
MMLU27,4 %-101,2InconnueARCHIVÉepoch.ai
MMLU26,8 %-111,0InconnueARCHIVÉepoch.ai
MMLU26,8 %-111,0InconnueARCHIVÉepoch.ai
MMLU26,7 %-112,9InconnueARCHIVÉepoch.ai

En bref

Quel est le score de MPT-7B ?
MPT-7B obtient un score IA de 0,0, avec une marge de 0,0 à 20,3. Ce score est provisoire : il repose sur 4 mesures, et le modèle n'a pas de rang.?
Dans quelles tâches MPT-7B est-il le plus fort ?
Ses deux meilleures tâches sont code (0,0) et usage (0,0). Sa tâche la plus faible est écriture (0,0).
MPT-7B peut-il tourner en local ?
Il se télécharge, mais son éditeur ne dit pas combien de paramètres il compte : impossible d'estimer la mémoire qu'il demande.
Qui édite MPT-7B ?
MPT-7B est édité par MosaicML (États-Unis), et il est sorti le 5 mai 2023. Ses poids sont ouverts.

Ses voisins?