Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Fiche modèle · édition du

Mistral 7B v0.1

Mistral AI · France · sorti le Mistral AI · France · 27 septembre 2023

  • Poids ouverts
  • Carte graphique 8 Go
7,3de 0,0 à 34,2Provisoire · 10 %?
Empreinte?
RaisonnementCodeAgentsUsageMathsSciencesFrançais6,2VisionÉcritureWeb

Son bilan?

  • Pas encore de rang au classement général : il a trop peu de mesures, son score est provisoire.
  • Mesuré seulement en français pour l'instant.
L'application de l'éditeurLe Chat Ce modèle n'y est peut-être plus proposé. (nouvel onglet)

Score général?

7,3de 0,0 à 34,2

RangScore provisoireCouverture10 %5 mesures

Pourquoi ce score ? →Comment lire un score →

Les dix tâches?

Peut-il tourner chez vous ?ESTIMATION

Tient à partir d'une carte graphique de 8 Go (6 Go utiles), en version allégée à 4 bits, par exemple une GeForce RTX 5050. Mémoire estimée : 5,0 Go.

Mémoire selon la versionAllégée, 4 bits5,0 GoAllégée, 8 bits8,7 GoComplète, 16 bits16,7 GoLe pointillé marque 6 Go, la mémoire utile d'une carte graphique de 8 Go. Au-delà, le modèle ne tient plus sur cette machine.
Vitesse de générationEstimation pour un contexte court : le débit mémoire de chaque machine divisé par ce que le modèle relit à chaque jeton dans la version qui y tient, ramené à ce que donnent les 7 mesures publiées qui servent d'étalon. Dans chaque famille, la plus petite machine à débit publié où il tient, la moins rapide à mémoire égale. Comment on l’estime.

Les benchmarks mesurent la version complète du modèle. La version allégée fait un peu moins bien. À télécharger avec Ollama, LM Studio ou llama.cpp. Comment on compte la mémoire. Les prix et les marchands sont sur la page de chaque machine.

Pour aller plus loin. Installer Ollama, lancer un premier modèle et fixer la taille du contexte pour qu'il tienne dans la mémoire de la machine. Ollama & les modèles locaux, sur minilabai.com. Un guide du même auteur que QUELLE IA.

Fiche technique

Prix
Non communiqué
Fenêtre de contexte
Non communiqué
Entrées
Non communiqué
Réflexion
Non communiqué
Paramètres
7,2 milliards
Licence
Poids ouvertspoids ouverts, téléchargeables
Classe énergétique
Non communiquée
Hébergement en Europe
Non communiqué
Connaissances jusqu'à
Non communiqué

Où le trouver

Liens directs, sans affiliation

Toutes les mesures

40 mesures · d'où vient le score
BenchmarkRésultatÉquivaut à?RéflexionÉtatSource
EuroEval, Allociné (sentiment)93,1 %40,7InconnueSATURÉeuroeval.com
EuroEval, Allociné (sentiment)89,4 %18,0InconnueSATURÉeuroeval.com
TriviaQA75,2 %12,6InconnueARCHIVÉepoch.ai
BoolQ87,4 %25,8InconnueARCHIVÉepoch.ai
HellaSwag81 %13,8InconnueARCHIVÉepoch.ai
OpenBookQA79,8 %30,7InconnueARCHIVÉepoch.ai
EuroEval, FQuAD (compréhension)71,9 %84,0InconnueACTIFeuroeval.com
ARC (AI2 Reasoning Challenge)78,6 %25,5InconnueARCHIVÉepoch.ai
PIQA83 %22,8InconnueARCHIVÉepoch.ai
PIQA82,2 %14,4InconnueARCHIVÉepoch.ai
EuroEval, FQuAD (compréhension)64 %39,6InconnueACTIFeuroeval.com
TriviaQA62,5 %-43,7InconnueARCHIVÉepoch.ai
Voir les 28 autres mesures
BoolQ80,5 %-3,3InconnueARCHIVÉepoch.ai
GSM8K54,4 %5,6InconnueARCHIVÉepoch.ai
WinoGrande75,3 %9,6InconnueARCHIVÉepoch.ai
WinoGrande75,3 %9,6InconnueARCHIVÉepoch.ai
EuroEval, ELTeC (noms propres)50,3 %12,1InconnueACTIFeuroeval.com
MMLU62,5 %11,6InconnueARCHIVÉepoch.ai
GSM8K50 %1,8InconnueARCHIVÉepoch.ai
MMLU61,7 %10,2InconnueARCHIVÉepoch.ai
WinoGrande74,2 %5,0InconnueARCHIVÉepoch.ai
WinoGrande74,2 %5,0InconnueARCHIVÉepoch.ai
GSM8K47,5 %-0,3InconnueARCHIVÉepoch.ai
MMLU60,1 %7,4InconnueARCHIVÉepoch.ai
PIQA73,4 %-70,9InconnueARCHIVÉepoch.ai
EuroEval, ELTeC (noms propres)43,4 %-9,3InconnueACTIFeuroeval.com
MMLU56,6 %1,1InconnueARCHIVÉepoch.ai
BIG-Bench Hard (BBH)56,1 %9,6InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)55,5 %-9,0InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)54,9 %-9,9InconnueARCHIVÉepoch.ai
ARC (AI2 Reasoning Challenge)54,9 %-9,9InconnueARCHIVÉepoch.ai
GSM8K38,1 %-8,5InconnueARCHIVÉepoch.ai
GSM8K35,4 %-11,0InconnueARCHIVÉepoch.ai
EuroEval, ScaLA (grammaire)27,6 %13,3InconnueACTIFeuroeval.com
ANLI (Adversarial NLI)47,1 %16,4InconnueARCHIVÉepoch.ai
EuroEval, ScaLA (grammaire)19,6 %-11,5InconnueACTIFeuroeval.com
BIG-Bench Hard (BBH)39,5 %-17,5InconnueARCHIVÉepoch.ai
EuroEval, HellaSwag (bon sens)16,6 %-14,5InconnueACTIFeuroeval.com
EuroEval, HellaSwag (bon sens)16,3 %-15,4InconnueACTIFeuroeval.com
WinoGrande54,2 %-115,5InconnueARCHIVÉepoch.ai

En bref

Quel est le score de Mistral 7B v0.1 ?
Mistral 7B v0.1 obtient un score IA de 7,3, avec une marge de 0,0 à 34,2. Ce score est provisoire : il repose sur 5 mesures, et le modèle n'a pas de rang.?
Mistral 7B v0.1 peut-il tourner en local ?
Tient à partir d'une carte graphique de 8 Go (6 Go utiles), en version allégée à 4 bits, par exemple une GeForce RTX 5050. Mémoire estimée : 5,0 Go.
Qui édite Mistral 7B v0.1 ?
Mistral 7B v0.1 est édité par Mistral AI (France), et il est sorti le 27 septembre 2023. Ses poids sont ouverts.

Ses voisins?