Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Fiche modèle · édition du

Llama 3.1-⁠8B

Meta AI · États-Unis · sorti le Meta AI · États-Unis · 23 juillet 2024

  • Poids ouverts · Llama 3.1
  • Carte graphique 8 Go
  • Classe énergétique A
28,8de 19,7 à 37,9Rang 241 · 90 %?
Empreinte?
Raisonnement36,8Code26,7Agents31,5Usage27,7Maths27,7Sciences26,9Français30,7VisionÉcriture28,0Web

Son bilan?

  • Au classement général, 241e sur 257, dans un groupe de 16 modèles trop proches pour être départagés.
  • Pas encore classé en raisonnement, code, tâches d'agent et maths : trop peu de mesures.
  • Pas encore mesuré en compréhension d'images et création web.
L'application de l'éditeurMeta AI Ce modèle n'y est peut-être plus proposé. (nouvel onglet)

Estimationenviron 0,03 € pour 1 000 questions par l'API, en comptant 1 000 jetons lus et 500 écrits par question. Comment on l'estime

Score général?

28,8de 19,7 à 37,9

Rang241Groupe 13, ex æquoCouverture90 %23 mesures

Pourquoi ce score ? →Comment lire un score →

Peut-il tourner chez vous ?ESTIMATION

Tient à partir d'une carte graphique de 8 Go (6 Go utiles), en version allégée à 4 bits, par exemple une GeForce RTX 5050. Mémoire estimée : 5,5 Go.

Mémoire selon la versionAllégée, 4 bits5,5 GoAllégée, 8 bits9,7 GoComplète, 16 bits18,4 GoLe pointillé marque 6 Go, la mémoire utile d'une carte graphique de 8 Go. Au-delà, le modèle ne tient plus sur cette machine.
Vitesse de générationEstimation pour un contexte court : le débit mémoire de chaque machine divisé par ce que le modèle relit à chaque jeton dans la version qui y tient, ramené à ce que donnent les 7 mesures publiées qui servent d'étalon. Dans chaque famille, la plus petite machine à débit publié où il tient, la moins rapide à mémoire égale. Comment on l’estime.

Les benchmarks mesurent la version complète du modèle. La version allégée fait un peu moins bien. À télécharger avec Ollama, LM Studio ou llama.cpp. Comment on compte la mémoire. Les prix et les marchands sont sur la page de chaque machine.

Pour aller plus loin. Installer Ollama, lancer un premier modèle et fixer la taille du contexte pour qu'il tienne dans la mémoire de la machine. Ollama & les modèles locaux, sur minilabai.com. Un guide du même auteur que QUELLE IA.

Fiche technique

Prix
0,02 € / 0,03 €entrée / sortie, par million de jetons
Fenêtre de contexte
131 072 jetonsenviron 98 000 mots
Entrées
Texte
Réflexion
Non communiqué
Paramètres
8 milliards
Licence
Llama 3.1poids ouverts, téléchargeables
Classe énergétique
Asur une échelle de A à G
Hébergement en Europe
Possible
Connaissances jusqu'à
Décembre 2023

Où le trouver

Liens directs, sans affiliation

Ses versions non censurées

Une variante modifiée par des tiers pour refuser moins, à partir de ce modèle ou de sa version de base. Leur taux de refus vient du banc de QUELLE IA ; elles ne reprennent pas le score de cette fiche.

Le classement des IA non censurées →

Toutes les mesures

36 mesures · d'où vient le score
BenchmarkRésultatÉquivaut à?RéflexionÉtatSource
GSM8K82,4 %34,8InconnueARCHIVÉepoch.ai
BoolQ82,8 %5,7InconnueARCHIVÉepoch.ai
PIQA81,2 %4,2InconnueARCHIVÉepoch.ai
Voir les 24 autres mesures
MMLU56,1 %0,2InconnueARCHIVÉepoch.ai
compar:IA907,0 Elo29,9InconnueACTIFarene.comparia.beta.gouv.fr
Arena, questions de code1 259,5 Elo28,1InconnueACTIFarena.ai
Arena, texte1 211,3 Elo25,0InconnueACTIFarena.ai
Arena, écriture créative1 177,0 Elo26,0InconnueACTIFarena.ai
MATH Level 522,9 %39,6InconnueARCHIVÉepoch.ai
Arena, questions de maths1 188,3 Elo25,3InconnueACTIFarena.ai
Arena, questions en français1 206,6 Elo22,6InconnueACTIFarena.ai
Arena, questions d'experts1 197,8 Elo26,8InconnueACTIFarena.ai
DTBench50,9 %41,1InconnueSATURÉconceptualreasoning.ai
BALROG15,1 %38,7InconnueACTIFbalrogai.com
SciCode13,2 %24,5InconnueACTIFartificialanalysis.ai
LMCA5,3737,7InconnueACTIFconceptualreasoning.ai
GPQA Diamond27 %20,8InconnueSATURÉepoch.ai
WeirdML (v2)1,7 %6,8InconnueACTIFhtihle.github.io
OTIS Mock AIME 2024-20251,7 %34,3InconnueSATURÉepoch.ai
CritPt0 %59,3InconnueACTIFepoch.ai

Source : Artificial Analysis pour CritPt et SciCode. Ces mesures, relayées par Epoch AI, comptent dans le score IA avec leur accord.

En bref

Quel est le score de Llama 3.1-8B ?
Llama 3.1-8B obtient un score IA de 28,8, avec une marge de 19,7 à 37,9, dans l'édition du 9 novembre 2026. Il est classé 241e sur 257 modèles, à partir de 23 mesures.?
Dans quelles tâches Llama 3.1-8B est-il le plus fort ?
Ses deux meilleures tâches sont raisonnement (36,8) et agents (31,5). Sa tâche la plus faible est code (26,7).
Llama 3.1-8B peut-il tourner en local ?
Tient à partir d'une carte graphique de 8 Go (6 Go utiles), en version allégée à 4 bits, par exemple une GeForce RTX 5050. Mémoire estimée : 5,5 Go.
Combien coûte Llama 3.1-8B ?
0,02 € par million de jetons en entrée et 0,03 € en sortie, au tarif affiché par les fournisseurs. Pour fixer les idées, 1 000 questions de 1 000 jetons, avec des réponses de 500 jetons, coûteraient environ 0,03 € par l'API : c'est une estimation, pas un tarif. Le coût réel d'une tâche dépend du nombre de jetons que le modèle consomme.
Qui édite Llama 3.1-8B ?
Llama 3.1-8B est édité par Meta AI (États-Unis), et il est sorti le 23 juillet 2024. Ses poids sont ouverts, sous licence Llama 3.1.

Ses voisins?