Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Fiche modèle · édition du

Llama 3.1-⁠405B

Meta AI · États-Unis · sorti le Meta AI · États-Unis · 23 juillet 2024

  • Poids ouverts · Llama 3.1
  • Mac 512 Go
  • Classe énergétique E
52,7de 49,0 à 56,4Rang 186 · 75 %?
Empreinte?
Raisonnement53,3Code53,0AgentsUsage53,5Maths48,7Sciences53,3Français57,5VisionÉcriture53,8Web

Son bilan?

  • Au classement général, 186e sur 257, ex æquo avec 34 autres modèles dont les marges d'erreur se recouvrent.
  • Pas encore classé en raisonnement, code et maths : trop peu de mesures.
  • Pas encore mesuré en tâches d'agent, compréhension d'images et création web.
L'application de l'éditeurMeta AI Ce modèle n'y est peut-être plus proposé. (nouvel onglet)

Estimationenviron 3,7 € pour 1 000 questions par l'API, en comptant 1 000 jetons lus et 500 écrits par question. Comment on l'estime

Score général?

52,7de 49,0 à 56,4

Rang186Groupe 11, ex æquoCouverture75 %19 mesures

Pourquoi ce score ? →Comment lire un score →

Peut-il tourner chez vous ?ESTIMATION

Tient à partir d'un Mac de 512 Go (378,9 Go utiles), en version allégée à 4 bits, par exemple un Mac Studio M5 Ultra de 512 Go. Mémoire estimée : 279,4 Go.

Mémoire selon la versionAllégée, 4 bits279,4 GoAllégée, 8 bits489,0 GoComplète, 16 bits931,5 GoLe pointillé marque 378,9 Go, la mémoire utile d'un Mac de 512 Go. Au-delà, le modèle ne tient plus sur cette machine.
Vitesse de générationEstimation pour un contexte court : le débit mémoire de chaque machine divisé par ce que le modèle relit à chaque jeton dans la version qui y tient, ramené à ce que donnent les 7 mesures publiées qui servent d'étalon. Dans chaque famille, la plus petite machine à débit publié où il tient, la moins rapide à mémoire égale. Comment on l’estime.

Les benchmarks mesurent la version complète du modèle. La version allégée fait un peu moins bien. À télécharger avec Ollama, LM Studio ou llama.cpp. Comment on compte la mémoire. Les prix et les marchands sont sur la page de chaque machine.

Pour aller plus loin. Installer Ollama, lancer un premier modèle et fixer la taille du contexte pour qu'il tienne dans la mémoire de la machine. Ollama & les modèles locaux, sur minilabai.com. Un guide du même auteur que QUELLE IA.

Fiche technique

Prix
2,38 € / 2,60 €entrée / sortie, par million de jetons
Fenêtre de contexte
131 072 jetonsenviron 98 000 mots
Entrées
Non communiqué
Réflexion
Non communiqué
Paramètres
405 milliards
Licence
Llama 3.1poids ouverts, téléchargeables
Classe énergétique
Esur une échelle de A à G
Hébergement en Europe
Possible
Connaissances jusqu'à
Non communiqué

Où le trouver

Liens directs, sans affiliation

Ses versions non censurées

Une variante modifiée par des tiers pour refuser moins, à partir de ce modèle ou de sa version de base. Leur taux de refus vient du banc de QUELLE IA ; elles ne reprennent pas le score de cette fiche.

Le classement des IA non censurées →

À lire sur Clubic

1 article · relevé du

Une sélection automatique des articles de Frandroid, Numerama et Clubic consacrés à ce modèle. Ces trois médias appartiennent au groupe Humanoid. Les articles n'entrent pas dans le score.

Toutes les mesures

48 mesures · d'où vient le score
BenchmarkRésultatÉquivaut à?RéflexionÉtatSource
ARC (AI2 Reasoning Challenge)95,3 %72,9InconnueARCHIVÉepoch.ai
HellaSwag89,2 %59,7InconnueARCHIVÉepoch.ai
TriviaQA82,7 %55,3InconnueARCHIVÉepoch.ai
MMLU84,5 %56,1InconnueARCHIVÉepoch.ai
MMLU84,4 %55,9InconnueARCHIVÉepoch.ai
WinoGrande89,2 %75,2InconnueARCHIVÉepoch.ai
BIG-Bench Hard (BBH)82,9 %48,7InconnueARCHIVÉepoch.ai
BIG-Bench Hard (BBH)82,9 %48,7InconnueARCHIVÉepoch.ai
Voir les 36 autres mesures
PIQA85,9 %54,9InconnueARCHIVÉepoch.ai
WinoGrande82,2 %39,1InconnueARCHIVÉepoch.ai
MATH Level 549,8 %49,1InconnueARCHIVÉepoch.ai
Arena, texte1 335,6 Elo54,6InconnueACTIFarena.ai
Arena, écriture créative1 304,5 Elo55,4InconnueACTIFarena.ai
compar:IA957,0 Elo48,5InconnueACTIFarene.comparia.beta.gouv.fr
Arena, texte1 333,7 Elo54,2InconnueACTIFarena.ai
Arena, écriture créative1 301,3 Elo54,7InconnueACTIFarena.ai
Arena, questions de code1 376,3 Elo54,5InconnueACTIFarena.ai
Arena, questions de code1 369,1 Elo52,9InconnueACTIFarena.ai
Arena, questions de maths1 319,4 Elo52,9InconnueACTIFarena.ai
Arena, questions en français1 340,3 Elo52,4InconnueACTIFarena.ai
Arena, questions de maths1 315,9 Elo52,1InconnueACTIFarena.ai
Arena, questions d'experts1 325,5 Elo51,8InconnueACTIFarena.ai
Arena, questions en français1 328,3 Elo49,7InconnueACTIFarena.ai
GPQA Diamond50,9 %53,3InconnueSATURÉepoch.ai
DTBench61,4 %53,9InconnueSATURÉconceptualreasoning.ai
Arena, questions d'experts1 312,7 Elo49,3InconnueACTIFarena.ai
ForecastBench62,6 %69,2InconnueACTIFepoch.ai
WeirdML (v2)21,4 %52,7InconnueACTIFhtihle.github.io
OTIS Mock AIME 2024-20259,7 %47,2InconnueSATURÉepoch.ai
SimpleBench23 %47,3InconnueACTIFepoch.ai
Cybench7,5 %58,7InconnueARCHIVÉepoch.ai
TheAgentCompany7,4 %51,7InconnueARCHIVÉepoch.ai
CritPt0 %59,3InconnueACTIFepoch.ai

Source : Artificial Analysis pour CritPt. Ces mesures, relayées par Epoch AI, comptent dans le score IA avec leur accord.

En bref

Quel est le score de Llama 3.1-405B ?
Llama 3.1-405B obtient un score IA de 52,7, avec une marge de 49,0 à 56,4, dans l'édition du 9 novembre 2026. Il est classé 186e sur 257 modèles, à partir de 19 mesures.?
Dans quelles tâches Llama 3.1-405B est-il le plus fort ?
Ses deux meilleures tâches sont français (57,5) et écriture (53,8). Sa tâche la plus faible est maths (48,7).
Llama 3.1-405B peut-il tourner en local ?
Tient à partir d'un Mac de 512 Go (378,9 Go utiles), en version allégée à 4 bits, par exemple un Mac Studio M5 Ultra de 512 Go. Mémoire estimée : 279,4 Go.
Combien coûte Llama 3.1-405B ?
2,38 € par million de jetons en entrée et 2,60 € en sortie, au tarif affiché par les fournisseurs. Pour fixer les idées, 1 000 questions de 1 000 jetons, avec des réponses de 500 jetons, coûteraient environ 3,7 € par l'API : c'est une estimation, pas un tarif. Le coût réel d'une tâche dépend du nombre de jetons que le modèle consomme.
Qui édite Llama 3.1-405B ?
Llama 3.1-405B est édité par Meta AI (États-Unis), et il est sorti le 23 juillet 2024. Ses poids sont ouverts, sous licence Llama 3.1.

Ses voisins?