Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Fiche modèle · édition du

Llama 3.1-405B

Meta AI · États-Unis · sorti le Meta AI · États-Unis · 23 juillet 2024

  • Poids ouverts · Llama 3.1
  • Mac 512 Go
  • Classe énergétique E
52,6de 48,6 à 56,6Rang 176 · 75 %
Empreinte
Raisonnement52,9Code52,9AgentsUsage53,4Maths48,7Sciences53,1Français57,1VisionÉcriture53,7Web

Score général

52,6de 48,6 à 56,6

Rang176Groupe 12, ex æquoCouverture75 %18 mesures
Pourquoi ce score ? →

Les dix tâches

  • Raisonnement
    52,9Provisoire · 33 %
  • Code
    52,9Provisoire · 15 %
  • Agents
    Non mesuré
  • Usage
    53,4Rang 190 · 100 %
  • Maths
    48,7Provisoire · 25 %
  • Sciences
    53,1Provisoire · 40 %
  • Français
    57,1Rang 105 · 81 %
  • Vision
    Non mesuré
  • Écriture
    53,7Rang 191 · 100 %
  • Web
    Non mesuré

Peut-il tourner chez vous ?ESTIMATION

Tient à partir d'un Mac de 512 Go (378,9 Go utiles), en version allégée à 4 bits, par exemple un Mac Studio M5 Ultra de 512 Go. Mémoire estimée : 279,4 Go.

Mémoire selon la versionAllégée, 4 bits279,4 GoAllégée, 8 bits489,0 GoComplète, 16 bits931,5 GoLe pointillé marque 378,9 Go, la mémoire utile d'un Mac de 512 Go. Au-delà, le modèle ne tient plus sur cette machine.

Les benchmarks mesurent la version complète du modèle. La version allégée fait un peu moins bien. À télécharger avec Ollama, LM Studio ou llama.cpp. Comment on compte la mémoire.

Fiche technique

Prix
2,38 € / 2,60 €entrée / sortie, par million de jetons
Fenêtre de contexte
131 072 jetonsenviron 98 000 mots
Entrées
Non communiqué
Réflexion
Non communiqué
Paramètres
405 milliards
Licence
Llama 3.1poids ouverts, téléchargeables
Classe énergétique
Esur une échelle de A à G
Hébergement en Europe
Possible
Connaissances jusqu'à
Non communiqué

Où le trouver

Liens directs, sans affiliation

Toutes les mesures

47 mesures · la matière du score
BenchmarkPubliéSuggèreRéflexionÉtatSource
ARC (AI2 Reasoning Challenge)95,3 %72,2InconnueARCHIVÉepoch.ai
HellaSwag89,2 %59,3InconnueARCHIVÉepoch.ai
TriviaQA82,7 %55,0InconnueARCHIVÉepoch.ai
MMLU84,5 %55,7InconnueARCHIVÉepoch.ai
MMLU84,4 %55,4InconnueARCHIVÉepoch.ai
WinoGrande89,2 %74,3InconnueARCHIVÉepoch.ai
BIG-Bench Hard (BBH)82,9 %48,5InconnueARCHIVÉepoch.ai
BIG-Bench Hard (BBH)82,9 %48,5InconnueARCHIVÉepoch.ai
Voir les 35 autres mesures
PIQA85,9 %54,6InconnueARCHIVÉepoch.ai
WinoGrande82,2 %39,1InconnueARCHIVÉepoch.ai
MATH Level 549,8 %49,0InconnueARCHIVÉepoch.ai
Arena, écriture créative1 304,6 Elo55,1InconnueACTIFarena.ai
Arena, texte1 335,4 Elo54,5InconnueACTIFarena.ai
compar:IA957,0 Elo43,8InconnueACTIFarene.comparia.beta.gouv.fr
Arena, texte1 333,5 Elo54,0InconnueACTIFarena.ai
Arena, écriture créative1 301,4 Elo54,4InconnueACTIFarena.ai
Arena, questions de code1 376,3 Elo54,5InconnueACTIFarena.ai
Arena, questions de code1 369,1 Elo52,9InconnueACTIFarena.ai
Arena, questions de maths1 318,9 Elo52,8InconnueACTIFarena.ai
Arena, questions en français1 339,8 Elo52,4InconnueACTIFarena.ai
Arena, questions de maths1 315,4 Elo52,1InconnueACTIFarena.ai
Arena, questions d'experts1 324,7 Elo51,9InconnueACTIFarena.ai
Arena, questions en français1 327,7 Elo49,9InconnueACTIFarena.ai
DTBench61,4 %53,8InconnueSATURÉconceptualreasoning.ai
Arena, questions d'experts1 311,9 Elo49,4InconnueACTIFarena.ai
GPQA Diamond50,9 %53,3InconnueACTIFepoch.ai
WeirdML (v2)21,4 %52,6InconnueACTIFhtihle.github.io
ForecastBench59,9 %75,3InconnueACTIFepoch.ai
OTIS Mock AIME 2024-20259,7 %47,1InconnueSATURÉepoch.ai
SimpleBench23 %47,2InconnueACTIFepoch.ai
Cybench7,5 %58,7InconnueARCHIVÉepoch.ai
TheAgentCompany7,4 %51,6InconnueARCHIVÉepoch.ai

En bref

Quel est le score de Llama 3.1-405B ?
Llama 3.1-405B obtient un score IA de 52,6, avec une marge de 48,6 à 56,6, dans l'édition du 28 septembre 2026. Il est classé 176e sur 246 modèles, à partir de 18 mesures.
Dans quelles tâches Llama 3.1-405B est-il le plus fort ?
Ses deux meilleures tâches sont français (57,1) et écriture (53,7). Sa tâche la plus faible est maths (48,7).
Llama 3.1-405B peut-il tourner en local ?
Tient à partir d'un Mac de 512 Go (378,9 Go utiles), en version allégée à 4 bits, par exemple un Mac Studio M5 Ultra de 512 Go. Mémoire estimée : 279,4 Go.
Combien coûte Llama 3.1-405B ?
2,38 € par million de jetons en entrée et 2,60 € en sortie, au tarif affiché par les fournisseurs. Le coût réel d'une tâche dépend du nombre de jetons que le modèle consomme.
Qui édite Llama 3.1-405B ?
Llama 3.1-405B est édité par Meta AI (États-Unis), et il est sorti le 23 juillet 2024. Ses poids sont ouverts, sous licence Llama 3.1.

Ses voisins