# llama.cpp

Faire tourner un modèle sur son ordinateur. Fiche « Apps et logiciels d'IA » de QUELLE IA, d'après les pages officielles (octobre 2026). Page : https://quelleia.com/logitheque/llama-cpp/

## Télécharger

- Mac : Site de l'éditeur, https://llama.app/download/mac (Appli Llama pour la barre des menus, construite sur llama.cpp par la même équipe (fichier .dmg))
- Windows : Site de l'éditeur, https://llama.app/download/windows (Appli Llama pour Windows 11, dans la zone de notification (paquet .msixbundle))
- Linux : Site de l'éditeur, https://llama.app/docs/installation (Script d'installation en une ligne de la commande « llama »)
- Mac : Gestionnaire de paquets, https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md (Homebrew (brew install llama.cpp), MacPorts, Nix ou conda-forge)
- Windows : Gestionnaire de paquets, https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md (Winget (winget install llama.cpp) ou conda-forge)
- Linux : Gestionnaire de paquets, https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md (Homebrew, Nix ou conda-forge)
- Mac : Dépôt officiel, https://github.com/ggml-org/llama.cpp/releases (Binaires précompilés macOS ARM64 et x64, publiés à chaque build)
- Windows : Dépôt officiel, https://github.com/ggml-org/llama.cpp/releases (Binaires Windows x64 et ARM64 : CPU, CUDA, Vulkan, ROCm, SYCL, OpenVINO)
- Linux : Dépôt officiel, https://github.com/ggml-org/llama.cpp/releases (Binaires Ubuntu x64 et ARM64 : CPU, CUDA, Vulkan, ROCm, SYCL, OpenVINO)

## En bref

llama.cpp est le moteur libre, écrit en C/C++, qui fait tourner des modèles au format GGUF sur à peu près tout le matériel : puces Apple, cartes NVIDIA, AMD et Intel, simples processeurs. Il fournit la commande « llama » (llama cli pour discuter dans le terminal, llama serve pour un serveur compatible OpenAI avec interface web). D'autres logiciels locaux, dont Jan et LM Studio, l'utilisent comme moteur.

Pourquoi il est là : C'est le moteur de référence pour faire tourner des modèles GGUF en local, avec des réglages fins et une prise en charge matérielle très large.

- Éditeur : ggml
- Prix : Gratuit
- Licence : open source (MIT)
- Fonctionnement : En local. Les modèles tournent sur la machine et fonctionnent hors ligne ; internet sert à télécharger les modèles depuis Hugging Face. L'appli Llama pour Mac indique qu'aucune donnée ne quitte l'ordinateur.
- Systèmes : Mac, Windows, Linux

## À quoi ça sert

- Télécharger un modèle depuis Hugging Face et discuter avec lui dans le terminal en une commande (« llama cli -hf … »).
- Lancer un serveur local et discuter dans le navigateur grâce à l'interface web intégrée, qui gère images, PDF ou audio selon le modèle, les branches de conversation et l'export des échanges.
- Brancher un agent de code (Pi, Codex CLI) ou ChatGPT Desktop sur un modèle servi en local.
- Servir un modèle à plusieurs utilisateurs sur un réseau, avec clé d'API et traitement parallèle des requêtes.
- Sur Mac ou Windows 11, installer en un clic un modèle adapté à sa mémoire depuis l'appli Llama, qui choisit les réglages.

## Fonctions

- **llama cli** : Discussion dans le terminal, avec les modèles téléchargés automatiquement depuis Hugging Face.
- **llama serve** : Serveur HTTP compatible OpenAI (chat, complétions, embeddings), par défaut sur 127.0.0.1:9931 depuis la version 0.7.0.
- **Interface web** : Une fenêtre de discussion intégrée au serveur : rendu Markdown et LaTeX, raisonnement repliable, pièces jointes, réponses structurées selon un schéma, choix du modèle.
- **Quantification** : Formats de 1,5 à 8 bits pour réduire la mémoire nécessaire.
- **Accélération matérielle** : Metal (Apple), CUDA (NVIDIA), HIP (AMD), Vulkan, SYCL (Intel) et calcul mixte processeur et carte graphique.
- **Appli Llama** : Appli légère (4 Mo installée sur Mac) pour Mac et Windows 11 qui recommande des modèles selon la machine et les décharge après 5 minutes d'inactivité.

## Pour qui

Les utilisateurs techniques qui veulent la main sur chaque réglage, et ceux qui préfèrent l'appli Llama sur Mac ou Windows 11 pour un usage en quelques clics.

## Ce qu'il faut savoir

- Limites : C'est d'abord un outil en ligne de commande. Pour un non-spécialiste, le plus simple est l'appli Llama, sur Mac et Windows 11 seulement.
- Confidentialité : Par défaut, le serveur n'écoute que sur la machine. L'option --host 0.0.0.0 l'ouvre au réseau, et --api-key permet d'exiger une clé.
- À noter : Il sort des versions stables numérotées (la v0.7.0 date du 15 octobre 2026) et, plusieurs fois par jour, des versions de développement « b » prêtes à installer.
- À noter : Depuis la v0.7.0, le serveur écoute par défaut sur le port 9931 au lieu de 8080 (les images Docker gardent 8080).
- Données : Les modèles se rangent dans le dossier habituel de Hugging Face, partagé avec les autres outils.
- Langues : Aucune traduction française n'est proposée pour l'interface web ni pour l'appli Llama.
- Limites : Le site ne précise pas quelle version de macOS il faut pour l'appli Llama.
- Configuration demandée par l'éditeur : Appli Llama : Mac ou Windows 11. Modèles conseillés selon la mémoire : Gemma 4 à partir de 16 Go, GPT-OSS à partir de 24 Go, Qwen 3.8 à partir de 32 Go.

## Modèles

Tout modèle au format GGUF, dont des milliers sont publiés sur Hugging Face ; l'appli Llama propose une sélection adaptée à la mémoire de la machine.

- [Gemma 4 E4B](https://quelleia.com/modeles/gemma-4-e4b-it/)
- [gpt-oss 20B](https://quelleia.com/modeles/gpt-oss-20b/)
- [Qwen3.8 27B](https://quelleia.com/modeles/qwen-3-8-27b/)
- gemma-4 12B

## Sur QUELLE IA

- [Gemma 4 E4B IT](https://quelleia.com/modeles/gemma-4-e4b-it/) : Un modèle que llama.cpp propose : son score, ses forces, ce qu'il demande.
- [gpt-oss-20b](https://quelleia.com/modeles/gpt-oss-20b/) : Un modèle que llama.cpp propose : son score, ses forces, ce qu'il demande.
- [Quel modèle tient sur ma machine](https://quelleia.com/local/) : Pour aller plus loin sur l'usage « ia locale sur ordinateur ».
- [Les modèles qui tournent en local](https://quelleia.com/classement/locaux/) : Pour aller plus loin sur l'usage « ia locale sur ordinateur ».
- [Trouver mon modèle](https://quelleia.com/trouver/) : Pour aller plus loin sur l'usage « ia locale sur ordinateur ».
- [Ollama & les modèles locaux](https://minilabai.com/guides/ollama-modeles-locaux/) : Servir un modèle local avec Ollama, sur une API compatible OpenAI et Anthropic que la plupart des agents de code savent appeler. Guide du même auteur que QUELLE IA.

## Sources

- https://github.com/ggml-org/llama.cpp
- https://llama.app/docs/introduction
- https://llama.app/docs/quickstart
- https://llama.app/docs/webui
- https://llama.app/docs/agents
- https://llama.app/docs/serve
- https://llama.app
- https://llama.app/docs/installation
- https://github.com/ggml-org/llama.cpp/releases
- https://github.com/ggml-org/llama.cpp/releases/tag/v0.7.0
- https://llama.app/download/mac
- https://llama.app/download/windows
- https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md
- https://github.com/ggml-org/llama.cpp/blob/master/LICENSE
- https://github.com/ggml-org/Llama-macOS
- https://github.com/ggml-org/llama.brand