# vLLM

Les outils pour développeurs. Fiche « Apps et logiciels d'IA » de QUELLE IA, d'après les pages officielles (octobre 2026). Page : https://quelleia.com/logitheque/vllm/

## Télécharger

- Linux : Gestionnaire de paquets, https://pypi.org/project/vllm/ (« uv pip install vllm » ; Python 3.11 à 3.14)
- Linux : Gestionnaire de paquets, https://hub.docker.com/r/vllm/vllm-openai (Image Docker du serveur compatible OpenAI)
- Linux : Dépôt officiel, https://github.com/vllm-project/vllm/releases/latest (Versions publiées et paquets CUDA 12.8, 12.9 et 13.0)

## En bref

vLLM est une bibliothèque Python et un serveur conçus pour servir des modèles de langage à grande échelle, avec un débit élevé grâce à sa gestion de la mémoire (PagedAttention) et au traitement en lots continu. Né au Sky Computing Lab de l'université de Berkeley, le projet réunit plus de 2 000 contributeurs. Il est compatible avec l'API d'OpenAI et prend en charge plus de 200 architectures de modèles.

Pourquoi il est là : Il sert un modèle ouvert à de nombreux utilisateurs simultanés sur ses propres cartes graphiques, avec une API compatible OpenAI.

- Éditeur : vLLM
- Prix : Gratuit
- Licence : open source (Apache-2.0)
- Fonctionnement : En local. Les modèles tournent sur la machine de l'utilisateur ; ils sont téléchargés depuis Hugging Face par défaut, ou depuis ModelScope sur option. Des statistiques d'usage anonymes partent par défaut vers l'équipe du projet.
- Systèmes : Linux

## À quoi ça sert

- Lancer un serveur compatible OpenAI pour un modèle de Hugging Face et y brancher ses applications.
- Traiter un grand volume de requêtes hors ligne depuis un script Python.
- Répartir un très grand modèle sur plusieurs cartes graphiques ou plusieurs machines.
- Servir plusieurs adaptations LoRA d'un même modèle à la fois.

## Fonctions

- **PagedAttention** : Gestion de la mémoire du cache d'attention qui permet de servir plus de requêtes en parallèle.
- **Traitement en lots continu** : Les nouvelles requêtes rejoignent le calcul en cours, avec cache de préfixe et préremplissage par morceaux.
- **Quantification** : Formats FP8, MXFP4, NVFP4, INT8, INT4, GPTQ, AWQ, GGUF et d'autres.
- **Décodage spéculatif** : Méthodes n-gram, suffixe, EAGLE et DFlash pour accélérer la génération.
- **Parallélisme** : Parallélisme de tenseurs, de pipeline, de données, d'experts et de contexte pour l'inférence distribuée.
- **API et outils** : Serveur compatible OpenAI, API Messages d'Anthropic, gRPC, sorties structurées, appels d'outils et analyse du raisonnement.

## Pour qui

Développeurs et équipes d'infrastructure qui déploient des modèles ouverts sur des serveurs Linux équipés de cartes graphiques, du poste de travail au centre de données.

## Ce qu'il faut savoir

- Limites : Côté PC, Linux seulement : vLLM ne tourne pas nativement sous Windows, et la documentation renvoie à WSL ou à des versions communautaires.
- Limites : Sur Mac, l'accélération passe par vLLM-Metal, un module de la communauté qui s'appuie sur MLX.
- Données : vLLM envoie par défaut des statistiques d'usage anonymes (matériel, architecture du modèle, réglages) ; la documentation explique comment les couper.
- Limites : Pour les cartes AMD (ROCm), les paquets prêts à installer n'existent que pour Python 3.12 ; avec une autre version, l'installation bascule sans prévenir sur le paquet CUDA et échoue.
- Configuration demandée par l'éditeur : Linux, Python 3.11 à 3.14. NVIDIA : « compute capability 7.5 or higher (e.g., T4, RTX20xx, A100, L4, H100, B200, etc.) ». AMD : ROCm 6.3 ou plus, Instinct MI200, MI300 et MI350, Radeon RX 7900 et RX 9000, Ryzen AI MAX et AI 300 (ROCm 7.0.2 ou plus). Intel : cartes Data Center et Arc, Python 3.12. Apple Silicon : macOS Sonoma ou plus via vLLM-Metal. Aucune mémoire minimale publiée.

## Modèles

Plus de 200 architectures de Hugging Face : modèles denses, mélanges d'experts, modèles hybrides, multimodaux et d'embeddings. Le site met en avant les modèles ouverts récents.

- DeepSeek V4
- Gemma 4
- [Kimi K3](https://quelleia.com/modeles/kimi-k3/)
- [GLM 5.2](https://quelleia.com/modeles/glm-5-2/)
- [MiniMax M3](https://quelleia.com/modeles/minimax-m3/)
- [Mistral Small 4](https://quelleia.com/modeles/mistral-small-4/)
- [Nemotron 3 Ultra](https://quelleia.com/modeles/nemotron-3-ultra/)
- [Muse Glimmer](https://quelleia.com/modeles/muse-glimmer/)

## Sur QUELLE IA

- [Kimi K3](https://quelleia.com/modeles/kimi-k3/) : Un modèle que vLLM propose : son score, ses forces, ce qu'il demande.
- [GLM-5.2](https://quelleia.com/modeles/glm-5-2/) : Un modèle que vLLM propose : son score, ses forces, ce qu'il demande.
- [Les outils de code](https://quelleia.com/outils/) : Pour aller plus loin sur l'usage « pour les développeurs ».
- [Le classement du code](https://quelleia.com/classement/code/) : Pour aller plus loin sur l'usage « pour les développeurs ».
- [Quel modèle tient sur ma machine](https://quelleia.com/local/) : Pour aller plus loin sur l'usage « pour les développeurs ».
- [Ollama & les modèles locaux](https://minilabai.com/guides/ollama-modeles-locaux/) : Servir un modèle local avec Ollama, sur une API compatible OpenAI et Anthropic que la plupart des agents de code savent appeler. Guide du même auteur que QUELLE IA.

## Sources

- https://github.com/vllm-project/vllm/blob/main/README.md
- https://vllm.ai/
- https://docs.vllm.ai/en/latest/getting_started/quickstart/
- https://docs.vllm.ai/en/latest/getting_started/installation/gpu/
- https://docs.vllm.ai/en/latest/usage/usage_stats/
- https://pypi.org/project/vllm/
- https://hub.docker.com/r/vllm/vllm-openai
- https://github.com/vllm-project/vllm/releases/latest
- https://github.com/vllm-project/vllm/blob/main/LICENSE
- https://github.com/vllm-project/vllm/blob/main/docs/assets/logos/vllm-logo-only-light.png