vLLM

Ce que c'est

Né au Sky Computing Lab de l'université de Berkeley, le projet réunit plus de 2 000 contributeurs. Il est compatible avec l'API d'OpenAI et prend en charge plus de 200 architectures de modèles.

À quoi ça sert

• Lancer un serveur compatible OpenAI pour un modèle de Hugging Face et y brancher ses applications. docs.vllm.ai
• Traiter un grand volume de requêtes hors ligne depuis un script Python. docs.vllm.ai
• Répartir un très grand modèle sur plusieurs cartes graphiques ou plusieurs machines. github.com
• Servir plusieurs adaptations LoRA d'un même modèle à la fois. github.com

Fonctions

PagedAttention

Gestion de la mémoire du cache d'attention qui permet de servir plus de requêtes en parallèle. github.com

Traitement en lots continu

Les nouvelles requêtes rejoignent le calcul en cours, avec cache de préfixe et préremplissage par morceaux. github.com

Quantification

Formats FP8, MXFP4, NVFP4, INT8, INT4, GPTQ, AWQ, GGUF et d'autres. github.com

Décodage spéculatif

Méthodes n-gram, suffixe, EAGLE et DFlash pour accélérer la génération. github.com

Parallélisme

Parallélisme de tenseurs, de pipeline, de données, d'experts et de contexte pour l'inférence distribuée. github.com

API et outils

Serveur compatible OpenAI, API Messages d'Anthropic, gRPC, sorties structurées, appels d'outils et analyse du raisonnement. github.com

Pour qui

Développeurs et équipes d'infrastructure qui déploient des modèles ouverts sur des serveurs Linux équipés de cartes graphiques, du poste de travail au centre de données. github.com

Ce qu'il faut savoir

En local

Les modèles tournent sur la machine de l'utilisateur ; ils sont téléchargés depuis Hugging Face par défaut, ou depuis ModelScope sur option. Des statistiques d'usage anonymes partent par défaut vers l'équipe du projet. docs.vllm.ai

Limites

Côté PC, Linux seulement : vLLM ne tourne pas nativement sous Windows, et la documentation renvoie à WSL ou à des versions communautaires. docs.vllm.ai

Limites

Sur Mac, l'accélération passe par vLLM-Metal, un module de la communauté qui s'appuie sur MLX. docs.vllm.ai

Données

vLLM envoie par défaut des statistiques d'usage anonymes (matériel, architecture du modèle, réglages) ; la documentation explique comment les couper. docs.vllm.ai

Limites

Pour les cartes AMD (ROCm), les paquets prêts à installer n'existent que pour Python 3.12 ; avec une autre version, l'installation bascule sans prévenir sur le paquet CUDA et échoue. docs.vllm.ai

Configuration

Linux, Python 3.11 à 3.14. NVIDIA : « compute capability 7.5 or higher (e.g., T4, RTX20xx, A100, L4, H100, B200, etc.) ». AMD : ROCm 6.3 ou plus, Instinct MI200, MI300 et MI350, Radeon RX 7900 et RX 9000, Ryzen AI MAX et AI 300 (ROCm 7.0.2 ou plus). Intel : cartes Data Center et Arc, Python 3.12. Apple Silicon : macOS Sonoma ou plus via vLLM-Metal. Aucune mémoire minimale publiée. docs.vllm.ai

Prix

Gratuit github.com

Licence

Open source, licence Apache-2.0. github.com

Modèles

Plus de 200 architectures de Hugging Face : modèles denses, mélanges d'experts, modèles hybrides, multimodaux et d'embeddings. Le site met en avant les modèles ouverts récents. vllm.ai

• DeepSeek V4
• Gemma 4
• Kimi K3
• GLM 5.2
• MiniMax M3
• Mistral Small 4
• Nemotron 3 Ultra
• Muse Glimmer

Les noms surlignés ont leur fiche sur QUELLE IA : score, forces, mémoire demandée.

Sur quelles machines

Linux, Python 3.11 à 3.14. NVIDIA : « compute capability 7.5 or higher (e.g., T4, RTX20xx, A100, L4, H100, B200, etc.) ». AMD : ROCm 6.3 ou plus, Instinct MI200, MI300 et MI350, Radeon RX 7900 et RX 9000, Ryzen AI MAX et AI 300 (ROCm 7.0.2 ou plus). Intel : cartes Data Center et Arc, Python 3.12. Apple Silicon : macOS Sonoma ou plus via vLLM-Metal. Aucune mémoire minimale publiée. docs.vllm.ai

Parmi les machines suivies par QUELLE IA (cartes GeForce RTX, cartes RTX PRO, cartes Radeon, Nvidia DGX), 23 répondent à ce que demande l'éditeur :

• GeForce RTX 5050
• GeForce RTX 5060
• GeForce RTX 5060 Ti 8 Go
• Radeon RX 9060 XT 8 Go
• GeForce RTX 5070
• Radeon RX 9070 GRE
• GeForce RTX 5060 Ti 16 Go
• GeForce RTX 5070 Ti
• GeForce RTX 5080
• Radeon RX 9060 XT 16 Go
• Radeon RX 9070
• Radeon RX 9070 XT

Et 11 autres sur Sur ma machine.

Sur QUELLE IA

• Kimi K3 →Un modèle que vLLM propose : son score, ses forces, ce qu'il demande.
• GLM-5.2 →Un modèle que vLLM propose : son score, ses forces, ce qu'il demande.
• Les outils de code →Pour aller plus loin sur l'usage « pour les développeurs ».
• Le classement du code →Pour aller plus loin sur l'usage « pour les développeurs ».
• Quel modèle tient sur ma machine →Pour aller plus loin sur l'usage « pour les développeurs ».

Sources

Sources : pages de l'éditeur, des boutiques et du dépôt, octobre 2026.

Société éditrice : Projet vLLM (communauté issue du Sky Computing Lab de l'université de Berkeley).

• github.com/vllm-project/vllm/blob/main/README.md
• vllm.ai/
• docs.vllm.ai/en/latest/getting_started/quickstart/
• docs.vllm.ai/en/latest/getting_started/installation/gpu/
• docs.vllm.ai/en/latest/usage/usage_stats/
• pypi.org/project/vllm/
• hub.docker.com/r/vllm/vllm-openai
• github.com/vllm-project/vllm/releases/latest
• github.com/vllm-project/vllm/blob/main/LICENSE
• github.com/vllm-project/vllm/blob/main/docs/assets/logos/vllm-logo-only-light.png

Icône : vLLM, dépôt officiel.

Les outils pour développeurs →Apps et logiciels d'IA : tout voir →Signaler une erreur →

Cette fiche existe aussi en texte et en JSON.