Installer vLLM sur Linux
vLLM est une bibliothèque Python et un serveur conçus pour servir des modèles de langage à grande échelle, avec un débit élevé grâce à sa gestion de la mémoire (PagedAttention) et au traitement en lots continu.
Installer
Version : v0.31.0, 5 octobre 2026
Liens officiels, sans lien affilié.
- Prix
- Gratuit
- Licence
- open source (Apache-2.0)
- Fonctionne
- En local
- Éditeur
- vLLM
Configuration requise sur Linux
- Linux, Python 3.11 à 3.14. NVIDIA : « compute capability 7.5 or higher (e.g., T4, RTX20xx, A100, L4, H100, B200, etc.) ». AMD : ROCm 6.3 ou plus, Instinct MI200, MI300 et MI350, Radeon RX 7900 et RX 9000, Ryzen AI MAX et AI 300 (ROCm 7.0.2 ou plus) docs.vllm.ai
Ce qu'il faut savoir sur Linux
- Limites
- Côté PC, Linux seulement : vLLM ne tourne pas nativement sous Windows, et la documentation renvoie à WSL ou à des versions communautaires. docs.vllm.ai
Questions fréquentes
vLLM est-il gratuit sur Linux ?
Gratuit. github.com
vLLM peut-il tourner en local, sans connexion ?
Oui. Les modèles tournent sur la machine de l'utilisateur ; ils sont téléchargés depuis Hugging Face par défaut, ou depuis ModelScope sur option. Des statistiques d'usage anonymes partent par défaut vers l'équipe du projet. docs.vllm.ai
Tout sur vLLM
Né au Sky Computing Lab de l'université de Berkeley, le projet réunit plus de 2 000 contributeurs. Il est compatible avec l'API d'OpenAI et prend en charge plus de 200 architectures de modèles.
La fiche de vLLM : fonctions, modèles, données →Les outils pour développeurs sur Linux (7) →Apps et logiciels d'IA pour Linux →Signaler une erreur →
Sources : pages de l'éditeur, des boutiques et du dépôt, . Icône : vLLM, dépôt officiel.
D'autres choix sur Linux
Foundry Local
MicrosoftFoundry Local est le moteur d'IA locale de Microsoft, fait pour être intégré aux applications : un moteur d'environ 20 Mo, des kits de développement (SDK) en C, C++, C#, JavaScript, Python et Rust, et un catalogue restreint de modèles optimisés.
- Mac
- Windows
- Linux
gratuitopen source
Dépôt officiel, Foundry Local pour LinuxTélécharger Foundry Local sur Linux : configuration et prix
Lemonade
AMDLemonade installe sur l'ordinateur un serveur d'IA locale, avec une application et une ligne de commande, pour faire tourner des modèles de texte, d'image, de voix et de transcription sur le processeur, la carte graphique ou le NPU.
- iPhone
- Android
- Mac
- Windows
- Linux
gratuitopen source
Site de l'éditeur, Lemonade pour LinuxTélécharger Lemonade sur Linux : configuration et prix
LocalAI
LocalAILocalAI est un serveur libre qui fait tourner sur sa propre machine des modèles de texte, de vision, de voix, d'image et de vidéo, accessibles comme les API d'OpenAI, d'Anthropic ou d'ElevenLabs.
- Mac
- Windows
- Linux
gratuitopen source
Dépôt officiel, LocalAI pour LinuxTélécharger LocalAI sur Linux : configuration et prix