# Paramètres et paramètres actifs : la taille d'une IA

> Ce que veut dire « 120B » ou « 30B-A3B » dans le nom d'un modèle d'IA : les paramètres, les paramètres actifs et le mélange d'experts, en deux minutes.

- Niveau : Débutant
- Thème : Comprendre en 2 minutes
- Durée : 2 minutes
- Publié le 17 novembre 2026, relu le 17 novembre 2026
- Auteur : Ulrich Rozier
- Page : https://quelleia.com/guides/parametres/

Un modèle de langage est un très grand tableau de nombres, ses paramètres (on dit aussi ses poids). Pendant l'entraînement, ces nombres sont ajustés jusqu'à ce que le modèle devine bien le morceau de mot suivant, le jeton. Quand une fiche annonce « 120B », lisez 120 milliards de paramètres : le B vient de *billion*, le milliard en anglais.

![Dans un modèle dense, tous les paramètres travaillent pour chaque jeton. Dans un mélange d'experts, un routeur n'en réveille que quelques-uns : la mémoire doit tout contenir, la vitesse dépend de ce qui travaille.](https://quelleia.com/guides/parametres/dense-ou-experts.svg)

*Dans un modèle dense, tous les paramètres travaillent pour chaque jeton. Dans un mélange d'experts, un routeur n'en réveille que quelques-uns : la mémoire doit tout contenir, la vitesse dépend de ce qui travaille.*

## Comment ça marche

Dans un modèle **dense**, tous les paramètres servent à produire chaque jeton. Un modèle à **mélange d'experts** (MoE, pour *mixture of experts*) découpe une partie de son réseau en experts. Un petit aiguilleur, le routeur, choisit pour chaque jeton les quelques experts qui vont travailler ; les autres ne servent pas pour ce jeton. Les **paramètres actifs** sont ceux qui travaillent pour un jeton donné.

Prenons gpt-oss-120b, publié par OpenAI. Sa fiche Hugging Face annonce 117 milliards de paramètres, dont 5,1 milliards actifs par jeton. Son petit frère, gpt-oss-20b, en compte 21 milliards, dont 3,6 milliards actifs.

## À quoi ça sert de le savoir

1. **Pour savoir si un modèle tient sur votre machine.** Tous les paramètres doivent être chargés en mémoire, experts au repos compris, comme le rappelle l'article de Hugging Face sur les MoE. Ici, seul le total compte. OpenAI indique ainsi que gpt-oss-20b tourne dans 16 Go de mémoire, et que gpt-oss-120b tient sur une seule carte graphique de 80 Go.
2. **Pour estimer sa vitesse.** À chaque jeton, la machine relit les paramètres actifs. Moins il y en a, plus le modèle répond vite. Les estimations de vitesse de la page [Sur ma machine](https://quelleia.com/local/) partent de ce chiffre.
3. **Pour ne pas confondre taille et qualité.** Un modèle plus gros n'est pas forcément meilleur sur votre tâche. Le niveau se lit dans le [classement](https://quelleia.com/classement/), mesuré sur des épreuves publiques.

> **Bon à savoir.** Le nom donne souvent un indice : « 30B-A3B » se lit 30 milliards de paramètres au total, dont environ 3 milliards actifs. QUELLE IA ne s'y fie pas et reprend le chiffre annoncé par l'éditeur sur sa fiche officielle.

Pour faire tenir un gros modèle dans moins de mémoire, on utilise une version allégée, qui code chaque paramètre sur moins de bits. Le [classement des modèles locaux](https://quelleia.com/classement/locaux/) indique la place que prend chacun.

## Pour aller plus loin

- [Quel modèle sur ma machine](https://quelleia.com/local/)
- [Les modèles qui tournent en local](https://quelleia.com/classement/locaux/)
- [Glossaire](https://quelleia.com/glossaire/#version-allegee)
- [Fenêtre de contexte : ce que veut dire « 1 million de jetons »](https://quelleia.com/guides/fenetre-de-contexte.md) (guide, débutant)
- [Poids ouverts, open source et licences des modèles d'IA](https://quelleia.com/guides/poids-ouverts-et-licences.md) (guide, amateur)
- [Modèle de réflexion : penser avant de répondre](https://quelleia.com/guides/modele-de-reflexion.md) (guide, débutant)

## Sources

- https://huggingface.co/openai/gpt-oss-120b (lue le 17 novembre 2026)
- https://huggingface.co/blog/moe (lue le 17 novembre 2026)
