Aller au contenu
EN 4 QUESTIONSTrouver mon modèle
Comprendre en 2 minutes · guide débutant · 2 min de lecture

Paramètres et paramètres actifs : la taille d'une IA

Un modèle d'IA est fait de milliards de nombres, ses paramètres. Leur total dit la mémoire qu'il faut, et les paramètres actifs, la vitesse à laquelle il répond.

Illustration du thème Comprendre en 2 minutes

Un modèle de langage est un très grand tableau de nombres, ses paramètres (on dit aussi ses poids). Pendant l’entraînement, ces nombres sont ajustés jusqu’à ce que le modèle devine bien le morceau de mot suivant, le jeton. Quand une fiche annonce « 120B », lisez 120 milliards de paramètres : le B vient de billion, le milliard en anglais.

Dans un modèle dense, tous les paramètres travaillent pour chaque jeton. Dans un mélange d'experts, un routeur n'en réveille que quelques-uns : la mémoire doit tout contenir, la vitesse dépend de ce qui travaille.

Comment ça marche

Dans un modèle dense, tous les paramètres servent à produire chaque jeton. Un modèle à mélange d’experts (MoE, pour mixture of experts) découpe une partie de son réseau en experts. Un petit aiguilleur, le routeur, choisit pour chaque jeton les quelques experts qui vont travailler ; les autres ne servent pas pour ce jeton. Les paramètres actifs sont ceux qui travaillent pour un jeton donné.

Prenons gpt-oss-120b, publié par OpenAI. Sa fiche Hugging Face annonce 117 milliards de paramètres, dont 5,1 milliards actifs par jeton. Son petit frère, gpt-oss-20b, en compte 21 milliards, dont 3,6 milliards actifs.

À quoi ça sert de le savoir

  1. Pour savoir si un modèle tient sur votre machine. Tous les paramètres doivent être chargés en mémoire, experts au repos compris, comme le rappelle l’article de Hugging Face sur les MoE. Ici, seul le total compte. OpenAI indique ainsi que gpt-oss-20b tourne dans 16 Go de mémoire, et que gpt-oss-120b tient sur une seule carte graphique de 80 Go.
  2. Pour estimer sa vitesse. À chaque jeton, la machine relit les paramètres actifs. Moins il y en a, plus le modèle répond vite. Les estimations de vitesse de la page Sur ma machine partent de ce chiffre.
  3. Pour ne pas confondre taille et qualité. Un modèle plus gros n’est pas forcément meilleur sur votre tâche. Le niveau se lit dans le classement, mesuré sur des épreuves publiques.

Bon à savoir. Le nom donne souvent un indice : « 30B-A3B » se lit 30 milliards de paramètres au total, dont environ 3 milliards actifs. QUELLE IA ne s’y fie pas et reprend le chiffre annoncé par l’éditeur sur sa fiche officielle.

Pour faire tenir un gros modèle dans moins de mémoire, on utilise une version allégée, qui code chaque paramètre sur moins de bits. Le classement des modèles locaux indique la place que prend chacun.

Pour aller plus loin

Pour monter son atelier d'IA à la maison, mini lab AI, du même auteur, va plus loin.

Tous les guides →

Sources

  1. huggingface.co, lue le
  2. huggingface.co, lue le