Un modèle de langage est un très grand tableau de nombres, ses paramètres (on dit aussi ses poids). Pendant l’entraînement, ces nombres sont ajustés jusqu’à ce que le modèle devine bien le morceau de mot suivant, le jeton. Quand une fiche annonce « 120B », lisez 120 milliards de paramètres : le B vient de billion, le milliard en anglais.
Comment ça marche
Dans un modèle dense, tous les paramètres servent à produire chaque jeton. Un modèle à mélange d’experts (MoE, pour mixture of experts) découpe une partie de son réseau en experts. Un petit aiguilleur, le routeur, choisit pour chaque jeton les quelques experts qui vont travailler ; les autres ne servent pas pour ce jeton. Les paramètres actifs sont ceux qui travaillent pour un jeton donné.
Prenons gpt-oss-120b, publié par OpenAI. Sa fiche Hugging Face annonce 117 milliards de paramètres, dont 5,1 milliards actifs par jeton. Son petit frère, gpt-oss-20b, en compte 21 milliards, dont 3,6 milliards actifs.
À quoi ça sert de le savoir
- Pour savoir si un modèle tient sur votre machine. Tous les paramètres doivent être chargés en mémoire, experts au repos compris, comme le rappelle l’article de Hugging Face sur les MoE. Ici, seul le total compte. OpenAI indique ainsi que gpt-oss-20b tourne dans 16 Go de mémoire, et que gpt-oss-120b tient sur une seule carte graphique de 80 Go.
- Pour estimer sa vitesse. À chaque jeton, la machine relit les paramètres actifs. Moins il y en a, plus le modèle répond vite. Les estimations de vitesse de la page Sur ma machine partent de ce chiffre.
- Pour ne pas confondre taille et qualité. Un modèle plus gros n’est pas forcément meilleur sur votre tâche. Le niveau se lit dans le classement, mesuré sur des épreuves publiques.
Bon à savoir. Le nom donne souvent un indice : « 30B-A3B » se lit 30 milliards de paramètres au total, dont environ 3 milliards actifs. QUELLE IA ne s’y fie pas et reprend le chiffre annoncé par l’éditeur sur sa fiche officielle.
Pour faire tenir un gros modèle dans moins de mémoire, on utilise une version allégée, qui code chaque paramètre sur moins de bits. Le classement des modèles locaux indique la place que prend chacun.
Pour aller plus loin
- Fenêtre de contexte : ce que veut dire « 1 million de jetons »Niveau Débutant 2 min
- Poids ouverts, open source et licences des modèles d'IANiveau Amateur 4 min
- Modèle de réflexion : penser avant de répondreNiveau Débutant 2 min
- Lire le score de QUELLE IA : marge, rang et ex æquoNiveau Débutant 3 min
- Benchmark d'IA : ce qu'il mesure et pourquoi il satureNiveau Amateur 4 min
- Jetons, prix au million et vrai coût d'une tâcheNiveau Amateur 5 min
Pour monter son atelier d'IA à la maison, mini lab AI, du même auteur, va plus loin.
Sources
- huggingface.co, lue le
- huggingface.co, lue le
