Qu'est-ce qu'un paramètre dans un modèle d'IA ?

Un paramètre est l’un des très nombreux réglages internes qu’un modèle d’intelligence artificielle ajuste durant sa phase d’apprentissage, un peu comme les poids des connexions dans un réseau de neurones. Chaque paramètre contribue, à sa manière, à la façon dont le modèle traite l’information.

Les grands modèles de langage actuels comptent des centaines de milliards de paramètres, un ordre de grandeur qui donne une idée de la complexité de ces systèmes, même si ce nombre seul ne suffit pas à mesurer leurs véritables capacités.

C’est dans l’agencement précis de ces valeurs numériques, obtenues après des mois d’entraînement sur des quantités massives de données, que se loge tout ce que le modèle a appris du monde.

Pour aller plus loin : chapitre 18, « L’accélération », dans La Guerre invisible.