Qu'est-ce qu'un modèle de langage ?

Un modèle de langage est un type d’intelligence artificielle entraîné sur d’immenses volumes de textes pour apprendre à prédire le mot ou le fragment de mot suivant dans une phrase. Cette tâche, en apparence très simple, devient extraordinairement puissante lorsqu’elle est appliquée à une échelle massive.

En s’exerçant sur des milliards de phrases issues de livres, d’articles et de sites internet, ces modèles finissent par capturer des structures grammaticales, des connaissances factuelles et même certains raisonnements, sans qu’on les leur ait enseignés explicitement.

C’est ce mécanisme qui permet aujourd’hui à des systèmes comme les assistants conversationnels de rédiger des textes, résumer des documents, traduire des langues ou écrire du code informatique, avec un niveau de fluidité inédit il y a encore quelques années.

Pour aller plus loin : chapitre 18, « L’accélération », dans La Guerre invisible.