Pourquoi les modèles grossissent-ils si vite ?

Les modèles d’intelligence artificielle n’ont cessé de grossir ces dernières années parce que les chercheurs ont observé une régularité frappante : augmenter simultanément la taille du modèle, le volume de données d’entraînement et la puissance de calcul disponible améliore de façon assez prévisible ses performances.

Cette observation, souvent désignée sous le nom de « lois d’échelle », a transformé la recherche en intelligence artificielle en une course aux ressources, où les grandes entreprises technologiques investissent des sommes considérables pour construire des modèles toujours plus vastes.

Cette dynamique soulève désormais des questions sur ses limites, qu’elles soient économiques, énergétiques ou physiques, et sur la capacité du secteur à maintenir ce rythme de croissance sur le long terme.

Pour aller plus loin : chapitre 18, « L’accélération », dans La Guerre invisible.