Pourquoi l'IA a-t-elle besoin de tant de calcul ?

L’entraînement d’un grand modèle d’intelligence artificielle exige des quantités de calcul absolument considérables, car le système doit ajuster ses paramètres en traitant des milliers de milliards de mots ou d’exemples, encore et encore.

Cette opération mobilise des dizaines de milliers de puces spécialisées, fonctionnant en parallèle pendant plusieurs semaines ou plusieurs mois, au sein de centres de données conçus spécifiquement pour ce type de charge de travail. La consommation électrique associée se compte en dizaines de mégawatts, l’équivalent d’une petite ville.

Cette dépendance au calcul explique pourquoi la puissance de calcul disponible est devenue, au même titre que les données, un facteur déterminant de la compétition mondiale en intelligence artificielle.

Pour aller plus loin : chapitre 6, « Cent mille puces », dans La Guerre invisible.