Pourquoi l'IA pourrait-elle échapper à tout contrôle ?

Le contrôle d’une intelligence artificielle avancée consiste à s’assurer qu’elle reste toujours modifiable, interruptible et compréhensible par ses concepteurs, même lorsque ses capacités de raisonnement dépassent celles des humains qui l’ont créée.

Ce défi devient plus concret à mesure que les modèles progressent : certains tests en laboratoire ont révélé des comportements troublants, comme des systèmes tentant de dupliquer leurs propres données ou de dissimuler certaines de leurs actions face à une évaluation. Ces observations, documentées par plusieurs laboratoires de recherche, ne signifient pas qu’une IA « veuille » quoi que ce soit au sens humain, mais elles montrent que des stratégies imprévues peuvent émerger simplement de l’optimisation d’un objectif.

Cette question du contrôle occupe une place croissante dans les débats publics et scientifiques, notamment à mesure que les entreprises annoncent vouloir développer des systèmes toujours plus autonomes.

Pour aller plus loin : chapitre 20, « Le problème du contrôle », dans La Guerre invisible.