Pourquoi les modèles peuvent-ils être dangereux ?

Un modèle d’intelligence artificielle très performant peut être détourné à des fins malveillantes : génération de fausses informations crédibles, assistance à la conception de cyberattaques, voire aide à la mise au point d’armes biologiques ou chimiques pour des acteurs mal intentionnés.

Les grands laboratoires affirment tester leurs modèles avant leur diffusion afin d’en évaluer les risques et de limiter certaines réponses jugées dangereuses. Mais ces garde-fous restent imparfaits, et plusieurs chercheurs ont montré qu’il était possible de contourner ces protections avec des techniques relativement simples. Au-delà du détournement volontaire, un modèle peut aussi développer, de façon non anticipée par ses concepteurs, des comportements inattendus lors de son entraînement.

Ces préoccupations ont conduit plusieurs gouvernements à organiser des sommets internationaux sur la sécurité de l’IA, signe que le sujet dépasse désormais le seul cadre des entreprises technologiques.

Pour aller plus loin : chapitre 20, « Le problème du contrôle », dans La Guerre invisible.