Pourquoi l'IA peut-elle se tromper ?

Une intelligence artificielle se trompe parce qu’elle ne recherche pas la réponse vraie, mais la réponse la plus probable compte tenu des données sur lesquelles elle a été entraînée. Ce fonctionnement statistique est très efficace la plupart du temps, mais il n’offre aucune garantie absolue d’exactitude.

Lorsque ses données d’entraînement sont incomplètes, obsolètes ou biaisées, ou lorsque la question posée s’éloigne de ce qu’elle a appris, le modèle peut produire une réponse fausse tout en l’exprimant avec la même assurance qu’une réponse correcte.

Cette caractéristique explique pourquoi les experts recommandent systématiquement de vérifier les affirmations importantes produites par une IA, en particulier sur des sujets techniques, juridiques ou médicaux où l’erreur peut avoir des conséquences réelles.

Pour aller plus loin : chapitre 20, « Le problème du contrôle », dans La Guerre invisible.