Même si la responsabilisation est un objectif nécessaire et que l’attribution de responsabilités à un sous-traitant spécifique est absolument nécessaire, les responsables du traitement doivent toujours être conscients que le fonctionnement de l’IA peut rendre extrêmement difficile la surveillance d’un système. Comme l’a déclaré la CNIL, “la question de savoir où la responsabilité et la prise de décision peuvent être mises en place doit être abordée d’une manière légèrement différente lorsqu’il s’agit de systèmes d’apprentissage automatique”. Ainsi, les responsables de traitement devraient plutôt penser en termes de chaîne de responsabilité, du concepteur du système jusqu’à son utilisateur, en passant par la personne qui va alimenter ce système en données d’apprentissage. Ce dernier fonctionnera différemment en fonction de ces données d’entrée.

À ce sujet, on peut citer le chatbot Tay de Microsoft. Il a été fermé vingt-quatre heures à peine après son lancement lorsque, s’inspirant des messages des utilisateurs des médias sociaux, il a commencé à diffuser ses propres commentaires racistes et sexistes. Inutile de dire que déterminer la part exacte de responsabilité entre ces différents maillons de la chaîne pourrait être une tâche laborieuse.^[1]