Dans les cas où les risques de traitement des données personnelles au sein de l’outil d’IA sont élevés, un audit du système par un tiers indépendant doit être envisagé. Différents types d’audits peuvent être utilisés. Ils peuvent être internes ou externes, ne porter que sur le produit final ou être réalisés sur des prototypes moins évolués. Ils peuvent être considérés comme une forme de contrôle ou un outil de transparence. L’annexe I, à la fin de ce document, contient certaines recommandations de l’agence espagnole de protection des données qui pourraient servir de modèle.

En termes d’exactitude juridique, les outils d’IA doivent être audités afin de vérifier si le traitement des données personnelles au sein de leur système remplit les obligations stipulées dans le RGPD, compte tenu du large éventail de questions qui se posent. Le groupe d’experts de haut niveau sur l’IA a déclaré que “les processus de test devraient être conçus et réalisés par un groupe de personnes aussi diversifié que possible. Des mesures multiples devraient être développées pour couvrir les catégories qui sont testées pour différentes perspectives. On peut envisager des tests contradictoires effectués par des “équipes rouges” fiables et diverses qui tentent délibérément de “casser” le système pour trouver des vulnérabilités, ainsi que des “primes aux bogues” qui incitent les personnes extérieures à détecter et à signaler de manière responsable les erreurs et les faiblesses du système.”^[1] Cependant, il existe de bonnes raisons d’être sceptique quant à la capacité d’un auditeur à vérifier le fonctionnement d’un système d’apprentissage automatique.

C’est pourquoi il est judicieux de se concentrer sur les éléments inclus par l’AEPD dans sa liste de contrôle recommandée : il serait plus simple de se concentrer sur les mesures mises en œuvre pour éviter les biais, l’obscurité, le profilage caché, etc., se concentrer sur la mise en œuvre de principes tels que la protection des données dès la conception et par défaut (voir “Protection des données dès la conception et par défaut” dans la partie II, section “Concepts principaux” des présentes lignes directrices) ou la minimisation des données (voir “Principe de minimisation des données” dans la partie II, section “Principes” des présentes lignes directrices et l’utilisation adéquate d’outils tels que le AIPD ou l’intervention d’un DPD compétent, plutôt que d’essayer de comprendre en profondeur le fonctionnement d’un algorithme complexe (le problème de la “boîte noire” est évidemment très important à cet égard). La mise en œuvre de politiques de protection des données adéquates dès les premières étapes du cycle de vie de l’outil est le meilleur moyen d’éviter les problèmes de protection des données.

Encadré 20 : La difficulté d’auditer un système d’apprentissage automatique : La plateforme Watson d’IBM La politique d’IBM souligne que Watson est formé par “apprentissage supervisé”. En d’autres termes, le système est guidé, étape par étape, dans son apprentissage. Cela devrait signifier que son processus peut être surveillé, contrairement à l’apprentissage non supervisé, dans lequel la machine est totalement autonome pour déterminer ses critères de fonctionnement. IBM affirme également pouvoir vérifier ce que les systèmes ont fait, avant toute décision de retenir un certain type d’apprentissage. Mais les spécialistes de la recherche sur ce sujet qui se sont exprimés lors des différents débats organisés (notamment par le comité de recherche en éthique d’Allistene, le CERNA) ont insisté à maintes reprises sur le fait que ces affirmations sont erronées. Selon les recherches actuelles, les “résultats” produits par les algorithmes d’apprentissage automatique les plus récents ne sont pas explicables, l’IA explicable étant un concept sur lequel les recherches se poursuivent. Ils soulignent également qu’il est très difficile de vérifier un système d’apprentissage automatique dans la pratique.[2]

 

1. Groupe d’experts de haut niveau sur l’IA (2019) Lignes directrices en matière d’éthique pour une IA digne de confiance. Commission européenne, Bruxelles, p.22. Disponible à l’adresse : https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai (consulté le 15 mai 2020). ↑
2. CNIL (2017) Comment l’humain peut-il garder la main ? Les questions éthiques soulevées par les algorithmes et l’intelligence artificielle. Commission nationale de l’informatique et des libertés, Paris, p.28. Disponible sur : www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf (consulté le 15 mai 2020). ↑