“L’erreur est humaine mais pour vraiment tout gâcher, il faut un ordinateur.”
– Paul Ehrlich / Bill Vaughan[1]
Comme tous les systèmes TIC, les systèmes d’IA peuvent échouer et fournir des résultats ou des prédictions incorrects. Cependant, dans le cas des systèmes d’IA, il peut être particulièrement difficile d’expliquer de manière tangible et humaine pourquoi une conclusion particulière (fausse) a été atteinte. Un exemple de comportement indésirable serait un système d’IA qui prend des décisions qui affectent de manière significative une personne (par exemple, le refus automatique d’une demande de crédit). Le RGPD exige que les responsables du traitement mettent en œuvre des plans de repli appropriés protégeant les personnes concernées de telles situations, y compris le droit de contester une décision de l’IA et d’obtenir une intervention humaine prenant en compte le point de vue des personnes concernées.[2] Ces mesures de protection doivent être prises en compte lors de la conception des systèmes. Même dans les cas où le RGPD n’exige pas explicitement un tel plan de repli, il est souhaitable que les responsables du traitement envisagent d’en mettre un en place.
Les responsables du traitement doivent également être conscients des questions de sécurité. Les nouvelles technologies entraînent souvent de nouveaux risques. Il est important d’être conscient que la protection des données personnelles dépend des mesures de sécurité informatique et donc que les risques liés aux données personnelles sont ceux liés à l’informatique. Par conséquent, les mesures techniques et organisationnelles appropriées mises en œuvre dans les TI assureront la protection des données, comme le stipule le RGPD, et ces mesures devraient être régulièrement testées et mises à jour pour prévenir ou minimiser les risques de sécurité. (voir la sous-section “Principale différence par rapport aux autres risques du RGPD et aux risques liés à la sécurité informatique” dans la section “Intégrité et confidentialité” du chapitre “Principes”).
Pour évaluer ces risques et en déduire des garanties appropriées, le RGPD exige qu’une AIPD soit réalisée avant le traitement lorsqu’il existe un risque élevé pour les droits et libertés d’une personne physique[3] (voir ” AIPD” dans la partie II section “Principaux outils et actions” des présentes lignes directrices). L’utilisation de nouvelles technologies telles que l’IA augmente la probabilité que le traitement entre dans la catégorie des risques élevés. Certaines agences nationales de protection des données ont émis des directives exigeant un AIPD lors de l’utilisation de certains algorithmes d’IA.[4] En cas de doute, il est recommandé aux responsables du traitement de réaliser une AIPD.[5]
- La paternité de la citation semble être contestée, voir par exemple https://quoteinvestigator.com/2010/12/07/foul-computer/#note-1699-18 (consulté le 2 juin 2020). ↑
- Article 33(3) du RGPD. ↑
- Article 35, paragraphe 1, du RGPD ↑
- Voir, par exemple, la situation juridique en Autriche § 2(2)(4) DSFA-V. ↑
- Groupe de travail Article 29 (2017) WP248, Lignes directrices sur l’analyse d’impact sur la protection des données (AIPD) et la détermination du fait que le traitement est “susceptible d’entraîner un risque élevé” aux fins du règlement 2016/679, p.8. Commission européenne, Bruxelles. ↑