Dans le cas d’une base de données qui servira à former ou à valider un outil d’IA, il existe une obligation particulièrement pertinente d’informer les personnes concernées que leurs données pourraient entraîner une prise de décision automatisée ou un profilage à leur égard, à moins que les responsables du traitement ne puissent garantir que l’outil ne produira en aucun cas ces conséquences.

Même si la prise de décision automatique peut difficilement se produire dans le contexte de la recherche, les développeurs doivent prêter attention à cette question.

Le profilage, en revanche, pourrait poser certains problèmes au développement de l’IA.

Cela est dû à une raison simple : le processus de profilage est “souvent invisible pour la personne concernée. Il fonctionne en créant des données dérivées ou déduites sur les individus – de “nouvelles” données personnelles qui n’ont pas été fournies directement par les personnes concernées elles-mêmes. Les individus ont des niveaux de compréhension différents et peuvent trouver difficile de comprendre les techniques complexes impliquées dans les processus de profilage et de prise de décision automatisée.”^[1] Ainsi, “si le responsable du traitement envisage un “modèle” dans lequel il prend uniquement des décisions automatisées ayant un impact élevé sur les personnes sur la base de profils établis à leur sujet et qu’il ne peut pas s’appuyer sur le consentement de la personne, sur un contrat avec elle ou sur une loi l’autorisant, le responsable du traitement ne doit pas poursuivre.”^[2] Le risque pour les droits, intérêts et libertés de la personne est un facteur très important qui doit toujours être pris en compte. Ce n’est pas le même type de profilage que de prendre une décision sur les goûts d’une personne en matière de séries télévisées, par rapport au profilage consacré à l’approbation de sa police d’assurance maladie. Ainsi, si le traitement présente des risques pour les libertés et droits fondamentaux des personnes, les responsables du traitement doivent s’assurer qu’ils peuvent faire face à ces risques et répondre aux exigences.

En cas de traitement et/ou de prise de décision automatisée, les personnes concernées doivent être informées de manière adéquate sur ce traitement et sur le fonctionnement de l’algorithme. En d’autres termes, leur droit à l’information doit être satisfait en application du principe de licéité, de loyauté et de transparence. Cela signifie que, au minimum, les responsables du traitement doivent informer la personne concernée qu'”ils se livrent à ce type d’activité, fournir des informations significatives sur la logique impliquée et sur l’importance et les conséquences envisagées du profilage pour la personne concernée”. ^[3]

Les informations sur la logique d’un système et les explications des décisions doivent donner aux individus le contexte nécessaire pour décider s’ils souhaitent demander une intervention humaine, et pour quels motifs. Dans certains cas, des explications insuffisantes peuvent inciter les personnes à recourir inutilement à d’autres droits, ou à retirer leur consentement. Les demandes d’intervention, l’expression de points de vue ou les contestations sont plus susceptibles de se produire si les individus estiment ne pas avoir une compréhension suffisante de la manière dont la décision a été prise. ^[4]

Enfin, un responsable du traitement doit toujours se rappeler que, conformément à l’article 22, paragraphe 3, les décisions automatisées qui concernent des catégories particulières de données à caractère personnel ne sont autorisées que si la personne concernée a donné son consentement ou si elles sont fondées sur une base juridique (voir la section ‘Capacité d’action humaine et surveillancede cette partie des lignes directrices). Cette exception s’applique non seulement lorsque les données observées entrent dans cette catégorie, mais aussi si le rapprochement de différents types de données personnelles peut révéler des informations sensibles sur des personnes ou si des données déduites entrent dans cette catégorie. Dans tous ces cas, il faut parler de traitement de catégories particulières de données à caractère personnel. En effet, une étude capable de déduire des catégories spéciales de données est soumise aux mêmes obligations légales en vertu du RGPD que si des données personnelles sensibles avaient été traitées dès le départ. Si le profilage déduit des données personnelles qui n’ont pas été fournies par la personne concernée, les responsables du traitement doivent s’assurer que le traitement n’est pas incompatible avec la finalité initiale, qu’ils ont identifié une base légale pour le traitement des données de catégorie spéciale et qu’ils informent la personne concernée du traitement.^[5]

Encadré 17 : Exemple d’inférence de données de catégories spéciales La recherche a montré qu’en 2011, des enregistrements numériques facilement accessibles du comportement, les “J’aime” sur Facebook, pouvaient être utilisés pour prédire automatiquement et avec précision une série d’attributs personnels très sensibles, notamment l’orientation sexuelle, l’origine ethnique, les opinions religieuses et politiques, les traits de personnalité, l’intelligence, le bonheur, la consommation de substances addictives, la séparation des parents, l’âge et le sexe. L’analyse s’est basée sur un ensemble de données de plus de 58 000 volontaires qui ont fourni leurs “J’aime” sur Facebook, des profils démographiques détaillés et les résultats de plusieurs tests psychométriques. Le modèle a correctement distingué les hommes homosexuels des hommes hétérosexuels dans 88 % des cas, les Afro-Américains des Américains de type caucasien dans 95 % des cas, et les démocrates des républicains dans 85 % des cas. Pour le trait de personnalité “Ouverture”, la précision de la prédiction était proche de la précision test-retest d’un test de personnalité standard. Les auteurs ont fourni des exemples d’associations entre les attributs et les goûts et discutent des implications pour la personnalisation en ligne et la vie privée.[6]

La réalisation d’une AIPD est obligatoire s’il existe un risque réel de profilage non autorisé ou de prise de décision automatisée. L’article 35(3) (a) du RGPD stipule la nécessité pour le responsable du traitement d’effectuer une AIPD dans le cas d’une évaluation systématique et extensive d’aspects personnels concernant des personnes physiques qui est basée sur un traitement automatisé, y compris le profilage, et sur laquelle sont fondées des décisions produisant des effets juridiques concernant la personne physique ou l’affectant de manière significative de façon similaire. Les responsables du traitement doivent savoir qu’à l’heure actuelle, chaque pays a soumis à l’EDPB sa liste des cas dans lesquels un AIPD est requis. Si le responsable du traitement se trouve dans l’EEE, cette liste doit également être vérifiée localement^[7] (voir “AIPD” dans la partie II section “Principales actions et outils” de ces lignes directrices).

Selon l’article 37, paragraphe 1, point b), et paragraphe 5 du RGPD, les responsables du traitement désignent un délégué à la protection des données lorsque “les activités principales du responsable du traitement ou du sous-traitant consistent en des opérations de traitement qui, en raison de leur nature, de leur portée et/ou de leurs finalités, nécessitent un suivi régulier et systématique des personnes concernées à grande échelle.” Les responsables du traitement sont également tenus de conserver un registre de toutes les décisions prises par un outil d’IA dans le cadre de leurs obligations de responsabilité et de documentation. Cela devrait également indiquer si une personne a demandé une intervention humaine, a exprimé un point de vue, a contesté la décision, et si une décision a été modifiée à la suite^[8] (voir la section “Principe de responsabilité” dans les “Principes” de la partie II).

Voici quelques actions supplémentaires qui pourraient être extrêmement utiles pour éviter la prise de décision automatisée : ^[9]

• Prenez en compte les exigences du système nécessaires pour soutenir une révision humaine significative dès la phase de conception. En particulier, les exigences d’interprétabilité et la conception d’une interface utilisateur efficace pour soutenir les examens et les interventions humaines.
• Concevez et dispensez une formation et un soutien appropriés aux examinateurs humains.
• Donnez au personnel l’autorité, les incitations et le soutien appropriés pour répondre aux préoccupations des personnes ou les transmettre à un échelon supérieur et, si nécessaire, passer outre la décision de l’outil d’IA.

 

 

1. Groupe de travail Article 29 (2017) Lignes directrices sur la prise de décision individuelle automatisée et le profilage aux fins du règlement 2016/679. Adopté le 3 octobre 2017, tel que révisé en dernier lieu et adopté le 6 février 2018. Commission européenne, Bruxelles, p.9. Disponible à l’adresse : https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053 (consulté le 15 mai 2020). ↑
2. Ibid. p.30. ↑
3. Ibid. p.13-14. ↑
4. ICO (2020) AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow, p.94. Disponible sur : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consulté le 15 mai 2020). ↑
5. Groupe de travail Article 29 (2018) Lignes directrices sur la prise de décision individuelle automatisée et le profilage aux fins du règlement 2016/679. Adoptées le 3 octobre 2017, telles que révisées en dernier lieu et adoptées le 6 février 2018. Commission européenne, Bruxelles, p.15. Disponible à l’adresse : https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053 (consulté le 15 mai 2020). ↑
6. Kosinski, M., Stillwell, D. et Graepel, T. (2013) ‘Digital records of behavior expose personal traits’, Proceedings of the National Academy of Sciences 110 (15) : 5802-5805, DOI : 10.1073/pnas.1218772110. ↑
7. EDPB (2019) Analyse d’impact sur la protection des données. Conseil européen de la protection des données, Bruxelles. Disponible à l’adresse : https://edpb.europa.eu/our-work-tools/our-documents/topic/data-protection-impact-assessment-DPIA_es (consulté le 3 juin 2020). ↑
8. ICO (2020) Guidance on the AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow, p.94-95. Disponible à l’adresse : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consulté le 15 mai 2020). ↑
9. Ibid, p. 95. ↑