L’exigence d’une capacité d’action humaine et d’une supervision lors du développement d’outils d’IA est clairement liée au droit d’obtenir une intervention humaine, au droit de ne pas faire l’objet d’une décision fondée uniquement sur un traitement automatisé, au droit à l’information sur la prise de décision automatique et à la logique impliquée, qui sont tous inclus dans le RGPD. Ces droits sont remis en question par l’utilisation d’outils d’IA. L’IA implique souvent une forme de traitement automatisé et, dans certains cas, les décisions sont directement prises par le modèle d’IA. En effet, il arrive que les outils d’IA apprennent et prennent des décisions sans supervision humaine et que la logique impliquée dans leurs performances soit difficile à comprendre. ^[1]

À cet égard, le profilage est particulièrement problématique dans le développement de l’IA (voir encadré 1), car le processus de profilage “est souvent invisible pour la personne concernée. Il fonctionne en créant des données dérivées ou déduites sur les individus – de “nouvelles” données personnelles qui n’ont pas été fournies directement par les personnes concernées elles-mêmes. Les gens ont des niveaux de compréhension très différents de ce sujet et peuvent trouver difficile de comprendre les techniques sophistiquées impliquées dans les processus de profilage et de prise de décision automatisée”^[2] (voir section ”).

Bien entendu, le RGPD n’empêche pas toute forme de profilage et/ou de prise de décision automatisée : il offre seulement aux individus un droit qualifié d’être informés à ce sujet, et un droit de ne pas faire l’objet d’une décision basée sur une prise de décision purement automatisée, y compris le profilage. Leur droit à l’information (voir “Droit à l’information” dans la section “Droits des personnes concernées” de la partie II des présentes lignes directrices) doit être satisfait par l’application du principe de licéité, de loyauté et de transparence (voir “Principe de licéité, de loyauté et de transparence” dans la section “Principes” de la partie II des présentes lignes directrices). Cela signifie que, au minimum, lesresponsables du traitement doivent informer la personne concernée qu'”ils s’engagent dans ce type d’activité, fournir des informations significatives sur la logique impliquée et sur l’importance et les conséquences envisagées du profilage pour la personne concernée”^[3] (voir articles 13 et 14 du RGPD).

Les informations sur la logique d’un système et les explications des décisions doivent donner aux individus le contexte nécessaire pour prendre des décisions sur le traitement de leurs données personnelles. Dans certains cas, des explications insuffisantes peuvent inciter les personnes à recourir inutilement à d’autres droits. Les demandes d’intervention, l’expression de points de vue ou les oppositions au traitement sont plus susceptibles de se produire si les personnes ne pensent pas avoir une compréhension suffisante de la manière dont la décision a été prise. Les personnes concernées doivent être en mesure d’exercer leurs droits de manière simple et conviviale. Par exemple, “si le résultat d’une décision exclusivement automatisée est communiqué par le biais d’un site web, la page devrait contenir un lien ou des informations claires permettant à la personne de contacter un membre du personnel qui peut intervenir, sans délai ni complication excessifs”.^[4] Il est toutefois difficile de définir concrètement l’étendue des informations à fournir. En effet, cette question fait actuellement l’objet d’un débat académique animé. ^[5]

Encadré 0. La question du classement Les fournisseurs de services ou de biens qui participent à l’économie dite “collaborative” (ou “économie de plateforme”) doivent comprendre le fonctionnement du classement dans le contexte de leur utilisation de services d’intermédiation en ligne ou de moteurs de recherche en ligne spécifiques. Il peut s’agir, par exemple, d’un hôtel – petit ou grand – qui propose son hébergement par l’intermédiaire de Booking.com ou TripAdvisor. Pour permettre aux entreprises de participer en tant que prestataires sur la plateforme, il n’est pas nécessaire que les plateformes divulguent le fonctionnement détaillé de leurs mécanismes de classement, y compris les algorithmes utilisés. Il suffit de fournir une description générale des principaux paramètres de classement (y compris la possibilité d’influencer le classement contre toute rémunération directe ou indirecte versée par le prestataire), pour autant que cette description soit facilement et publiquement disponible, et rédigée dans un langage clair et intelligible.[6]

En outre, conformément à l’article 22, paragraphe 1, les personnes concernées ont le droit de ne pas faire l’objet d’une décision fondée uniquement sur un traitement automatisé, y compris le profilage, qui produit des effets juridiques les concernant ou des effets similaires significatifs. Ainsi, les responsables du traitement doivent toujours s’assurer que les outils d’IA qu’ils utilisent ou développent ne favorisent en aucun cas une prise de décision automatique inévitable. En effet, selon le groupe de travail Article 29, “[s]i le responsable du traitement envisage un “modèle” dans lequel il prend uniquement des décisions automatisées ayant un impact élevé sur les personnes sur la base de profils établis à leur sujet et qu’il ne peut pas s’appuyer sur le consentement de la personne, sur un contrat avec elle ou sur une loi l’autorisant, le responsable du traitement ne doit pas poursuivre son action. Le responsable du traitement peut toujours envisager un “modèle” de prise de décision fondé sur le profilage, en augmentant de manière significative le niveau d’intervention humaine de sorte que le modèle ne soit plus un processus décisionnel entièrement automatisé, bien que le traitement puisse toujours présenter des risques pour les droits et libertés fondamentaux des personnes.” ^[7]

Encadré 1. Comprendre le profilage Les recherches de Kosinski et al. (2013)[8] ont montré qu’en 2011, les enregistrements numériques accessibles du comportement (comme les pages “aimées” sur Facebook) pouvaient être utilisés pour prédire avec précision une série d’attributs personnels très sensibles. Il s’agissait notamment de l’orientation sexuelle, de l’origine ethnique, des opinions religieuses et politiques, des traits de personnalité, de l’intelligence, du bonheur, de la consommation de substances addictives, de la séparation des parents, de l’âge et du sexe. L’analyse était basée sur un ensemble de données de plus de 58 000 volontaires qui ont fourni leurs “J’aime” sur Facebook, des profils démographiques détaillés et les résultats de plusieurs tests psychométriques. Le modèle a correctement discriminé entre les hommes homosexuels et hétérosexuels dans 88% des cas ; entre les Afro-américains et les Américains de type caucasien dans 95% des cas ; et entre les électeurs démocrates et républicains dans 85% des cas. Pour le trait de personnalité “Ouverture”, la précision de la prédiction était proche de la précision test-retest d’un test de personnalité standard. Les auteurs ont également fourni des exemples d’association entre des attributs et des “J’aime” et ont discuté des implications pour la personnalisation en ligne et la vie privée. Ce cas constitue un excellent exemple du fonctionnement du profilage : les informations relatives aux personnes concernées ont servi à les classer et à faire des prédictions à leur sujet.

En outre, un responsable du traitement doit toujours se rappeler que, conformément à l’article 9, paragraphe 2, point a), du RGPD, les décisions automatisées qui impliquent le traitement de catégories particulières de données à caractère personnel ne sont autorisées que si la personne concernée a donné son consentement explicite au traitement de ces données à caractère personnel pour une ou plusieurs finalités déterminées, ou s’il existe une base juridique pour le traitement mentionné. Cette exception s’applique non seulement lorsque les données observées entrent dans cette catégorie, mais aussi si le rapprochement de différents types de données à caractère personnel peut révéler des informations sensibles sur des personnes, ou si des données déduites entrent dans cette catégorie. En effet, une étude capable de déduire des catégories spéciales de données est soumise aux mêmes obligations légales, en vertu du RGPD, qu’une étude dans laquelle des données personnelles sensibles sont traitées dès le départ. Dans tous ces cas, nous devons prendre en compte la réglementation applicable au traitement des catégories spéciales de données personnelles et l’application nécessaire de garanties appropriées, capables de protéger les droits, intérêts et libertés des personnes concernées. La proportionnalité entre l’objectif de la recherche et l’utilisation des catégories particulières de données doit être garantie. En outre, les responsables du traitement doivent être conscients que leurs États membres peuvent maintenir ou introduire des conditions supplémentaires, y compris des limitations, en ce qui concerne le traitement des données génétiques, des données biométriques ou des données relatives à la santé (article 9, paragraphe 4, du RGPD).

Si le profilage déduit des données personnelles qui n’ont pas été fournies par la personne concernée, les responsables du traitement doivent s’assurer que le traitement n’est pas incompatible avec la finalité initiale (voir “Protection des données et recherche scientifique” dans la partie II, section “Concepts principaux”) ; qu’ils ont identifié une base juridique pour le traitement des données de catégorie spéciale ; et qu’ils informent la personne concernée du traitement^[9] (voir “Limitation de la finalité” dans la partie II, section “Principes”).

La réalisation d’une “analyse d’impact sur la protection des données” (AIPD) (voir “AIPD” dans la section “Principaux outils et actions” de la partie II) est obligatoire s’il existe un risque réel de profilage non autorisé ou de prise de décision automatisée. L’article 35(3)(a) du RGPD stipule la nécessité pour le responsable du traitement de réaliser une AIPD dans le cas d’une évaluation systématique et étendue des aspects personnels relatifs aux personnes physiques. Cela doit être fait pour les outils basés sur un traitement automatisé, y compris le profilage, et pour ceux sur lesquels sont fondées des décisions produisant des effets juridiques concernant la personne physique, ou affectant de manière significative la personne physique.

Conformément à l’article 37, paragraphe 1, point b)5, du RGPD, une exigence supplémentaire en matière de responsabilité est la désignation d’un délégué à la protection des données (DPD), lorsque le profilage ou la prise de décision automatisée est une activité essentielle du responsable du traitement et nécessite un suivi régulier et systématique des personnes concernées à grande échelle. Les responsables du traitement sont également tenus de conserver un registre de toutes les décisions prises par un système d’IA dans le cadre de leurs obligations en matière de responsabilité et de documentation (voir la section Responsabilité du chapitre Principes). Ce registre doit indiquer si une personne a demandé une intervention humaine, a exprimé son point de vue, a contesté la décision et si celle-ci a été modifiée en conséquence. ^[10]

Voici quelques actions supplémentaires qui pourraient être extrêmement utiles pour éviter la prise de décision automatisée. ^[11]

• Prenez en compte les exigences du système nécessaires pour permettre un examen humain significatif dès la phase de conception.
• En particulier, il faut tenir compte des exigences d’interprétabilité et de la conception d’une interface utilisateur efficace pour soutenir les examens et les interventions humaines.
• Concevoir et dispenser une formation et un soutien appropriés aux investigateurs humains.
• Donner au personnel l’autorité, les incitations et le soutien appropriés pour répondre aux préoccupations des individus ou les transmettre à un échelon supérieur et, si nécessaire, passer outre la décision du système d’IA.

En tout état de cause, les responsables du traitement doivent savoir que les États membres introduisent certaines références concrètes à cette question dans leurs réglementations nationales, en utilisant différents outils pour assurer une conformité adéquate.^[12]

Liste de contrôle : profilage et prise de décision automatisée[13] ☐ Les responsables du traitement disposent d’une base juridique pour effectuer le profilage et/ou la prise de décision automatisée, et le documentent dans leur politique de protection des données. ☐ Les responsables du traitement envoient aux personnes un lien vers leur déclaration de confidentialité lorsqu’ils ont obtenu leurs données personnelles de manière indirecte. ☐ Les responsables du traitement expliquent comment les personnes peuvent accéder aux détails des informations qu’elles ont utilisées pour créer leur profil. ☐ Les responsables du traitement indiquent aux personnes qui leur fournissent leurs données personnelles et comment elles peuvent s’opposer au profilage. ☐ Les responsables du traitement disposent de procédures permettant aux clients d’accéder aux données personnelles saisies dans leurs profils, afin qu’ils puissent les examiner et les modifier pour tout problème d’exactitude. ☐ Les responsables du traitement ont mis en place des contrôles supplémentaires pour leurs systèmes de profilage/de prise de décision automatisée afin de protéger tout groupe vulnérable (y compris les enfants). ☐ Les responsables du traitement ne collectent que le minimum de données nécessaires et ont une politique de conservation claire pour les profils qu’ils créent. En tant que modèle de bonnes pratiques ☐ Les responsables du traitement effectuent une AIPD pour examiner et traiter les risques lorsqu’ils commencent toute nouvelle prise de décision automatisée ou tout nouveau profilage. ☐ Les responsables du traitement informent leurs clients du profilage et de la prise de décision automatisée qu’ils effectuent, des informations qu’ils utilisent pour créer les profils et de la provenance de ces informations. ☐ Les responsables du traitement utilisent des données anonymisées dans le cadre de leurs activités de profilage. ☐ Les responsables garantissent le droit à la lisibilité des décisions algorithmiques. ☐ Les décideurs disposent d’un mécanisme capable de notifier et d’expliquer les raisons lorsqu’une contestation de la décision algorithmique n’est pas acceptée en raison de l’absence d’intervention humaine. ☐ Les décideurs disposent d’un modèle d’évaluation des droits de l’Homme dans la prise de décision automatisée. ☐ Une supervision humaine qualifiée est mise en place dès la phase de conception, notamment sur les exigences d’interprétation et la conception efficace de l’interface, et les investigateurs sont formés. ☐ Des vérifications sont effectuées en ce qui concerne les déviations possibles des résultats des déductions dans les systèmes adaptatifs ou évolutifs. ☐ La certification du système d’IA est, ou a été, effectuée.

Informations complémentaires Groupe de travail Article 29 (2018) Lignes directrices sur la prise de décision individuelle automatisée et le profilage aux fins du règlement 2016/679. Commission européenne, Bruxelles. Disponible à l’adresse suivante : https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053 ICO (2020) AI auditing framework : draft guidance for consultation, p.94-95. Bureau du commissaire à l’information, Wilmslow. Disponible à l’adresse : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf ICO (2019) Analyses d’impact sur la protection des données et IA. Bureau du commissaire à l’information, Wilmslow. Disponible à l’adresse : https://ico.org.uk/about-the-ico/news-and-events/ai-blog-data-protection-impact-assessments-and-ai/ Kosinski M., Stillwell, D. et Graepel, T. (2013) “Digital records of behavior expose personal traits”, Proceedings of the National Academy of Sciences 110(15) : 5802- 5805, DOI:10.1073/pnas.1218772110. Malgieri, G. (2018) La prise de décision automatisée dans les lois des États membres de l’UE : le droit à l’explication et autres “garanties appropriées” pour les décisions algorithmiques dans les législations nationales de l’UE. Disponible à l’adresse : https://ssrn.com/abstract=3233611 ou http://dx.doi.org/10.2139/ssrn.3233611 Autorité norvégienne de protection des données (2018) Intelligence artificielle et vie privée. Autorité norvégienne de protection des données, Oslo. Disponible à l’adresse : https://iapp.org/media/pdf/resource_center/ai-and-privacy.pdf Selbst, A.D. et Powles, J. (2017) ” Meaningful information and the right to explanation “, International Data Privacy Law 7(4) : 233-242, https://doi.org/10.1093/idpl/ipx022. Wachter, S., Mittelstadt, B. et Floridi, L. (2017) ‘Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation’, International Data Privacy Law. Disponible à l’adresse suivante https://ssrn.com/abstract=2903469 ou http://dx.doi.org/10.2139/ssrn.2903469

 

1. Burrell, J. (2016) ” How the machine ‘thinks’ : understanding opacity in machine learning algorithms “, Big Data & Society 3(1) : 1-12. ↑
2. Groupe de travail Article 29 (2017) Lignes directrices sur la prise de décision individuelle automatisée et le profilage aux fins du règlement 2016/679, WP 251, p.9. Commission européenne, Bruxelles. ↑
3. Ibid, pp. 13-14. ↑
4. ICO (2020) AI auditing framework : draft guidance for consultation, p.94. Bureau du commissaire à l’information, Wilmslow. Disponible à l’adresse : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consulté le 15 mai 2020). ↑
5. Wachter, S., Mittelstadt, B. et Floridi, L. (2017) ‘Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation’, International Data Privacy Law.Disponible à l’adresse suivante https://ssrn.com/abstract=2903469 ou http://dx.doi.org/10.2139/ssrn.2903469 (consulté le 15 mai 2020) ; Selbst, A.D. et Powles, J. (2017) ‘Meaningful information and the right to explanation’, International Data Privacy Law 7(4) : 233-242, https://doi.org/10.1093/idpl/ipx022 (consulté le 15 mai 2020). ↑
6. Règlement UE 1159/2019 du 20 juin 2019 visant à promouvoir l’équité et la transparence pour les utilisateurs professionnels de services d’intermédiation en ligne, article 5 et considérant 27. Disponible à l’adresse suivante : https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32019R1150&from=EN ↑
7. Groupe de travail Article 29 (2018) Lignes directrices sur la prise de décision individuelle automatisée et le profilage aux fins du règlement 2016/679. Commission européenne, Bruxelles, p. 30. Disponible à l’adresse : https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053. ↑
8. Kosinski M., Stillwell, D. et Graepel, T. (2013) “Digital records of behavior expose personal traits”, Proceedings of the National Academy of Sciences 110(15) : 5802- 5805, DOI:10.1073/pnas.1218772110. ↑
9. Groupe de travail Article 29 (2017) Lignes directrices sur la prise de décision individuelle automatisée et le profilage aux fins du règlement 2016/679, WP 251, p.15. Commission européenne, Bruxelles. ↑
10. ICO (2020) AI auditing framework : draft guidance for consultation, p.94-95. Bureau du commissaire à l’information, Wilmslow. Disponible à l’adresse : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consulté le 15 mai 2020). ↑
11. Ibid. p.95. ↑
12. Malgieri, G. (2018) La prise de décision automatisée dans les lois des États membres de l’UE : le droit à l’explication et autres “garanties appropriées” pour les décisions algorithmiques dans les législations nationales de l’UE. Disponible à l’adresse : https://ssrn.com/abstract=3233611 ou http://dx.doi.org/10.2139/ssrn.3233611 (consulté le 2 mai 2020). ↑
13. ICO (aucune date) Droits liés à la prise de décision automatisée, y compris le profilage. Bureau du commissaire à l’information, Wilmslow. Disponible à l’adresse : https://ico.org.uk/for-organisations/guide-to-data-protection/guide-to-the-general-data-protection-regulation-gdpr/individual-rights/rights-related-to-automated-decision-making-including-profiling/ (consulté le 15 mai 2020). ↑