La prise de décision et le profilage entièrement automatisés sont des activités de traitement sensibles qui doivent être prises avec précaution. Les responsables du traitement doivent en être conscients et agir en conséquence afin d’identifier les risques, de les réduire et de mettre en place des garde-fous et des garanties.

Nous venons de mentionner l’existence de droits des personnes concernées liés à ces traitements et reconnus à l’article 22.3, à savoir le droit d’obtenir une intervention humaine, d’exprimer le point de vue de la personne concernée et de contester la décision.

En outre, les responsables du traitement doivent informer de manière simple, transparente et complète de l’existence de processus automatisés et d’activités de profilage lorsqu’ils relèvent de la définition de l’article 22 du RGPD. L’information doit également s’étendre à une explication de la logique impliquée dans le processus et à l’existence des droits susmentionnés.

Les informations sur la logique d’un système et les explications des décisions doivent donner aux individus le contexte nécessaire pour décider si, et pour quels motifs, ils souhaitent demander une intervention humaine. Dans certains cas, des explications insuffisantes peuvent inciter les individus à recourir inutilement à d’autres droits. Les demandes d’intervention, l’expression de points de vue ou les contestations sont plus susceptibles de se produire si les individus estiment ne pas avoir une compréhension suffisante de la manière dont la décision a été prise.^[1]

En outre, l’article 35(3) (a) du RGPD stipule l’obligation pour le responsable du traitement de réaliser une AIPD dans le cas d’une évaluation systématique et extensive d’aspects personnels concernant des personnes physiques qui est basée sur un traitement automatisé, y compris le profilage, et sur laquelle sont fondées des décisions produisant des effets juridiques concernant la personne physique ou l’affectant de manière significative de façon similaire. Les responsables du traitement doivent savoir que chaque pays a désormais soumis à l’EDPB sa liste des cas dans lesquels uneAIPD est requise. Si le responsable du traitement se trouve dans l’EEE, cette liste doit également être vérifiée localement.^[2] (Conformément à l’article 37, paragraphe 1, point b) et paragraphe 5 du RGPD, les responsables du traitement doivent désigner un délégué à la protection des données lorsque “les activités principales du responsable du traitement ou du sous-traitant consistent en des opérations de traitement qui, en raison de leur nature, de leur portée et/ou de leurs finalités, nécessitent un suivi régulier et systématique des personnes concernées à grande échelle”.

Les responsables du traitement sont également tenus de conserver un registre de toutes les décisions prises par un outil d’IA dans le cadre de leurs obligations en matière de responsabilité et de documentation. Ce registre doit également indiquer si une personne a demandé une intervention humaine, a exprimé un point de vue, a contesté la décision et si une décision a été modifiée à la suite de cette intervention^[3] (voir la section “Responsabilité” dans les “Principes” de la partie II des présentes lignes directrices). Voici quelques actions supplémentaires qui pourraient être extrêmement utiles pour éviter la prise de décision automatisée : ^[4]

• Prenez en compte les exigences du système nécessaires pour soutenir une révision humaine significative dès la phase de conception. En particulier, les exigences d’interprétabilité et la conception d’une interface utilisateur efficace pour soutenir les examens et les interventions humaines. Cela peut en effet être considéré comme une obligation contraignante pour les responsables du traitement, conformément au principe de la protection des données dès la conception.
• Concevoir et dispenser une formation et un soutien appropriés aux examinateurs humains. Il s’agit notamment de comprendre quelles sont les variables sur lesquelles repose le modèle de prise de décision ou de profilage et, surtout, quelles sont les variables qui ne sont pas prises en compte dans le modèle. Ces éléments peuvent être essentiels pour repérer les spécificités d’une personne concernée qui font d’elle une aberration dans le modèle ou dont les circonstances justifient une décision différente.
• Donnez au personnel l’autorité, les incitations et le soutien appropriés pour répondre aux préoccupations des personnes ou les transmettre à un échelon supérieur et, si nécessaire, annuler la décision de l’outil d’IA. Par exemple, si les réviseurs humains subissent des pressions organisationnelles ou des conséquences professionnelles négatives s’ils s’écartent de la décision automatisée, leur autorité et leur indépendance seront mises en danger.

Liste de contrôle : Prise de décision et profilage automatisés ☐ Le responsable du traitement informe les utilisateurs du type de données qui sont collectées et traitées ultérieurement par les capteurs IdO, des autres types de données qu’ils reçoivent de sources externes et de la manière dont elles seront traitées et combinées. ☐ Les systèmes IdO peuvent faire la distinction entre les différents individus qui utilisent le même appareil, de sorte qu’ils ne puissent pas prendre connaissance des activités des autres sans une base juridique appropriée. ☐ Les responsables du traitement collaborent avec les organismes de normalisation et les plateformes de données pour soutenir un protocole commun permettant d’exprimer des préférences en ce qui concerne la collecte et le traitement des données par les responsables du traitement, en particulier lorsque des dispositifs non intrusifs collectent ces données. ☐ Les responsables du traitement ont activé des entités locales de contrôle et de traitement (les “personal privacy proxies”) permettant aux utilisateurs d’avoir une vision claire des données collectées par leurs appareils et facilitant le stockage et le traitement local sans avoir à transmettre les données au fabricant de l’appareil. ☐ Les systèmes IdOfournissent : une vue d’ensemble de quelles données personnelles ont été divulguées à quel contrôleur de données et en vertu de quelles politiques ; un accès en ligne aux données personnelles et à la manière dont elles ont été traitées ; des capacités de contre-profilage aidant l’utilisateur à anticiper la manière dont ses données correspondent à des profils de groupes pertinents, ce qui peut avoir une incidence sur les opportunités ou les risques futurs (cela n’est pas exigé par la loi, mais recommandé). ☐ Les systèmes IdO offrent des choix granulaires lors de l’octroi de l’accès aux applications. La granularité ne concerne pas seulement la catégorie de données collectées, mais aussi le moment et la fréquence à laquelle les données sont capturées. À l’instar de la fonction “ne pas déranger” sur les smartphones, les dispositifs IdOdevraient proposer une option “ne pas collecter” pour programmer ou désactiver rapidement les capteurs. ☐ Le profilage et la prise de décision automatisée n’ont lieu que lorsqu’une base légale s’applique et que des garanties adéquates ont été mises en œuvre. Des mécanismes permettant d’en informer toutes les personnes concernées ont été mis en place. ☐ Les responsables du traitement ont effectué uneAIPD. ☐ Les responsables du traitement ont consulté une DPD sur le traitement. ☐ Les responsables du traitement se sont assurés que toutes les garanties prévues par l’article 22 du RGPD ont été mises en œuvre de manière adéquate. ☐ Les responsables du traitement se sont assurés que toutes les personnes intervenant dans le profilage et le traitement automatique des données ont reçu une formation adéquate sur les questions de la protection des données. ☐ Lesresponsables du traitement ont documenté toutes les informations concernant ce problème.

 

1. ICO (2020) Guidance on the AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow, p.94. Disponible à l’adresse : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf. ↑
2. EDPB (2019) Analyse d’impact sur la protection des données. Conseil européen de la protection des données, Bruxelles. Disponible à l’adresse : https://edpb.europa.eu/our-work-tools/our-documents/topic/data-protection-impact-assessment-DPIA_es . ↑
3. ICO (2020) Guidance on the AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow, p.94-95. Disponible à l’adresse : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf . ↑
4. Ibid, p.95. ↑