Johann Čas (ITA/OEAW)

Cette partie des lignes directrices a été revue et validée par Marko Sijan, conseiller principal spécialiste (DPA RH).

Introduction et remarques préliminaires

L’utilisation de TIC avancées joue – en tant que technologie essentielle pour toutes les activités économiques, gouvernementales ou sociétales – un rôle de plus en plus important dans la prévision, la prévention, l’investigation et la poursuite d’activités criminelles ou terroristes. En conséquence, la recherche visant à développer et à améliorer les capacités techniques des services répressifs (LEA) constitue un domaine prioritaire des programmes de financement passés, actuels et futurs de la CE. Les TIC avancées et émergentes possèdent des pouvoirs de contrôle et d’analyse sans précédent d’ensembles de données vastes et diversifiés, notamment en relation avec les technologies d’IA^[1] . La recherche sur ces technologies, ainsi que la mise en œuvre de TIC avancées dans le contexte de la sécurité, soulèvent de sérieuses préoccupations en matière d’éthique et de conformité juridique. Les programmes de recherche sur la sécurité financés par l’UE exigent explicitement le respect total des dispositions de la Charte des droits fondamentaux de l’Union européenne,^[2] la prise en compte du respect de la vie privée dès la conception, de la protection des données dès la conception, du respect de la vie privée par défaut et de la protection des données par défaut,^[3] et, en plus du tableau d’auto-évaluation éthique^[4] également de remplir un tableau d’impact sociétal. Un “tableau d’impact sociétal” est une caractéristique spécifique de cette partie du programme de travail. Ce tableau met l’accent sur les aspects sociétaux de la recherche en sécurité. Il vérifie si la recherche en matière de sécurité proposée répond aux besoins de la société, lui est bénéfique et n’a pas d’impact négatif sur elle. Les candidats doivent remplir le ‘tableau d’impact sociétal’ dans le cadre du processus de soumission.” ^[5] Des procédures similaires devraient également être mises en œuvre au niveau de la conception des programmes de travail. Des garanties supplémentaires devraient être prévues pour que les programmes ne contiennent pas d’appels qu’il est difficile ou impossible de satisfaire sans soulever de graves problèmes d’éthique ou provoquer des atteintes disproportionnées aux droits de l’Homme. Cela pourrait être réalisé par une participation obligatoire de représentants de la société civile et d’experts en éthique et en droit au sein des groupes d’experts qui élaborent les programmes de recherche financés par l’UE.

Ces précautions sont essentielles pour mettre la recherche sur la sécurité en conformité avec des principes tels que les droits de l’Homme et la démocratie ; néanmoins, des inquiétudes subsistent quant au fait qu’elles pourraient accroître la légitimité des projets de recherche sur la sécurité sans garantir le respect des règles éthiques et juridiques dans la pratique.^[6] L’utilisation de l’IA dans le contexte de la prédiction ou de la prévention des infractions pénales fait peser de graves menaces sur les libertés civiles. Un simple compromis entre sécurité et liberté n’est ni approprié ni suffisant. Cette relation complexe doit être traitée comme une sorte de symbiose hostile,^[7] impliquant que les deux sont nécessaires à la survie de l’autre.

Pour tenir compte de ces préoccupations, ce scénario intègre également des informations provenant des appels de recherche H2020 sur la sécurité existants, en particulier de l’appel H2020-SEC-2016-2017 et des projets actuellement en cours ou récemment terminés. MAGNETO^[8] (Moteur d’analyse et de corrélation multimédia pour la prévention et l’investigation du crime organisé), CONNEXIONs^[9] (Plateforme IdOimmersive de génération NEXt interconnectée de services de détection, de prédiction, d’investigation et de prévention du crime et du terrorisme) ou RED-Alert^[10] (Système de détection précoce et d’alerte en temps réel pour le contenu terroriste en ligne basé sur le traitement du langage naturel, l’analyse des réseaux sociaux, l’intelligence artificielle et le traitement des événements complexes) sont des exemples de projets pertinents pour cette étude de cas. Ils sont financés par l’appel 2016-2017 Technologies for prevention, investigation, and mitigation in the context of the fight against crime and terrorism.^[11]Le projet initial de prendre l’un de ces projets comme base concrète pour ce scénario a été abandonné car la plupart, voire la quasi-totalité des résultats des projets mentionnés sont, conformément à la réglementation H2020,^[12] classifiés et non accessibles au public. Si la classification des résultats spécifiques des projets de recherche sur la sécurité peut être nécessaire et compréhensible, elle limite certainement aussi la possibilité d’un examen et d’un débat publics sur ces technologies, qui devraient être obligatoires au vu des violations potentielles des droits de l’Homme et des valeurs européennes.

La complexité de ce cas d’utilisation est encore accrue par le fait que différentes réglementations s’appliquent à la phase de recherche et de développement, d’une part, et à la phase de mise en œuvre et d’utilisation, d’autre part. Les activités de recherche sont soumises au RGPD; les applications futures des résultats de la recherche sont soumises à la directive d’application de la loi sur la protection des données (directive 2016/680) ,^[13] permettant une mise en œuvre et une législation spécifiques dans les différents États membres.

Le développement de l’IA pour des objectifs de sécurité exige une prise en compte et un respect particulièrement attentifs et stricts des exigences éthiques en général, c’est-à-dire des orientations du programme Horizon 2020 déjà mentionnées – Comment réaliser votre auto-évaluation éthique, des documents clés respectifs liés à l’IA, par exemple le Groupe d’experts de haut niveau sur l’IA : “Lignes directrices en matière d’éthique pour une IA digne de confiance”^[14] et le Livre blanc de la Commission européenne sur l’intelligence artificielle – Une approche européenne de l’excellence et de la confiance,^[15] et d’autres considérations et documents spécifiques à la sécurité, tels que le tableau d’impact sociétal, l’avis n°28 du GEE – Éthique des technologies de sécurité et de surveillance^[16] ou les documents pertinents publiés par le CEPD (Contrôleur européen de la protection des données).^[17] La proposition de loi sur l’intelligence artificielle traite spécifiquement de l’utilisation des technologies d’IA à des fins répressives et “…établit une méthodologie de risque solide pour définir les outils d’IA à “haut risque” qui présentent des risques importants pour la santé et la sécurité ou les droits fondamentaux des personnes. Ces outils d’IA devront se conformer à un ensemble d’exigences horizontales obligatoires pour une IA digne de confiance et suivre des procédures d’évaluation de la conformité avant que ces systèmes puissent être mis sur le marché de l’Union.”^[18] L’annexe III énumère un certain nombre d’utilisations de l’IA pour le maintien de l’ordre en tant qu’outils d’IA à haut risque pour lesquels des procédures d’évaluation de la conformité sont obligatoires.

L’analyse étape par étape suivante suit la structure et la terminologie du modèle CRISP-DM^[19] , comme indiqué dans la description ci-dessous. Afin d’accroître la comparabilité des approches et des résultats, cette structure est communément appliquée à toutes les études de cas présentées et discutées dans le cadre des MLE (Mutual Learning Encounters) menées par le PANELFIT. L’adoption d’une structure commune implique que les termes individuels ne doivent pas être compris littéralement. La compréhension commerciale peut, par exemple, signifier le développement d’une vision holistique des objectifs du projet et des moyens et étapes pour les atteindre dans le cas où le projet prévu n’a pas (principalement) d’intentions commerciales. Cela implique également que certaines des étapes ou des tâches incluses dans le cadre commun ne sont pas applicables ou moins pertinentes pour les différents contextes des études de cas. Par exemple, la première des quatre tâches principales composant l’objectif général, c’est-à-dire la détermination des objectifs commerciaux, se caractérise par une liberté de choix faible ou réduite si les objectifs sont définis et décrits dans un appel à soumettre des propositions de recherche, comme c’est le cas ici. Cette affirmation ne doit cependant pas laisser entendre que les libertés de choix n’existent pas du tout ou ne doivent pas être prises en compte, mais que les options disponibles pour les demandeurs de projets sont limitées par rapport à celles disponibles lors de la décision sur les sujets des appels à la recherche.

Lors de la discussion de la version préliminaire avec des experts externes, nous avons également reçu des recommandations allant au-delà de ce scénario spécifique, par exemple l’élaboration de programmes d’enseignement de l’éthique et leur intégration obligatoire dans les études techniques ou des offres de formation à la protection des données et à l’éthique pour les ingénieurs. Des programmes de formation correspondants devraient également être proposés aux forces de police (déployant l’IA) à titre d’activité de sensibilisation générale.

1. L’IA est un terme (trop) fréquemment utilisé, sans définition unique. Nous nous référons ici à la définition large de l’IA, élaborée par le groupe d’experts de haut niveau sur l’IA :

   “Les systèmes d’intelligence artificielle (IA) sont des systèmes logiciels (et éventuellement matériels) conçus par des humains qui, compte tenu d’un objectif complexe, agissent dans la dimension physique ou numérique en percevant leur environnement par l’acquisition de données, en interprétant les données structurées ou non structurées collectées, en raisonnant sur les connaissances, ou en traitant les informations, dérivées de ces données et en décidant de la ou des meilleures actions à entreprendre pour atteindre l’objectif donné. Les outils d’IA peuvent soit utiliser des règles symboliques, soit apprendre un modèle numérique, et ils peuvent également adapter leur comportement en

   en analysant comment l’environnement est affecté par leurs actions précédentes.

   En tant que discipline scientifique, l’IA comprend plusieurs approches et techniques, telles que l’apprentissage automatique (dont l’apprentissage profond et l’apprentissage par renforcement sont des exemples spécifiques), le raisonnement automatique (qui comprend la planification, l’ordonnancement, la représentation et le raisonnement des connaissances, la recherche et l’optimisation) et la robotique (qui comprend le contrôle, la perception, les capteurs et les actionneurs, ainsi que l’intégration de toutes les autres techniques dans les systèmes cyber-physiques).” https://digital-strategy.ec.europa.eu/en/library/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines ↑

2. http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:C:2010:083:0389:0403:en:PDF ↑
3. Pour plus de détails, voir EDPB. (2019). Lignes directrices 4/2019 relatives à l’article 25 Protection des données dès la conception et par défaut Version 2.0. Adopté le 20 octobre 2020.

   < https://edpb.europa.eu/sites/default/files/files/file1/edpb_guidelines_201904_dataprotection_by_design_and_by_default_v2.0_en.pdf> ↑

4. https://ec.europa.eu/research/participants/data/ref/h2020/grants_manual/hi/ethics/h2020_hi_ethics-self-assess_en.pdf ↑
5. Voir p.5 https://ec.europa.eu/research/participants/data/ref/h2020/wp/2018-2020/main/h2020-wp1820-security_en.pdf ↑
6. Leese, M., Lidén, K. und Nikolova, B., 2019, Putting critique to work : Ethics in EU security research, Security Dialogue 50(1), 59-76 <https://journals.sagepub.com/doi/abs/10.1177/0967010618809554>. ↑
7. Wittes, B. (2011). Contre un équilibre brut : La sécurité des plateformes et la symbiose hostile entre liberté et sécurité. Projet sur le droit et la sécurité, Harvard Law School et Brookings, <https://www.brookings.edu/wp-content/uploads/2016/06/0921_platform_security_wittes.pdf> ↑
8. http://www.magneto-h2020.eu/ ↑
9. https://www.connexions-project.eu/ ↑
10. https://redalertproject.eu/ ↑
11. https://cordis.europa.eu/programme/id/H2020_SEC-12-FCT-2016-2017 ↑
12. http://ec.europa.eu/research/participants/data/ref/h2020/other/hi/secur/h2020-hi-guide-classif_en.pdf ↑
13. Parlement européen et Conseil, 2016, Directive (UE) 2016/680 du Parlement européen et du Conseil du 27 avril 2016 relative à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, et à la libre circulation de ces données, et abrogeant la décision-cadre 2008/977/JAI du Conseil, Journal officiel <http://eur-lex.europa.eu/legal-content/EL/TXT/?uri=OJ:L:2016:119:TOC>. ↑
14. https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai ↑
15. https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf ↑
16. Groupe européen d’éthique des sciences et des nouvelles technologies. (2014). Avis n° 28 : éthique des technologies de sécurité et de surveillance (10.2796/22379). Récupéré de Luxembourg : Bruxelles : https://publications.europa.eu/en/publication-detail/-/publication/6f1b3ce0-2810-4926-b185-54fc3225c969/language-en/format-PDF/source-77404258 ↑
17. https://edps.europa.eu/data-protection/our-work/subjects_en ↑
18. Commission européenne. (2021). COM(2021) 206 final. Proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées en matière d’intelligence artificielle (loi sur l’intelligence artificielle) et modifiant certains actes législatifs de l’Union. , p. 3 <https://ec.europa.eu/newsroom/dae/redirection/document/75788> ↑
19. Shearer, Colin, Le modèle CRISP-DM : The New Blueprint for Data Mining, p. 14. ↑