Johann Čas (ITA/OEAW)

Esta parte de las Directrices ha sido revisada y validada por Marko Sijan, Asesor Especialista Senior (HR DPA) 

Introducción y observaciones preliminares

El uso de las TIC avanzadas desempeña -como tecnología esencial para todas las actividades económicas, gubernamentales o sociales- un papel cada vez más importante en la predicción, prevención, investigación y persecución de actividades delictivas o terroristas. En consecuencia, la investigación para desarrollar y mejorar las capacidades técnicas de los organismos encargados de la aplicación de la ley, constituye un área prioritaria de los programas de financiación de la UE pasados, actuales y futuros. Las TICS avanzadas y emergentes poseen poderes de vigilancia y análisis de conjuntos de datos grandes y diversos sin precedentes, especialmente en relación con las tecnologías IA^[1]. La investigación en este tipo de tecnologías, así como la aplicación de las TIC avanzadas en el contexto de la seguridad, suscitan serias preocupaciones en materia de ética y observancia de la ley. Los programas de investigación sobre seguridad financiados por la UE exigen explícitamente el pleno cumplimiento de las disposiciones de la Carta de Derechos Fundamentales de la Unión Europea,^[2] la consideración de la privacidad y la protección de datos desde el diseño, la privacidad y la protección de datos por defecto,^[3] y, además de la cumplimentación de la Tabla de Autoevaluación Ética^[4] y de la Tabla de Impacto Social. Esta última constituye una característica específica de esta parte del programa de trabajo. Dicha tabla hace hincapié en los aspectos sociales de la investigación sobre seguridad. Comprueba si la investigación sobre seguridad propuesta satisface las necesidades de la sociedad, la beneficia y no tiene un impacto negativo en ella. Los solicitantes deben rellenar la “Tabla de Impacto Social” como parte del proceso de presentación.”^[5] También deberían aplicarse procedimientos similares a la hora de diseñar los programas de trabajo. Deberían preverse garantías adicionales para que los programas no contengan peticiones que sean difíciles o imposibles de cumplir sin plantear graves problemas éticos o provocar infracciones desproporcionadas de los derechos humanos. Esto podría llevarse a cabo mediante la participación obligatoria de representantes de la sociedad civil y de expertos en Ética y Derecho entre los grupos de expertos que redactan los programas de investigación financiados por la UE.

Estas precauciones son esenciales para adecuar la investigación sobre seguridad a principios como los derechos humanos y la democracia; sin embargo, sigue preocupando que puedan aumentar la legitimidad de los proyectos de investigación sobre seguridad sin garantizar el cumplimiento ético-jurídico en la práctica.^[6] El uso de la IA en el contexto de la predicción o prevención de la delincuencia plantea graves amenazas a las libertades civiles. Una simple compensación entre seguridad y libertad no es apropiada ni suficiente. La compleja relación debe tratarse como una especie de simbiosis hostil,^[7] lo que implica que ambos son necesarios para la supervivencia del otro.

Para tener en cuenta estas preocupaciones, este escenario también incorpora información de las convocatorias de investigación sobre seguridad de H2020 existentes, en particular de la convocatoria H2020-SEC-2016-2017 y de los proyectos en curso o recientemente concluidos. Para este estudio los siguientes proyectos son ejemplos relevantes: MAGNETO^[8] (Multimedia Analysis and Correlation Engine for Organised Crime Prevention and Investigation), CONNEXIONs^[9] (InterCONnected NEXt-Generation Immersive IoT Platform of Crime and Terrorism DetectiON, PredictiON, InvestigatiON, and PreventiON Services) o RED-Alert^[10] (Real-time Early Detection and Alert System for Online Terrorist Content based on Natural Language Processing, Social Network Analysis, Artificial Intelligence and Complex Event Processing). Tale proyectos están financiados por la convocatoria 2016-2017 de Tecnologías para la prevención, investigación y mitigación en el contexto de la lucha contra la delincuencia y el terrorismo.^[11] El plan original de tomar uno de estos proyectos como base concreta para este escenario se abandonó ya que la mayoría, o casi todos los resultados de los proyectos mencionados se ajustan a la normativa de H2020 ^[12], son clasificados y no accesibles al público. Aunque la clasificación de los resultados específicos de los proyectos de investigación en materia de seguridad puede ser necesaria y comprensible, ciertamente también limita la posibilidad de un escrutinio público y de debates sobre estas tecnologías, que deberían ser obligatorios en vista de las posibles infracciones de los derechos humanos y de los valores europeos.

La complejidad de este caso de uso se ve incrementada por el hecho de que se aplican diferentes normativas a la fase de investigación y desarrollo, por un lado, y a la fase de aplicación y uso, por otro. Las actividades de investigación están sujetas al RGPD; las futuras aplicaciones de los resultados de la investigación están sujetas a la llamada Directiva de Aplicación de la Ley de Protección de Datos (Directiva 2016/680),^[13] permitiendo una aplicación y legislación específicas en cada uno de los Estados miembros.

El desarrollo de la IA para objetivos de seguridad exige una consideración especialmente cuidadosa y estricta y el cumplimiento de los requisitos éticos en general, es decir, la ya mencionada Guía del Programa Horizonte 2020 “Cómo completar su autoevaluación ética”; de los respectivos documentos clave relacionados con la IA, como por ejemplo: las “Directrices éticas para una IA fiable” del Grupo de Expertos de Alto Nivel sobre IA^[14], el Libro Blanco de la Comisión Europea sobre Inteligencia Artificial “Un enfoque europeo para la excelencia y la confianza”,^[15] así como otras consideraciones y documentos adicionales, específicos de la seguridad, tal como se aborda en la Tabla de Impacto Social, el Dictamen del GEE n° 28 – Ética de las tecnologías de seguridad y vigilancia ^[16] o los documentos pertinentes publicados por el SEPD.^[17]

Asimismo, la propuesta de Reglamento de Inteligencia Artificial aborda específicamente el uso de las tecnologías de IA con fines policiales y “…establece una sólida metodología de riesgo para definir las herramientas de IA de “alto riesgo” que plantean riesgos significativos para la salud y la seguridad o los derechos fundamentales de las personas. Esas herramientas de IA tendrán que cumplir una serie de requisitos horizontales obligatorios para una IA fiable y seguir procedimientos de evaluación de la conformidad antes de que esos sistemas puedan comercializarse en la Unión.”^[18] El anexo III enumera una serie de usos de la IA de alto riesgo para las que son obligatorios los procedimientos de evaluación de la conformidad.

El siguiente análisis “paso a paso” sigue la estructura y la terminología del Modelo CRISP-DM^[19], como se describe a continuación. Con el fin de aumentar la comparabilidad de los enfoques y los resultados, esta estructura se aplica comúnmente a todos los estudios de casos presentados y discutidos en el marco de los Encuentros de Aprendizaje Mutuo (MLE por sus siglas en inglés^[20]) realizados por el proyecto PANELFIT. La adopción de una estructura común implica que los términos individuales no deben entenderse literalmente. La comprensión empresarial podría significar, por ejemplo, desarrollar una visión holística de los objetivos del proyecto y de los medios y pasos para alcanzarlos en el caso de que el proyecto previsto no tenga (principalmente) intenciones comerciales. También implica que algunos de los pasos o tareas incluidos en el marco común no son aplicables o son menos relevantes para los diferentes contextos de los estudios de caso. Por ejemplo, la primera de las cuatro tareas principales que componen el objetivo general, es decir, la determinación de los objetivos comerciales, se caracteriza por una escasa o menor libertad de elección si los objetivos se definen y describen en una convocatoria de presentación de propuestas de investigación, como es el caso. Sin embargo, de esta afirmación no debe deducirse que la libertad de elección no existe en absoluto o que no debe considerarse, sino que las opciones disponibles para los solicitantes de proyectos son limitadas en comparación con las disponibles a la hora de decidir los temas de las convocatorias de investigación.

Durante el debate de la versión preliminar con expertos externos, también recibimos recomendaciones que van más allá de este escenario específico, por ejemplo, el desarrollo de planes de estudio para la ética y su integración obligatoria en los estudios técnicos o la oferta de entrenamiento en protección de datos y ética para ingenieros. Los programas de entrenamiento correspondientes también deberían ofrecerse a las fuerzas policiales -que despliegan IA- como una actividad de concienciación general.

1. La IA es un término de uso frecuente (demasiado) que carece de una definición única. Aquí nos remitimos a la definición amplia de IA, elaborada por el Grupo de Expertos de Alto Nivel en IA:”Los sistemas de inteligencia artificial (IA) son sistemas de software (y posiblemente también de hardware) diseñados por humanos que, dado un objetivo complejo, actúan en la dimensión física o digital percibiendo su entorno a través de la adquisición de datos, interpretando los datos estructurados o no estructurados recogidos, razonando sobre el conocimiento, o procesando la información, derivada de estos datos y decidiendo la(s) mejor(es) acción(es) a tomar para lograr el objetivo dado. Las herramientas de IA pueden utilizar reglas simbólicas o aprender un modelo numérico, y también pueden adaptar su comportamiento analizando cómo se ve afectado el entorno por sus acciones anteriores.

   Como disciplina científica, la IA incluye varios enfoques y técnicas, como el aprendizaje automático (del que el aprendizaje profundo y el aprendizaje por refuerzo son ejemplos específicos), el razonamiento automático (que incluye la planificación, la programación, la representación del conocimiento y el razonamiento, la búsqueda y la optimización) y la robótica (que incluye el control, la percepción, los sensores y los actuadores, así como la integración de todas las demás técnicas en sistemas ciberfísicos).” https://digital-strategy.ec.europa.eu/en/library/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines ↑

2. http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:C:2010:083:0389:0403:en:PDF ↑
3. Para más detalle: EDPB. (2019). Guidelines 4/2019 on Article 25 Data Protection by Design and by Default Version 2.0. Adopted on 20 October 2020.<https://edpb.europa.eu/sites/default/files/files/file1/edpb_guidelines_201904_dataprotection_by_design_and_by_default_v2.0_en.pdf> ↑
4. https://ec.europa.eu/research/participants/data/ref/h2020/grants_manual/hi/ethics/h2020_hi_ethics-self-assess_en.pdf ↑
5. See p.5 https://ec.europa.eu/research/participants/data/ref/h2020/wp/2018-2020/main/h2020-wp1820-security_en.pdf ↑
6. Leese, M., Lidén, K. und Nikolova, B., 2019, Putting critique to work: Ethics in EU security research, Security Dialogue 50(1), 59-76 < https://journals.sagepub.com/doi/abs/10.1177/0967010618809554 >. ↑
7. Wittes, B. (2011). Against a Crude Balance: Platform Security and the Hostile Symbiosis Between Liberty and Security. Project on Law and Security, Harvard Law School and Brookings, <https://www.brookings.edu/wp-content/uploads/2016/06/0921_platform_security_wittes.pdf> ↑
8. http://www.magneto-h2020.eu/ ↑
9. https://www.connexions-project.eu/ ↑
10. https://redalertproject.eu/ ↑
11. https://cordis.europa.eu/programme/id/H2020_SEC-12-FCT-2016-2017 ↑
12. http://ec.europa.eu/research/participants/data/ref/h2020/other/hi/secur/h2020-hi-guide-classif_en.pdf ↑
13. Parlamento Europeo y Consejo, 2016, DIRECTIVA (UE) 2016/680 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativa a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las autoridades competentes con fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, y a la libre circulación de estos datos, y por la que se deroga la Decisión Marco 2008/977/JAI del Consejo. Boletín Oficial <http://eur-lex.europa.eu/legal-content/EL/TXT/?uri=OJ:L:2016:119:TOC >. ↑
14. https://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1 ↑
15. https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf ↑
16. European Group on Ethics in Science and New Technologies. (2014). Opinion No. 28: Ethics of security and surveillance technologies (10.2796/22379). https://publications.europa.eu/en/publication-detail/-/publication/6f1b3ce0-2810-4926-b185-54fc3225c969/language-en/format-PDF/source-77404258 ↑
17. https://edps.europa.eu/data-protection/our-work/subjects_en ↑
18. European Commission. (2021). COM(2021) 206 final. Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union Legislative Acts., p. 3 <https://ec.europa.eu/newsroom/dae/redirection/document/75788> ↑
19. Shearer, Colin, The CRISP-DM Model: The New Blueprint for Data Mining, p. 14. ↑
20. Nota de la traductora. ↑