La resistencia a los ataques debe ser un objetivo de todos los sistemas de TIC, incluidos los de IA. Al tratar datos personales, el artículo 32 del RGPD exige explícitamente la aplicación de medidas técnicas y organizativas adecuadas para garantizar la seguridad de los datos (véase “Medidas de apoyo a la confidencialidad” en la subsección “Integridad y confidencialidad” de los “Principios” de la Parte II).

Las medidas de seguridad requeridas dependen del impacto probable de un mal funcionamiento del sistema de IA. Estas medidas deben incluir también las adoptadas para garantizar la resiliencia de los sistemas de procesamiento.^[1] Para determinados tipos de sistemas de IA, el proceso de toma de decisiones puede ser especialmente vulnerable a los ataques. Por ejemplo, un actor malicioso puede crear una entrada engañosa para explotar las diferencias fundamentales de percepción entre los seres humanos y los sistemas de IA, como demuestra el ejemplo del recuadro 2.

Recuadro 2 Ejemplo de la necesidad de seguridad en los sistemas de IA Un vehículo autónomo debe reconocer automáticamente las señales de tráfico, utilizando las cámaras de a bordo y ajustando su velocidad en consecuencia. Aunque los algoritmos de IA basados en redes neuronales profundas pueden sobresalir en esta tarea, hay que tener especial cuidado para proteger el sistema contra ataques selectivos de un adversario malintencionado. Por ejemplo, pequeñas modificaciones específicas en las señales de tráfico podrían llevar al sistema de IA a confundir una señal de stop con una de límite de velocidad, lo que podría dar lugar a situaciones potencialmente peligrosas. Mientras tanto, la modificación puede parecer un simple grafiti para el observador humano casual. Por lo tanto, es de suma importancia proteger un sistema de IA utilizado para este fin contra tales ataques, aumentando así su capacidad de recuperación.[2]

Los modelos de IA entrenados también pueden ser una valiosa fuente de datos. En determinadas circunstancias, puede ser posible obtener información sobre los datos de entrada originales utilizando únicamente el modelo entrenado.^[3] Esta “fuga de información” podría ser explotada tanto por agentes internos como externos. Por lo tanto, es importante que los responsables del tratamiento tomen medidas para limitar el acceso al modelo y a los datos de entrenamiento subyacentes, y para todas las categorías de actores (véase “Medidas de apoyo a la confidencialidad” en la subsección “Integridad y confidencialidad” de los “Principios” de la Parte II de estas Directrices).

Una vez entrenado, el sistema de IA resultante puede utilizarse para fines muy distintos de los previstos originalmente. Por ejemplo, el sistema de IA de reconocimiento facial puede utilizarse para reconocer y agrupar fotos que contengan a una persona concreta dentro de un álbum de fotos en línea. El mismo sistema de IA podría utilizarse también para buscar en Internet fotos de una persona concreta, revelando potencialmente datos personales sensibles (es decir, utilizando la ubicación de la foto o el contexto de captura). Este tipo de uso polivalente suele ser posible con los sistemas de IA, y corresponde al diseñador del sistema predecir el posible tratamiento ilícito de datos personales y aplicar medidas de seguridad que lo impidan o minimicen. Esto podría hacerse mediante medidas como la restricción de las fuentes de datos utilizables o la prohibición de determinados patrones de uso mediante condiciones de licencia. El marco jurídico de protección de datos puede complementar tales restricciones, pero en ningún caso las sustituye.

 

 

1. Artículo 32, apartado 1, letra b), del RGPD. ↑
2. Eykholt, K. et al. (2018) ‘Robust physical-world attacks on deep learning models’, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition 10.4.2018, arXiv:1707.08945. ↑
3. Fredrikson, M. et al. (2015) ‘Model inversion attacks that exploit confidence information and basic countermeasures’, CCS ’15: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, octubre de 2015. Universidad de Cornell, Ithaca. Disponible en: https://rist.tech.cornell.edu/papers/mi-ccs.pdf (consultado el 20 de mayo de 2020). ↑