Resistencia a los ataques y seguridad

☐ El controlador evaluó las posibles formas de ataque a las que podría ser vulnerable el sistema de IA.

☐ El controlador tuvo en cuenta distintos tipos y naturalezas de vulnerabilidades, como la contaminación de datos, la infraestructura física y los ciberataques.

☐ El controlador puso en marcha medidas o sistemas para garantizar la integridad y resistencia del sistema de IA frente a posibles ataques.

☐ El controlador comprobó cómo se comporta el sistema en situaciones y entornos inesperados.

☐ El controlador consideró hasta qué punto el sistema podría ser de doble uso. En caso afirmativo, el controlador adoptó las medidas preventivas adecuadas para evitarlo (por ejemplo, no publicar la investigación ni desplegar el sistema).

Plan de emergencia y seguridad general

☐ El controlador garantizó que el sistema dispone de un plan de emergencia suficiente si se enfrenta a ataques de adversarios u otras situaciones inesperadas (por ejemplo, procedimientos técnicos de conmutación o solicitud de un operador humano antes de continuar).

☐ El controlador consideró el nivel de riesgo planteado por el sistema de IA en este caso de uso específico.

☐ El controlador pone en marcha cualquier proceso para medir y evaluar los riesgos y la seguridad.

☐ El controlador facilitó la información necesaria en caso de riesgo para la integridad física humana.

☐ El controlador consideró una póliza de seguros para hacer frente a posibles daños del sistema de IA.

☐ El controlador identificó los riesgos potenciales para la seguridad de (otros) usos previsibles de la tecnología, incluido el uso indebido accidental o malintencionado. Existe un plan para mitigar o gestionar estos riesgos?

☐ El controlador evaluó si existe una posibilidad probable de que el sistema de IA pueda causar daños o perjuicios a los usuarios o a terceros. El controlador evaluó la probabilidad, el daño potencial, la audiencia impactada y la gravedad.

☐ El responsable del tratamiento consideró las normas de responsabilidad y protección de los consumidores, y las tuvo en cuenta.

☐ El controlador consideró el impacto potencial o el riesgo de seguridad para el medio ambiente o los animales.

☐ El análisis de riesgos del controlador incluyó si los problemas de seguridad o de red (por ejemplo, riesgos de ciberseguridad) podrían plantear riesgos de seguridad o daños debidos a un comportamiento involuntario del sistema de IA.

☐ El controlador estimó el impacto probable de un fallo del sistema de IA cuando proporciona resultados erróneos, deja de estar disponible o proporciona resultados socialmente inaceptables (por ejemplo, discriminación).

☐ El controlador definió umbrales y estableció procedimientos de gobernanza para activar planes alternativos/de emergencia.

☐ El controlador definió y probó planes alternativos.

Precisión

☐ El controlador evaluó qué nivel y definición de precisión serían necesarios en el contexto del sistema de IA y del caso de uso.

☐ El controlador evaluó cómo se mide y garantiza la precisión.

☐ El responsable del tratamiento puso en marcha medidas para garantizar que los datos utilizados son completos y están actualizados.

☐ El responsable del tratamiento puso en marcha medidas para evaluar si hay necesidad de datos adicionales, por ejemplo para mejorar la precisión o eliminar sesgos.

☐ El controlador verificó qué perjuicios causaría que el sistema de IA hiciera predicciones inexactas.

☐ El controlador puso en marcha formas de medir si el sistema está haciendo una cantidad inaceptable de predicciones inexactas.

☐ El controlador puso en marcha una serie de medidas para aumentar la precisión del sistema.

Fiabilidad y reproducibilidad

☐ El controlador pone en marcha una estrategia para supervisar y comprobar si el sistema de IA cumple sus objetivos, propósitos y aplicaciones previstas.

☐ El controlador comprobó si es necesario tener en cuenta contextos específicos o condiciones particulares para garantizar la reproducibilidad.

☐ El controlador puso en marcha métodos de verificación para medir y garantizar distintos aspectos de la fiabilidad y reproducibilidad del sistema.

☐ El controlador puso en marcha procesos para describir cuándo falla un sistema de IA en determinados escenarios.

☐ El controlador documentó claramente y puso en funcionamiento estos procesos para la comprobación y verificación de la fiabilidad de los sistemas de IA.

☐ El controlador estableció mecanismos de comunicación para garantizar a los usuarios (finales) la fiabilidad del sistema.

Grupo de Trabajo del Artículo 29 (2017) WP248, Directrices sobre la evaluación de impacto relativa a la protección de datos (EIPD) y la determinación de si el tratamiento “puede entrañar un alto riesgo” a efectos del Reglamento 2016/679. Comisión Europea, Bruselas. Disponible en: https://ec.europa.eu/newsroom/document.cfm?doc_id=47711

Eykholt, K. et al. (2018) ‘Robust physical-world attacks on deep learning models’, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition 10.4.2018, arXiv:1707.08945

Fredrikson, M. et al. (2015) ‘Model inversion attacks that exploit confidence information and basic countermeasures’, CCS ’15: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, octubre de 2015. Universidad de Cornell, Ithaca. Disponible en: https://rist.tech.cornell.edu/papers/mi-ccs.pdf