Descripción

“Antes de proceder al despliegue final del modelo construido por el analista de datos, es importante evaluar más a fondo el modelo y revisar su construcción para estar seguros de que alcanza adecuadamente los objetivos de negocio. En este punto es fundamental determinar si no se ha tenido suficientemente en cuenta alguna cuestión empresarial importante. Al final de esta fase, el líder del proyecto debe decidir exactamente cómo utilizar los resultados de la minería de datos. Los pasos clave aquí son la evaluación de los resultados, la revisión del proceso y la determinación de los próximos pasos.”^[1]

Esta fase implica varias tareas que plantean importantes problemas de protección de datos. En general, usted debe:

• Evaluar los resultados de su modelo, por ejemplo, si es preciso o no. Para ello, el desarrollador de IA podría probarlo en el mundo real. Esta prueba podría realizarse a menudo en coordinación con un socio relacionado con el proyecto del ámbito en el que el sistema debe implantarse (por ejemplo, LEA)
• Revisar el proceso. Deberá revisar el sistema de procesamiento de datos para determinar si hay algún factor o tarea crítica que se haya pasado por alto de alguna manera. Esto incluye cuestiones de garantía de calidad. Esta es, en realidad, la última fase en la que hay que involucrar a los posibles usuarios finales en el proceso de desarrollo. Sin embargo, debería involucrar y conocer las necesidades del usuario final en una fase realmente temprana de su proyecto (comprensión del negocio). En esta fase, las partes interesadas y los usuarios finales pueden aportar información sobre los puntos fuertes y débiles del sistema en su uso real.

Principales acciones a abordar

Procesos de validación dinámica

La validación del tratamiento, incluido un componente de IA, debe realizarse en condiciones que reflejen el entorno real en el que se pretende desplegar el tratamiento. Así, si se sabe de antemano dónde se va a utilizar la herramienta de IA, se debe adaptar el proceso de validación a ese entorno. La mejor manera de hacerlo es con la participación de los respectivos socios del ámbito en cuestión. Si la herramienta se va a desplegar en el país x, hay que validarla con datos obtenidos de la población respectiva o, si no es posible, de una similar. De lo contrario, los resultados podrían ser totalmente incorrectos. En cualquier caso, debe informar sobre las condiciones de la validación a cualquier posible usuario.

Además, el proceso de validación requiere una revisión periódica si las condiciones cambian o si se sospecha que la propia solución puede ser alterada. Por ejemplo, si el algoritmo se alimenta con datos de un grupo específico de personas, debes evaluar si esto cambia su precisión en otra parte de la población. Hay que asegurarse de que la validación refleje las condiciones en las que el algoritmo ha sido validado con precisión.

Para alcanzar este objetivo, la validación debe incluir todos los componentes de una herramienta de IA, incluidos los datos, los modelos preentrenados, los entornos y el comportamiento del sistema en su conjunto. Además, la validación debe realizarse lo antes posible. En general, hay que asegurarse de que las salidas o acciones son coherentes con los resultados de los procesos anteriores, comparándolas con las políticas previamente definidas para garantizar que no se violan. En ocasiones, la validación requiere la recopilación de nuevos datos personales. En otros casos, los responsables utilizan los datos para fines distintos de los originales. En todos estos casos, los responsables deben garantizar el cumplimiento del RGPD (véase la sección de limitación de la finalidad en el capítulo de Principios y la sección de Protección de datos e investigación científica en la sección de Conceptos).

Borrar datos innecesarios

A menudo, los procesos de validación y entrenamiento están de alguna manera vinculados. Si la validación recomienda mejoras en el modelo, el entrenamiento debe realizarse de nuevo. Una vez que el desarrollo de la IA se ha logrado finalmente, la etapa de entrenamiento del sistema de IA ha concluido. En ese momento, el responsable debe llevar a cabo la eliminación del conjunto de datos utilizados para este fin, a menos que exista una necesidad lícita de mantenerlos con el fin de perfeccionar o evaluar el sistema, o para otros fines compatibles con aquellos para los que fueron recogidos de acuerdo con las condiciones del artículo 6, apartado 4, del RGPD (véase la sección “Definir políticas adecuadas de almacenamiento de datos” de este documento).

En caso de que los interesados soliciten su supresión, tendrá que adoptar un enfoque caso por caso teniendo en cuenta las limitaciones a este derecho previstas en el Reglamento (véase el art. 17(3)).

Realizar una auditoría externa del tratamiento de datos

Dado que los riesgos del sistema que está desarrollando son elevados, es necesario que una tercera parte independiente realice una auditoría del sistema. Se puede recurrir a diferentes tipos de auditoría. Pueden ser internas o externas; abarcar sólo el producto final o realizarse con prototipos menos evolucionados. Podrían considerarse una forma de supervisión y una herramienta de transparencia, lo que se supone que también es una característica de calidad.

En términos de precisión legal, las soluciones de IA deben ser auditadas para ver si funcionan bien con el RGPD teniendo en cuenta una amplia gama de cuestiones. El Grupo de Expertos de Alto Nivel sobre IA afirmó que “los procesos de prueba deben ser diseñados y realizados por un grupo de personas lo más diverso posible. Deberían desarrollarse múltiples métricas para cubrir las categorías que se están probando desde diferentes perspectivas. Se puede considerar la posibilidad de realizar pruebas adversas por parte de “equipos rojos” de confianza y diversos que intenten deliberadamente “romper” el sistema para encontrar vulnerabilidades, y “recompensas por errores” que incentiven a personas ajenas a la empresa a detectar e informar responsablemente de los errores y debilidades del sistema.”^[2] La auditoría también debe incluir el cumplimiento del principio de explicabilidad”. El grado de exigencia de la explicabilidad depende en gran medida del contexto y de la gravedad de las consecuencias si ese resultado es erróneo o inexacto.”^[3] Teniendo en cuenta las gravísimas consecuencias para las personas sospechosas o condenadas por actividades delictivas, las tecnologías de ML aplicadas deben permitir la explicabilidad, entre otras medidas necesarias, para que los sistemas desarrollados respeten los derechos fundamentales. La auditoría también debe centrarse en las medidas aplicadas para evitar el sesgo, la oscuridad, la elaboración de perfiles ocultos, etc., y el uso correcto de herramientas como la EIPD, que puede realizarse varias veces. La aplicación de políticas adecuadas de protección de datos desde las primeras fases del ciclo de vida de la herramienta es la mejor manera de evitar problemas de protección de datos.

 

 

1. Shearer, C. (2000) ‘The CRISP-DM model: the new blueprint for data mining’, Journal of Data Warehousing 5(4): 13-23, p.17. Disponible en: https://mineracaodedados.files.wordpress.com/2012/04/the-crisp-dm-model-the-new-blueprint-for-data-mining-shearer-colin.pdf (visitado el 15 de mayo de 2020). ↑
2. Grupo de Expertos de Alto Nivel en IA (2019) Directrices éticas para una IA fiable (https://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1). ↑
3. Ibidem, p.15 ↑