Descripción

“Antes de proceder al despliegue final del modelo construido por el analista de datos, es importante evaluar más a fondo el modelo y revisar su construcción para estar seguros de que alcanza adecuadamente los objetivos de negocio. En este punto es fundamental determinar si no se ha tenido suficientemente en cuenta alguna cuestión empresarial importante. Al final de esta fase, el líder del proyecto debe decidir exactamente cómo utilizar los resultados de la minería de datos. Los pasos clave aquí son la evaluación de los resultados, la revisión del proceso y la determinación de los próximos pasos.”^[1]

Esta fase implica varias tareas que plantean importantes problemas de protección de datos. En general, usted debe:

• evaluar los resultados del modelo, por ejemplo, si es preciso o no; para ello, el desarrollador de IA podría probarlo en el mundo real
• revisar el proceso: el desarrollador podría revisar el cometido de la extracción de datos para determinar si hay algún factor o tarea importante que se haya pasado por alto de algún modo. Esto incluye cuestiones de garantía de calidad.

Principales acciones a abordar

Procesos de validación dinámica

La validación del tratamiento que incluye un componente de IA debe realizarse en condiciones que reflejen el entorno real en el que se pretende desplegar dicho tratamiento. Además, el proceso de validación requiere una revisión periódica si las condiciones cambian o si se sospecha que la propia solución puede ser alterada. Los desarrolladores de IA deben asegurarse de que la validación refleja con exactitud las condiciones en las que se ha validado el algoritmo.

Para alcanzar este objetivo, la validación debe incluir todos los componentes de un sistema de IA, incluidos los datos, los modelos pre-entrenados, los entornos y el comportamiento del sistema en su conjunto, y realizarse lo antes posible. En general, hay que asegurarse de que las salidas o acciones son coherentes con los resultados de los procesos anteriores, comparándolas con las políticas previamente definidas para garantizar que no se violan. En ocasiones, la validación requiere la recopilación de nuevos datos personales. En otros casos, los responsables del tratamiento utilizan los datos para fines distintos de los originales. En todos estos casos, los responsables del tratamiento deben garantizar el cumplimiento del RGPD (véase la sección “Limitación de la finalidad” en el capítulo “Principios” y “Protección de datos e investigación científica” en la sección “Conceptos”).

Borrar lo datos innecearios

A menudo, los procesos de validación y entrenamiento están de alguna manera vinculados. Si la validación recomienda mejoras en el modelo, el entrenamiento debe realizarse de nuevo. Una vez que el desarrollo de la IA se ha logrado finalmente, la etapa de entrenamiento del sistema de IA ha concluido. En ese momento, el responsable debe llevar a cabo la eliminación del conjunto de datos utilizados para este fin, a menos que exista una necesidad lícita de mantenerlos con el fin de perfeccionar o evaluar el sistema, o para otros fines compatibles con aquellos para los que fueron recogidos de acuerdo con las condiciones del artículo 6, apartado 4, del RGPD (véase la sección “Definir políticas adecuadas de almacenamiento de datos” de este documento). Sin embargo, siempre debe tener en cuenta que la supresión de los datos personales puede ir en contra de la necesidad de actualizar la precisión de las herramientas basadas en el autoaprendizaje en tiempo real de los algoritmos: si se encuentra un error, probablemente tendrá que recuperar los datos utilizados previamente en la fase de entrenamiento. En caso de que los interesados soliciten su supresión, tendrá que adoptar un enfoque caso por caso teniendo en cuenta las limitaciones a este derecho previstas en el Reglamento (véase el art. 17(3)).^[2]

Realizar una auditoría externa del tratamiento de datos

En los casos en los que los riesgos del sistema son elevados, debe considerarse la posibilidad de realizar una auditoría del sistema por parte de un tercero independiente. Se pueden utilizar diferentes auditorías. Pueden ser internas o externas, abarcar sólo el producto final o realizarse con prototipos menos evolucionados. Podrían considerarse formas de control o herramientas de transparencia. El Anexo I, al final de este documento, contiene algunas recomendaciones de la Agencia Española de Protección de Datos que podrían servir de modelo.

En términos de precisión legal, las soluciones de IA deben ser auditadas para ver si funcionan bien con el RGPD considerando una amplia gama de cuestiones. El Grupo de Expertos de Alto Nivel sobre IA afirmó que “los procesos de prueba deben ser diseñados y realizados por un grupo de personas lo más diverso posible. Deberían desarrollarse múltiples métricas para cubrir las categorías que se están probando desde diferentes perspectivas. Se pueden considerar las pruebas adversas realizadas por “equipos rojos” de confianza y diversos que intentan deliberadamente “romper” el sistema para encontrar vulnerabilidades, y las “recompensas por errores” que incentivan a personas ajenas a la empresa a detectar e informar responsablemente de los errores y debilidades del sistema.”^[3] Sin embargo, hay buenas razones para ser escépticos sobre la capacidad de un auditor para comprobar el funcionamiento de un sistema de aprendizaje automático.

Por eso es sensato centrarse en los puntos incluidos por la AEPD en su lista de comprobación recomendada: sería más sencillo centrarse en las medidas implementadas para evitar los sesgos, la opacidad, la elaboración de perfiles ocultos, etc., centrándose en la aplicación de principios como la protección de datos desde el diseño y por defecto o la minimización de datos y el uso adecuado de herramientas como el EIPD o la intervención de un DPD cualificado, que intentar conocer en profundidad el funcionamiento de un algoritmo complejo (el problema de la “caja negra” es obviamente muy importante para este propósito). La aplicación de políticas adecuadas de protección de datos desde las primeras etapas del ciclo de vida de la herramienta es la mejor manera de evitar problemas de protección de datos.

Garantizar el cumplimiento del marco legal de los productos sanitarios

Antes de desplegar su dispositivo, debe asegurarse de que ha seguido adecuadamente la normativa relativa al desarrollo de dispositivos médicos. Asegúrese de que así sea. También debe elaborarse una evaluación clínica y una evaluación de rendimiento^[4].

Informar al personal sanitario que participa en el desarrollo sobre posibles problemas

A menudo, los mecanismos de IA se validan comparando su rendimiento con el de elementos humanos, en este caso, los profesionales sanitarios. Esto puede llevar subrepticiamente a que su participación induzca una evaluación de su propia capacidad profesional. Si comparamos la tasa de éxito de unos profesionales con la de otros, algunos de ellos pueden sentir que se les está poniendo a prueba de forma inadvertida. Es muy importante intentar evitar este efecto. Si se va a producir, los participantes deben ser advertidos y aceptarlo.

 

 

1. Shearer, C. (2000) ‘The CRISP-DM model: the new blueprint for data mining’, Journal of Data Warehousing 5(4): 13-23, p.17. Disponible en: https://mineracaodedados.files.wordpress.com/2012/04/the-crisp-dm-model-the-new-blueprint-for-data-mining-shearer-colin.pdf (visitado el 15 de mayo de 2020). ↑
2. AEPD, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción, 2020, p.26. At: https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf ↑
3. Grupo de Expertos de Alto Nivel sobre IA (2019) Directrices Éticas para una IA Fiable. Comisión Europea, Bruselas, p.22. Disponible en: https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1 (visitado el 15 de mayo de 2020). ↑
4. The Guidance on Clinical Evaluation (MDR) / Performance Evaluation (IVDR) of Medical Device Software (https://ec.europa.eu/docsroom/documents/40323) could be an excellent tool to this purpose.) ↑