El requisito de la intervención y supervisión humanas en el desarrollo de herramientas de IA está claramente vinculado al derecho a obtener la intervención humana, el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, el derecho a la información sobre la toma de decisiones automática (ADM), y la lógica implicada, todos ellos incluidos en el GDPR. Estos derechos se ven cuestionados por el uso de herramientas de IA. La IA implica a menudo una forma de tratamiento automatizado y, en algunos casos, las decisiones son tomadas directamente por el modelo de IA. De hecho, a veces las herramientas de IA aprenden y toman decisiones sin supervisión humana y a veces la lógica implicada en su funcionamiento es difícil de entender. ^[1]

En este sentido, la elaboración de perfiles es especialmente problemática en el desarrollo de la IA (véase el recuadro 1), porque el proceso de elaboración de perfiles “suele ser invisible para el interesado. Funciona mediante la creación de datos derivados o inferidos sobre las personas: “nuevos” datos personales que no han sido proporcionados directamente por los propios interesados. Las personas tienen niveles muy diferentes de comprensión de este tema y puede resultarles difícil entender las sofisticadas técnicas que intervienen en los procesos de elaboración de perfiles y toma de decisiones automatizadas”^[2] (véase la sección ‘ y Comprender la transparencia y la opacidad ‘).

Por supuesto, el RGPD no impide ninguna forma de elaboración de perfiles ni de toma de decisiones automatizada: sólo otorga a las personas el derecho cualificado a ser informadas al respecto y el derecho a no ser objeto de una decisión basada en una toma de decisiones puramente automatizada, incluida la elaboración de perfiles. Su derecho a la información (véase “Derecho a la información” en la sección “Derechos de los interesados” de la Parte II de estas directrices) debe satisfacerse mediante la aplicación del principio de legalidad, equidad y transparencia (véase “Principio de legalidad, equidad y transparencia” en la sección “Principios” de la Parte II de estas directrices). Esto significa que, como mínimo, los responsables del tratamiento tienen que informar al interesado de que “están realizando este tipo de actividad, proporcionar información significativa sobre la lógica implicada y la importancia y las consecuencias previstas de la elaboración de perfiles para el interesado”^[3] (véanse los artículos 13 y 14 del RGPD).

La información sobre la lógica de un sistema y las explicaciones de las decisiones deben ofrecer a las personas el contexto necesario para tomar decisiones sobre el tratamiento de sus datos personales. En algunos casos, unas explicaciones insuficientes pueden inducir a los particulares a recurrir innecesariamente a otros derechos. Las solicitudes de intervención, la expresión de opiniones o las objeciones al tratamiento tienen más probabilidades de producirse si los individuos consideran que no comprenden suficientemente cómo se ha llegado a la decisión. Los interesados deben poder ejercer sus derechos de forma sencilla y fácil. Por ejemplo, “si el resultado de una decisión exclusivamente automatizada se comunica a través de un sitio web, la página debe contener un enlace o información clara que permita al interesado ponerse en contacto con un miembro del personal que pueda intervenir, sin demoras ni complicaciones indebidas”.^[4] Sin embargo, es difícil precisar el alcance de la información que debe facilitarse. De hecho, en la actualidad existe un animado debate académico sobre esta cuestión. ^[5]

Recuadro 0. La cuestión de la clasificación Los proveedores de servicios o bienes que participan en la llamada “economía colaborativa” (o “economía de plataforma”) necesitan comprender el funcionamiento de la clasificación en el contexto de su uso de servicios específicos de intermediación en línea o motores de búsqueda en línea. Podría tratarse, por ejemplo, de un hotel -grande o pequeño- que ofrece su alojamiento a través de Booking.com o TripAdvisor. Para que las empresas puedan participar como proveedores en la plataforma, no es necesario que las plataformas revelen el funcionamiento detallado de sus mecanismos de clasificación, incluidos los algoritmos utilizados. Basta con facilitar una descripción general de los principales parámetros de clasificación (incluida la posibilidad de influir en la clasificación frente a cualquier remuneración directa o indirecta pagada por el proveedor), siempre que esta descripción sea fácil y públicamente accesible, y esté redactada en un lenguaje claro e inteligible.[6]

Además, según el artículo 22, apartado 1, los interesados tendrán derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en ellos o les afecte de forma significativa de modo similar. Así pues, los responsables del tratamiento deben asegurarse siempre de que las herramientas de IA que utilizan o desarrollan no promueven en modo alguno la adopción de decisiones automáticas inevitables. De hecho, según el Grupo de Trabajo del Artículo 29, “[s]i el responsable del tratamiento prevé un “modelo” en el que toma únicamente decisiones automatizadas que tienen un gran impacto sobre las personas basándose en perfiles elaborados sobre ellas y no puede basarse en el consentimiento de la persona, en un contrato con la persona o en una ley que lo autorice, el responsable del tratamiento no debe seguir adelante. El responsable del tratamiento aún puede prever un “modelo” de toma de decisiones basado en la elaboración de perfiles, aumentando significativamente el nivel de intervención humana de modo que el modelo ya no sea un proceso de toma de decisiones totalmente automatizado, aunque el tratamiento podría seguir presentando riesgos para los derechos y libertades fundamentales de las personas“. ^[7]

Cuadro 1. Comprender la elaboración de perfiles La investigación de Kosinski et al. (2013)[8] demostró que, en 2011, los registros digitales de comportamiento accesibles (como las páginas que “gustan” en Facebook) podían utilizarse para predecir con exactitud una serie de atributos personales muy sensibles. Estos incluían: orientación sexual, etnia, opiniones religiosas y políticas, rasgos de personalidad, inteligencia, felicidad, consumo de sustancias adictivas, separación de los padres, edad y sexo. El análisis se basó en un conjunto de datos de más de 58.000 voluntarios que proporcionaron sus “me gusta” de Facebook, perfiles demográficos detallados y los resultados de varias pruebas psicométricas. El modelo discriminó correctamente entre hombres homosexuales y heterosexuales en el 88% de los casos; entre afroamericanos y caucásicos en el 95% de los casos; y entre votantes demócratas y republicanos en el 85% de los casos. En el caso del rasgo de personalidad “Apertura”, la precisión de la predicción se aproximó a la precisión test-retest de un test de personalidad estándar. Los autores también presentaron ejemplos de asociación entre atributos y “me gusta” y analizaron las implicaciones para la personalización y la privacidad en línea. Este caso constituye un excelente ejemplo de cómo funciona la elaboración de perfiles: la información de los interesados sirvió para clasificarlos y hacer predicciones sobre ellos.

Además, un responsable del tratamiento debe recordar siempre que, de conformidad con el artículo 9, apartado 2, letra a), del RGPD, las decisiones automatizadas que impliquen el tratamiento de categorías especiales de datos personales sólo están permitidas si el interesado ha dado su consentimiento explícito al tratamiento de dichos datos personales para uno o varios fines específicos, o si existe una base jurídica para el mencionado tratamiento. Esta excepción se aplica no sólo cuando los datos observados entran en esta categoría, sino también si la alineación de distintos tipos de datos personales puede revelar información sensible sobre las personas, o si los datos inferidos entran en esa categoría. De hecho, un estudio capaz de inferir categorías especiales de datos está sujeto a las mismas obligaciones legales, de conformidad con el RGPD, que uno en el que se tratan datos personales sensibles desde el principio. En todos estos casos, hay que tener en cuenta la normativa aplicable al tratamiento de categorías especiales de datos personales y la necesaria aplicación de garantías adecuadas, capaces de proteger los derechos, intereses y libertades de los interesados. Debe garantizarse la proporcionalidad entre el objetivo de la investigación y el uso de categorías especiales de datos. Además, los responsables del tratamiento deben ser conscientes de que sus Estados miembros pueden mantener o introducir otras condiciones, incluidas limitaciones, en relación con el tratamiento de datos genéticos, datos biométricos o datos relativos a la salud (artículo 9, apartado 4, del RGPD).

Si la elaboración de perfiles infiere datos personales que no han sido facilitados por el interesado, los responsables del tratamiento deben garantizar que el tratamiento no es incompatible con la finalidad original (véase “Protección de datos e investigación científica” en la Parte II, sección “Conceptos principales”); que han identificado una base jurídica para el tratamiento de los datos de categoría especial; y que informan al interesado sobre el tratamiento^[9] (véase “Limitación de la finalidad” en la Parte II, sección “Principios”).

La realización de una “evaluación del impacto sobre la protección de datos” (EIPD) (véase “EIPD” en la sección “Principales herramientas y acciones” de la Parte II) es obligatoria si existe un riesgo real de elaboración de perfiles no autorizados o de toma de decisiones automatizada. El artículo 35, apartado 3, letra a), del RGPD establece la necesidad de que el responsable del tratamiento lleve a cabo una EIPD en caso de evaluación sistemática y amplia de aspectos personales relativos a personas físicas. Esto debe hacerse para las herramientas basadas en el tratamiento automatizado, incluida la elaboración de perfiles, y para aquellas en las que se basan las decisiones que producen efectos jurídicos relativos a la persona física, o que afectan significativamente a la persona física.

De conformidad con el artículo 37, apartado 1, letra b), punto 5, del RGPD, un requisito adicional de rendición de cuentas es la designación de un responsable de la protección de datos (RPD), cuando la elaboración de perfiles o la toma de decisiones automatizada sea una actividad fundamental del responsable del tratamiento y requiera un seguimiento regular y sistemático de los interesados a gran escala. Los responsables del tratamiento también deben llevar un registro de todas las decisiones tomadas por un sistema de IA como parte de sus obligaciones de rendición de cuentas y documentación (véase la sección “Rendición de cuentas” en el capítulo “Principios”). Esto debe incluir si una persona solicitó la intervención humana, expresó alguna opinión, impugnó la decisión, y si una decisión ha sido modificada como resultado. ^[10]

Algunas acciones adicionales que pueden ser de gran utilidad para evitar la toma de decisiones automatizada son las siguientes. ^[11]

• Considere los requisitos del sistema necesarios para apoyar una revisión humana significativa desde la fase de diseño.
• En particular, hay que tener en cuenta los requisitos de interpretabilidad y el diseño eficaz de la interfaz de usuario para facilitar las revisiones e intervenciones humanas.
• Diseñar e impartir la formación y el apoyo adecuados para los revisores humanos.
• Otorgar al personal la autoridad, los incentivos y el apoyo adecuados para abordar o elevar las preocupaciones de las personas y, en caso necesario, anular la decisión del sistema de IA.

En cualquier caso, los controladores deben ser conscientes de que los Estados miembros están introduciendo algunas referencias concretas a esta cuestión en sus normativas nacionales, utilizando diferentes herramientas para garantizar un cumplimiento adecuado.^[12]

Lista de control: elaboración de perfiles y toma de decisiones automatizada[13] ☐ Los responsables del tratamiento tienen una base jurídica para llevar a cabo la elaboración de perfiles y/o la toma de decisiones automatizada, y lo documentan en su política de protección de datos. ☐ Los responsables del tratamiento envían a los particulares un enlace a su declaración de privacidad cuando han obtenido sus datos personales de forma indirecta. ☐ Los controladores explican cómo las personas pueden acceder a los detalles de la información que utilizaron para crear su perfil. ☐ Los responsables del tratamiento informan a las personas que les facilitan sus datos personales y cómo pueden oponerse a la elaboración de perfiles. ☐ Los responsables del tratamiento disponen de procedimientos para que los clientes puedan acceder a los datos personales introducidos en sus perfiles, de modo que puedan revisarlos y modificarlos por si hubiera algún problema de exactitud. ☐ Los responsables del tratamiento aplican controles adicionales a sus sistemas de elaboración de perfiles/toma de decisiones automatizada para proteger a cualquier grupo vulnerable (incluidos los niños). ☐ Los controladores solo recopilan el mínimo de datos necesarios y tienen una política clara de conservación de los perfiles que crean. Como modelo de buenas prácticas ☐ Los responsables del tratamiento llevan a cabo una DPIA para considerar y abordar los riesgos cuando inician cualquier nueva toma de decisiones automatizada o elaboración de perfiles. ☐ Los responsables del tratamiento informan a sus clientes sobre la elaboración de perfiles y la toma de decisiones automatizada que llevan a cabo, qué información utilizan para crear los perfiles y de dónde obtienen esta información. ☐ Los responsables del tratamiento utilizan datos anonimizados en sus actividades de elaboración de perfiles. ☐ Los responsables garantizan el derecho a la legibilidad de las decisiones algorítmicas. ☐ Los responsables de la toma de decisiones disponen de un mecanismo capaz de notificar y explicar los motivos cuando no se acepta una impugnación de la decisión algorítmica por falta de intervención humana. ☐ Los responsables de la toma de decisiones disponen de un modelo de evaluación de los derechos humanos en la toma de decisiones automatizada. ☐ Existe supervisión humana cualificada desde la fase de diseño, en particular sobre los requisitos de interpretación y el diseño eficaz de la interfaz, y se forma a los examinadores. ☐ Se realizan auditorías con respecto a posibles desviaciones de los resultados de inferencias en sistemas adaptativos o evolutivos. ☐ Se está llevando a cabo, o se ha llevado a cabo, la certificación del sistema de IA.

Información adicional Grupo de Trabajo del Artículo 29 (2018) Directrices sobre la toma de decisiones individuales automatizadas y la elaboración de perfiles a efectos del Reglamento 2016/679. Comisión Europea, Bruselas. Disponible en: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053 ICO (2020) AI auditing framework: draft guidance for consultation, p.94-95. Oficina del Comisario de Información, Wilmslow. Disponible en: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf ICO (2019) Evaluaciones de impacto de la protección de datos y AI. Oficina del comisionado de información, Wilmslow. Disponible en: https://ico.org.uk/about-the-ico/news-and-events/ai-blog-data-protection-impact-assessments-and-ai/ Kosinski M., Stillwell, D. y Graepel, T. (2013) ‘Digital records of behavior expose personal traits’, Proceedings of the National Academy of Sciences 110(15): 5802- 5805, DOI:10.1073/pnas.1218772110 Malgieri, G. (2018) La toma de decisiones automatizada en las leyes de los Estados miembros de la UE: el derecho a la explicación y otras “salvaguardias adecuadas” para las decisiones algorítmicas en las legislaciones nacionales de la UE. Disponible en: https://ssrn.com/abstract=3233611 o http://dx.doi.org/10.2139/ssrn.3233611 Autoridad Noruega de Protección de Datos (2018) Inteligencia artificial y privacidad. Autoridad noruega de protección de datos, Oslo. Disponible en: https://iapp.org/media/pdf/resource_center/ai-and-privacy.pdf Selbst, A.D. y Powles, J. (2017) “Meaningful information and the right to explanation”, International Data Privacy Law 7(4): 233-242, https://doi.org/10.1093/idpl/ipx022 Wachter, S., Mittelstadt, B. y Floridi, L. (2017) ‘Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation’, International Data Privacy Law. Disponible en https://ssrn.com/abstract=2903469 o http://dx.doi.org/10.2139/ssrn.2903469

 

1. Burrell, J. (2016) “How the machine ‘thinks’: understanding opacity in machine learning algorithms”, Big Data & Society 3(1): 1-12. ↑
2. Parte de trabajo del artículo 29 (2017) Directrices sobre la toma de decisiones individuales automatizadas y la elaboración de perfiles a efectos del Reglamento 2016/679, WP 251, p.9. Comisión Europea, Bruselas. ↑
3. Ibídem, pp.13-14. ↑
4. ICO (2020) AI auditing framework: draft guidance for consultation, p.94. Oficina del Comisario de Información, Wilmslow. Disponible en: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consultado el 15 de mayo de 2020). ↑
5. Wachter, S., Mittelstadt, B. y Floridi, L. (2017) ‘Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation’, International Data Privacy Law. Disponible en https://ssrn.com/abstract=2903469 o http://dx.doi.org/10.2139/ssrn.2903469 (consultado el 15 de mayo de 2020); Selbst, A.D. y Powles, J. (2017) ‘Meaningful information and the right to explanation’, International Data Privacy Law 7(4): 233-242, https://doi.org/10.1093/idpl/ipx022 (consultado el 15 de mayo de 2020). ↑
6. Reglamento UE 1159/2019, de 20 de junio de 2019, relativo al fomento de la equidad y la transparencia para los usuarios empresariales de servicios de intermediación en línea, artículo 5 y considerando 27. Disponible en: https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32019R1150&from=EN ↑
7. Grupo de Trabajo del Artículo 29 (2018) Directrices sobre la toma de decisiones individuales automatizadas y la elaboración de perfiles a efectos del Reglamento 2016/679. Comisión Europea, Bruselas, p. 30. Disponible en: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053. ↑
8. Kosinski M., Stillwell, D. y Graepel, T. (2013) ‘Digital records of behavior expose personal traits’, Proceedings of the National Academy of Sciences 110(15): 5802- 5805, DOI:10.1073/pnas.1218772110 ↑
9. Grupo de Trabajo del Artículo 29 (2017) Directrices sobre la elaboración de perfiles y la toma de decisiones individuales automatizadas a efectos del Reglamento 2016/679, WP 251, p.15. Comisión Europea, Bruselas. ↑
10. ICO (2020) AI auditing framework: draft guidance for consultation, p.94-95. Oficina del Comisario de Información, Wilmslow. Disponible en: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consultado el 15 de mayo de 2020). ↑
11. Ibid. p.95. ↑
12. Malgieri, G. (2018) Automated decision-making in the EU Member States laws: the right to explanation and other ‘suitable safeguards’ for algorithmic decisions in the EU national legislations. Disponible en: https://ssrn.com/abstract=3233611 o http://dx.doi.org/10.2139/ssrn.3233611 (consultado el 2 de mayo de 2020). ↑
13. ICO (sin fecha) Derechos relacionados con la toma de decisiones automatizada, incluida la elaboración de perfiles. Oficina del Comisario de Información, Wilmslow. Disponible en: https://ico.org.uk/for-organisations/guide-to-data-protection/guide-to-the-general-data-protection-regulation-gdpr/individual-rights/rights-related-to-automated-decision-making-including-profiling/ (consultado el 15 de mayo de 2020). ↑