En los casos en los que los riesgos del sistema son elevados, debe considerarse la posibilidad de realizar una auditoría del sistema por parte de un tercero independiente. Se pueden utilizar diferentes auditorías. Pueden ser internas o externas, abarcar sólo el producto final o realizarse con prototipos menos evolucionados. Podrían considerarse formas de control o herramientas de transparencia. El Anexo I, al final de este documento, contiene algunas recomendaciones de la Agencia Española de Protección de Datos que podrían servir de modelo.
En términos de precisión legal, las soluciones de IA deben ser auditadas para ver si funcionan bien con el GDPR considerando una amplia gama de cuestiones. El Grupo de Expertos de Alto Nivel sobre IA afirmó que “los procesos de prueba deben ser diseñados y realizados por un grupo de personas lo más diverso posible. Deberían desarrollarse múltiples métricas para cubrir las categorías que se están probando desde diferentes perspectivas. Se pueden considerar las pruebas adversas realizadas por “equipos rojos” de confianza y diversos que intentan deliberadamente “romper” el sistema para encontrar vulnerabilidades, y las “recompensas por errores” que incentivan a personas ajenas a la empresa a detectar e informar responsablemente de los errores y debilidades del sistema.” Sin embargo, hay buenas razones para ser escépticos sobre la capacidad de un auditor para comprobar el funcionamiento de un sistema de aprendizaje automático.
Por eso es sensato centrarse en los puntos incluidos por la AEPD en su lista de comprobación recomendada: sería más sencillo centrarse en las medidas implementadas para evitar los sesgos, la opacidad, la elaboración de perfiles ocultos, etc., centrándose en la aplicación de principios como la protección de datos desde el diseño y por defecto o la minimización de datos y el uso adecuado de herramientas como el EIPD o la intervención de un DPD cualificado, que intentar conocer en profundidad el funcionamiento de un algoritmo complejo (el problema de la “caja negra” es obviamente muy importante para este propósito). La aplicación de políticas adecuadas de protección de datos desde las primeras etapas del ciclo de vida de la herramienta es la mejor manera de evitar problemas de protección de datos.
| Cuadro 20: La dificultad de auditar un sistema de aprendizaje automático: La plataforma Watson de IBM
La política de IBM subraya que Watson se entrena mediante “aprendizaje supervisado”. Es decir, el sistema es guiado, paso a paso, en su aprendizaje. Esto significa que su proceso puede ser monitorizado, a diferencia del aprendizaje no supervisado, en el que la máquina tiene plena autonomía para determinar sus criterios de funcionamiento. IBM también afirma que comprueba lo que los sistemas han estado haciendo, antes de cualquier decisión de mantener un determinado tipo de aprendizaje. Pero los expertos que investigan este tema y que se han pronunciado en los distintos debates organizados (sobre todo por el comité de investigación de ética de Allistene, CERNA) han insistido una y otra vez en que tales afirmaciones son erróneas. Según las investigaciones actuales, el “output” producido por los algoritmos de aprendizaje automático más recientes no es explicable, siendo la IA explicable un concepto sobre el que se está investigando. También señalan que es muy difícil auditar un sistema de aprendizaje automático en la práctica. |