Los prejuicios crean prejuicios y discriminación contra determinados grupos o personas. El daño también puede derivarse de la explotación intencionada de los sesgos (de los consumidores), o de la realización de una competencia desleal, como la homogeneización de los precios mediante la colusión o un mercado no transparente. Los sistemas de IdCpodrían contribuir a agravar esta terrible situación de dos maneras diferentes: mediante la incorporación de herramientas de IA en el sistema de IdCque estén sesgadas; o mediante la creación de conjuntos de datos sesgados a través de una recopilación inadecuada de los datos producidos por los sujetos de los datos. Si el uso de estos datos alimenta la elaboración de perfiles o la toma de decisiones automatizada, esto podría traer consecuencias sociales inaceptables.
Así, hay algunas acciones que los desarrolladores de IdC deberían incorporar para evitar los sesgos injustos provocados por el uso de la IA. Por un lado, sólo deberían incorporar a su herramienta dispositivos o herramientas de IA que puedan demostrar la ausencia de sesgos. Deberían implementarse herramientas como la auditoría algorítmica ética para señalar la discriminación. Deberían considerarse sistemas de auditoría interna para evitar la discriminación de los grupos protegidos, pero también para proteger a las víctimas de la discriminación no prevista.[1] Por otra parte, el sistema de IdCdebería diseñarse de manera que la toma de decisiones automatizada basada en los datos recogidos sea capaz de evitar los sesgos. Esto podría hacerse utilizando las herramientas que se utilizan generalmente en la IA para este fin (véase la sección “Equidad” en la Parte IV sobre la IA de estas Directrices).
Es importante mencionar que IdCtambién podría causar graves sesgos debido a las imprecisiones provocadas por la forma en que funcionan estos sistemas. Por ejemplo, los sujetos de los datos podrían proporcionar datos incorrectos o podrían no comprender plenamente las consecuencias si su comportamiento se supervisa constantemente. Esto puede provocar una infracción del principio de exactitud cuando la situación podría haber sido evitada o resuelta por el responsable del tratamiento si se hubiera tenido en cuenta. Del mismo modo, el tratamiento de los datos también puede dar lugar a sesgos inesperados, ya que las posibles relaciones entre las categorías de datos, que sólo se revelan mediante la agregación y la vinculación de conjuntos de datos dispares, pueden no conocerse en el momento de la recogida de datos. Si los sistemas utilizan estos datos para la elaboración de perfiles, las inexactitudes podrían dar lugar a recomendaciones sesgadas, por ejemplo. Para evitar esta situación, es necesario realizar una evaluación crítica de la procedencia de los datos. Para ello, deben aplicarse medidas organizativas que garanticen la exactitud y la fiabilidad de los datos recogidos, sin dejar de respetar el derecho de los usuarios a no revelar información privada (por ejemplo, confirmando si un registro es exacto).
- Wachter, Sandra, Retos normativos de la identificación en el Internet de las cosas: Privacidad, elaboración de perfiles, discriminación y el RGPD, Computer Law & Security Review, Volumen 34, Número 3, 2018, páginas 436-449. ↑