Los sesgos son uno de los principales problemas que plantea el uso de los dispositivos y sistemas basados en las TIC, un problema que contraviene el principio de lealtad. En el caso de los dispositivos basados en datos de localización y/o proximidad, los sesgos pueden derivarse de al menos dos situaciones diferentes:
- Sesgos creados por un sistema de IA que interactúa con los dispositivos o sistemas de localización. A veces, los dispositivos o sistemas de localización incorporan o interactúan con herramientas de IA (véase la parte de estas Directrices dedicada a la IA). Si este es el caso, los desarrolladores deben prestar especial atención para asegurarse de que no introducen sesgos en el funcionamiento del dispositivo o sistema de localización. Para ello, deben adoptar una serie de medidas, como se describe en la parte de estas Directrices dedicada a los sistemas de IA
- Sesgos creados por los datos recogidos. Este tipo de sesgo es especialmente probable si la herramienta de las TIC está destinada a proporcionar información basada en datos recogidos de toda una población. Hay que tener en cuenta que, dependiendo del origen de los datos agregados, es muy probable que su grado de representación social sea inexacto. De hecho, como ha demostrado la investigación sobre los medios de comunicación locativos, el contexto y la marginación son importantes con los datos de localización. Esto puede crear problemas de desigualdad, ya que algunas clases sociales (especialmente las que no utilizan los dispositivos o carecen de las capacidades específicas que permiten obtener los datos) están infrarrepresentadas en el análisis y la posterior toma de decisiones. Esto podría dejar fuera a poblaciones enteras, y representar erróneamente a otras, y llevar a un despliegue de recursos no sólo sesgado e injusto -inclinado hacia los barrios más ricos, por ejemplo- sino ineficaz desde el punto de vista de las políticas públicas. Por supuesto, la tergiversación también puede introducir sesgos en el orden público y en las intervenciones policiales, produciendo resultados perjudiciales para las comunidades de bajos ingresos, por ejemplo. Los desarrolladores de dispositivos o sistemas de localización deben esforzarse por evitar este tipo de sesgo, ya sea proporcionando dispositivos a quienes de otro modo quedarían marginados o integrando información complementaria que corrija el error. Si es imposible evitarlo, deberían dejar constancia de la existencia del sesgo, para que quienes tengan que tomar decisiones gracias al mecanismo desarrollado sean conscientes de ello.
| Lista de control: Abordar los sesgos[1]
El responsable del tratamiento ha establecido medidas para medir si la herramienta realiza un número inaceptable de predicciones sesgadas. El responsable ha establecido una serie de medidas para aumentar la precisión de la herramienta. El responsable ha puesto en marcha medidas para evaluar si se necesitan datos adicionales, por ejemplo, para eliminar los sesgos. El responsable ha verificado el daño que se produciría si la herramienta realizara predicciones sesgadas. |
- Esta lista ha sido adaptada de la propuesta por el Grupo de Expertos de Alto Nivel sobre IA (2019) Directrices Éticas para una IA Fiable. Comisión Europea, Bruselas, p.17. Disponible en: https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1 (visitado el 20 de mayo de 2020). ↑