Existen diferentes estrategias que pueden ayudar a evitar los sesgos o a corregirlos. Mientras se crean las bases de datos que servirán para construir un modelo de IA, los controladores deben hacer todo lo posible por evitar datos desequilibrados o erróneos. Los sesgos identificables y discriminatorios deben eliminarse en la fase de creación del conjunto de datos siempre que sea posible. ^[1]

Si el origen del sesgo está relacionado con el conjunto de datos de entrenamiento, el controlador debe buscar una selección adecuada de los datos que se utilizarán en la fase de entrenamiento, para evitar que los resultados del modelo posterior sean incorrectos o discriminatorios.^[2] Un modelo de IA debe “entrenarse utilizando datos relevantes y correctos y debe aprender qué datos enfatizar. El modelo no debe hacer hincapié en la información relativa al origen racial o étnico, las opiniones políticas, la religión o las creencias, la afiliación sindical, el estado genético, el estado de salud o la orientación sexual si ello pudiera dar lugar a un trato discriminatorio arbitrario (el subrayado es nuestro)”. ^[3]

Además, debe incluirse a las personas con discapacidad a la hora de obtener datos para construir modelos, y en las pruebas, para crear un sistema más inclusivo y sólido. Si este proceso se realiza adecuadamente, el sesgo probablemente desaparecerá. Por ejemplo, en el estudio de caso del sesgo racial en los algoritmos sanitarios (véase el recuadro 11), fue posible reformular el algoritmo (en este caso, para que dejara de utilizar los costes como indicador de las necesidades) y eliminar el sesgo racial a la hora de predecir quién necesitaba cuidados adicionales. De hecho, al cambiar el indicador de salud, de los costes previstos al número de enfermedades crónicas, el porcentaje de pacientes negros que recibían mejor atención sanitaria aumentó del 17% al 46%. Se trata de un excelente ejemplo de aumento de la equidad mediante la reformulación de un algoritmo.

Sin embargo, los controladores deben tener siempre presente que lo que hace especialmente compleja la lucha contra los sesgos es que la selección de un conjunto de datos implica tomar decisiones y hacer elecciones que, en ocasiones, pueden hacerse casi inconscientemente. En cambio, codificar un algoritmo determinista tradicional es siempre una operación deliberada. De hecho, los humanos son siempre la inteligencia que hay detrás de un desarrollo, incluso cuando está integrado en algoritmos que creemos neutrales. Quien construye un conjunto de datos lo hace, en cierta medida, a su imagen y semejanza, para reflejar su propia visión del mundo, sus valores o, como mínimo, los valores más o menos inherentes a los datos recogidos en el pasado. ^[4]

Por ello, es importante que los equipos encargados de seleccionar los datos que se integrarán en un conjunto de datos estén formados por personas que reflejen la diversidad que se espera que muestre el desarrollo de la IA. En la actualidad, este es un reto importante. En términos de género, por ejemplo, las mujeres representan sólo el 15% del personal de investigación de IA en Facebook y el 10% en Google, y no hay datos públicos sobre trabajadores trans u otras minorías de género. En términos de raza, la brecha es aún más marcada: sólo el 2,5% de la plantilla de Google es negra, mientras que Facebook y Microsoft alcanzan el 4% cada una.^[5] Los controladores deben hacer todo lo posible para que sus equipos reflejen mejor la diversidad e implementar datos precisos que lo reflejen.

En resumen, los procesos de desarrollo de algoritmos deben incluir siempre una cuidadosa vigilancia de los posibles sesgos. Las revisiones internas y externas deben prestar especial atención a esta cuestión. Los conjuntos de datos construidos con fines de validación deben seleccionarse cuidadosamente para garantizar una incorporación adecuada de datos pertenecientes a sujetos de distintos sectores de la sociedad, en términos de edad, raza, sexo, discapacidad, etc. Afortunadamente, existen muchas herramientas técnicas dedicadas a erradicar los sesgos en los modelos de IA.^[6] La norma IEEE P7003TM para consideraciones de sesgo algorítmico es especialmente interesante en este momento. ^[7]

Sin embargo, ninguno de ellos ofrece una solución mágica, o “bala de plata”, aplicable a todos los tipos de algoritmos. En la mayoría de los casos, la solución adecuada dependerá de las múltiples variables que intervienen en el algoritmo. Los controladores deben tratar de erradicar los sesgos en la medida de lo posible y ser honestos sobre los resultados finales de sus esfuerzos. Si se descubren sesgos, la solución de IA debe entrenarse de nuevo. Si no se pueden eliminar los sesgos injustos del modelo, no se debe proceder a su despliegue.

Lista de control: sesgo ☐ El controlador ha establecido una estrategia o un conjunto de procedimientos para evitar crear o reforzar sesgos injustos en el sistema de IA, tanto en lo que respecta al uso de los datos de entrada como para el diseño del algoritmo. ☐ El controlador evalúa y reconoce las posibles limitaciones derivadas de la composición de los conjuntos de datos utilizados. ☐ El controlador ha tenido en cuenta la diversidad y representatividad de los datos utilizados. ☐ El controlador ha realizado pruebas para poblaciones específicas o casos de uso problemáticos. ☐ Los controladores utilizaron las herramientas técnicas disponibles para mejorar su comprensión de los datos, el modelo y el rendimiento. ☐ El controlador ha puesto en marcha procesos para probar y vigilar posibles sesgos durante las fases de desarrollo, despliegue y uso del sistema de IA. ☐ El controlador ha puesto en marcha un mecanismo que permite a otros señalar problemas relacionados con la parcialidad, la discriminación o el mal funcionamiento del sistema de IA. ☐ El responsable del tratamiento ha establecido pasos y formas de comunicación claros sobre cómo y a quién pueden plantearse estas cuestiones. ☐ El controlador ha tenido en cuenta a otras personas, potencialmente afectadas indirectamente por el sistema de IA, además de los usuarios (finales). ☐ El controlador ha evaluado si existe alguna posible variabilidad de decisión que pueda producirse en las mismas condiciones. ☐ En caso de variabilidad, el responsable del tratamiento ha establecido un mecanismo de medición o evaluación del impacto potencial de dicha variabilidad sobre los derechos fundamentales. ☐ El controlador ha implementado un análisis cuantitativo o métricas para medir y probar la definición de equidad aplicada. ☐ El controlador ha establecido mecanismos para garantizar la equidad en los sistemas de IA y ha estudiado otros posibles mecanismos.

Información complementaria CNIL (2017) ¿Cómo pueden los humanos mantener la ventaja? Las cuestiones éticas planteadas por los algoritmos y la inteligencia artificial. Comisión Nacional de Informática y Libertades, París. Disponible en: www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf EDPB (2019) Guidelines 4/2019 on Article 25 Data Protection by Design and by Default (versión para consulta pública). Consejo Europeo de Protección de Datos, Bruselas. Disponible en: https://edpb.europa.eu/our-work-tools/public-consultations-art-704/2019/guidelines-42019-article-25-data-protection-design_es ICO (2020) AI auditing framework: draft guidance for consultation. Oficina del Comisario de Información, Wilmslow. Disponible en: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf Mittelstadt, B. y Floridi, L. (2016) “La ética de los grandes datos: cuestiones actuales y previsibles en el contexto biomédico”, Science and Engineering Ethics 22(2): 303-341. Autoridad Noruega de Protección de Datos (2018) Inteligencia artificial y privacidad. Autoridad noruega de protección de datos, Oslo. Disponible en: https://iapp.org/media/pdf/resource_center/ai-and-privacy.pdf West, S.M., Whittaker, M. y Crawford, K. (2019) Sistemas discriminatorios: género, raza y poder en la IA. AI Now Institute, Nueva York, p.3. Disponible en: https://ainowinstitute.org/discriminatingsystems.html

 

1. Considerando 71 del RGPD. ↑
2. Para una definición de discriminación directa e indirecta, véase, por ejemplo, el artículo 2 de la Directiva 2000/78/CE del Consejo, de 27 de noviembre de 2000, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación. Véase también el artículo 21 de la Carta de los Derechos Fundamentales de la UE. ↑
3. Autoridad Noruega de Protección de Datos (2018) Inteligencia artificial y privacidad. Autoridad Noruega de Protección de Datos, Oslo, p.16. Disponible en: https://iapp.org/media/pdf/resource_center/ai-and-privacy.pdf (consultado el 15 de mayo de 2020). ↑
4. CNIL (2017) ¿Cómo pueden los humanos mantener la ventaja? Las cuestiones éticas planteadas por los algoritmos y la inteligencia artificial. Commission Nationale de l’Informatique et des Libertés, París, p.34. Disponible en: www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf (consultado el 15 de mayo de 2020). ↑
5. West, S.M., Whittaker, M. y Crawford, K. (2019) Sistemas discriminatorios: género, raza y poder en la IA. AI Now Institute, Nueva York, p.3. Disponible en: https://ainowinstitute.org/discriminatingsystems.html (consultado el 15 de mayo de 2020). ↑
6. ICO (2020) AI auditing framework: draft guidance for consultation. Oficina del Comisario de Información, Wilmslow, p.55-56. Disponible en: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consultado el 15 de mayo de 2020). ↑
7. Véase: https://ethicsinaction.ieee.org/ (consultado el 17 de mayo de 2020). ↑