El caso Beauty.AI

Lanzada en 2016, la herramienta Beauty.AI se creó para seleccionar a “la primera reina o rey de la belleza juzgada por robots”, utilizando algoritmos de reconocimiento facial y de edad. Siete mil personas enviaron sus fotos a través de una app, pero la mayoría de las 44 ganadoras eran blancas; solo un puñado eran asiáticas, y solo una tenía la piel oscura. Y ello a pesar de que, aunque la mayoría de los concursantes eran blancos, muchas personas de color enviaron fotos, incluidos grandes grupos de África e India. Esto se consideró inmediatamente un resultado racista, debido a una mala selección del conjunto de datos de entrenamiento. El principal problema era que los datos que el proyecto utilizaba para establecer estándares de belleza estaban compuestos principalmente por personas blancas. Aunque los desarrolladores no construyeron el algoritmo para tratar la piel clara como signo de belleza, los datos de entrada llevaron efectivamente a los jueces robot a llegar a esa conclusión.^[2]

La herramienta de reclutamiento de Amazon

En diciembre de 2018, Amazon desechó su herramienta de reclutamiento de IA cuando la compañía descubrió que el sistema de IA mostraba sesgos contra las mujeres. Amazon había estado construyendo programas informáticos desde 2014 para revisar los currículos de los solicitantes de empleo, con el objetivo de mecanizar la búsqueda de los mejores talentos. La herramienta utilizaba IA para puntuar a los candidatos de una a cinco estrellas. En 2015, sin embargo, Amazon descubrió que la herramienta no estaba puntuando a los candidatos para puestos de desarrollador de software y otros puestos técnicos de forma neutral en cuanto al género. Esto se debió a que los modelos informáticos de Amazon fueron entrenados para examinar a los solicitantes mediante la observación de patrones en los currículos enviados a la empresa durante un período de 10 años. La mayoría procedían de hombres, lo que refleja el predominio masculino en el sector tecnológico.^[3]

En el pasado, las solicitudes de préstamo de las mujeres se rechazaban con más frecuencia que las de los hombres, debido a los prejuicios. En este caso, es probable que cualquier modelo de IA entrenado con datos históricos reproduzca el mismo patrón de discriminación. Estos problemas pueden producirse incluso si los datos de entrenamiento no contienen ninguna característica protegida, como el sexo o la raza. Una serie de características de los datos de entrenamiento suelen estar estrechamente correlacionadas con las características protegidas (por ejemplo, ocupación, raza, etc.). Estas “variables proxy” permiten que el modelo reproduzca patrones de discriminación asociados a esas características, aunque sus diseñadores no lo pretendieran.

Estos problemas pueden darse en cualquier modelo estadístico. Sin embargo, es más probable que se produzcan en los sistemas de IA porque pueden incluir un mayor número de características y pueden identificar combinaciones complejas de características que son sustitutos de características protegidas. Muchos métodos modernos de aprendizaje automático son más potentes que los enfoques estadísticos tradicionales porque son mejores a la hora de descubrir patrones no lineales en datos de alta dimensión. Sin embargo, estos también incluyen patrones que reflejan discriminación.^[4]

El sistema sanitario estadounidense utiliza algoritmos comerciales para orientar las decisiones sanitarias. Obermeyer et al.^[5] hallaron indicios de sesgo racial en un algoritmo muy utilizado, lo que significaba que, entre los pacientes negros y blancos a los que el algoritmo asignaba el mismo nivel de riesgo, los negros estaban más enfermos que los blancos. Los autores calcularon que este sesgo racial redujo en más de la mitad el número de pacientes negros identificados para recibir cuidados adicionales. El sesgo se produjo porque el algoritmo utilizó los costes sanitarios como indicador de las necesidades sanitarias. Se gastó menos dinero en pacientes negros con el mismo nivel de necesidad que en pacientes blancos, por lo que el algoritmo concluyó falsamente que los pacientes negros estaban más sanos que los pacientes blancos igualmente enfermos. En realidad, el menor gasto se debía a una serie de factores con sesgo racial, como el diferente acceso al tratamiento, los niveles de confianza en el sistema, los desequilibrios causados por los prestadores de asistencia sanitaria, etc.