L’affaire Beauty.AI

Lancé en 2016, l’outil Beauty.AI a été créé pour sélectionner “la première reine ou roi de beauté jugé par des robots”, en utilisant des algorithmes de reconnaissance de l’âge et du visage. Sept mille personnes ont envoyé leurs photos par le biais d’une application, mais la plupart des 44 gagnants étaient blancs ; seule une poignée était asiatique, et un seul avait la peau foncée. Et ce, malgré le fait que, même si la majorité des participants étaient blancs, de nombreuses personnes de couleur ont envoyé des photos, y compris des groupes importants d’Afrique et d’Inde. Ce résultat a immédiatement été considéré comme raciste, en raison d’une mauvaise sélection de l’ensemble de données d’entraînement. Le principal problème était que les données utilisées par le projet pour établir les normes de beauté étaient principalement composées de personnes blanches. Bien que les développeurs n’aient pas conçu l’algorithme pour que la peau claire soit considérée comme un signe de beauté, les données d’entrée ont effectivement conduit les juges robots à parvenir à cette conclusion.^[2]

L’outil de recrutement d’Amazon

En décembre 2018, Amazon a mis au rebut son outil de recrutement d’IA lorsque l’entreprise a découvert que le système d’IA présentait des biaiscontre les femmes. Amazon construisait des programmes informatiques depuis 2014 pour examiner les CV des candidats à un emploi, dans le but de mécaniser la recherche des meilleurs talents. L’outil utilisait l’IA pour noter les candidats à l’emploi d’une à cinq étoiles. En 2015, cependant, Amazon a découvert que l’outil ne notait pas les candidats aux postes de développeurs de logiciels et à d’autres postes techniques de manière non sexiste. En effet, les modèles informatiques d’Amazon ont été formés pour évaluer les candidats en observant les modèles de CV soumis à l’entreprise sur une période de 10 ans. La plupart provenaient d’hommes, ce qui reflète la domination masculine dans le secteur de la technologie.^[3]

Dans le passé, les demandes de prêt des femmes étaient rejetées plus fréquemment que celles des hommes, en raison de biais. Dans ce cas, tout modèle d’IA formé sur des données historiques est susceptible de reproduire le même schéma de discrimination. Ces problèmes peuvent survenir même si les données de formation ne contiennent aucune caractéristique protégée, comme le sexe ou la race. Diverses caractéristiques des données d’apprentissage sont souvent étroitement corrélées aux caractéristiques protégées (par exemple, la profession, la race, etc.). Ces “variables de substitution” permettent au modèle de reproduire des schémas de discrimination associés à ces caractéristiques, même si ses concepteurs n’en avaient pas l’intention.

Ces problèmes peuvent se produire dans tout modèle statistique. Cependant, ils sont plus susceptibles de se produire dans les systèmes d’IA parce qu’ils peuvent inclure un plus grand nombre de caractéristiques, et peuvent identifier des combinaisons complexes de caractéristiques qui sont des substituts de caractéristiques protégées. De nombreuses méthodes modernes d’apprentissage automatique sont plus puissantes que les approches statistiques traditionnelles parce qu’elles sont plus aptes à découvrir des modèles non linéaires dans des données de grande dimension. Toutefois, celles-ci comprennent également des modèles qui reflètent la discrimination.^[4]

Le système de santé américain utilise des algorithmes commerciaux pour guider les décisions en matière de santé. Obermeyer et al.^[5] ont trouvé des preuves de biais racial dans un algorithme largement utilisé, ce qui signifie que, parmi les patients noirs et blancs auxquels l’algorithme a attribué le même niveau de risque, les patients noirs étaient plus malades que les blancs. Les auteurs ont estimé que ce biais racial réduisait de plus de la moitié le nombre de patients noirs identifiés pour des soins supplémentaires. Le biais s’est produit parce que l’algorithme a utilisé les coûts de santé comme un indicateur des besoins de santé. Moins d’argent a été dépensé pour les patients noirs ayant le même niveau de besoin que les patients blancs, et l’algorithme a donc faussement conclu que les patients noirs étaient en meilleure santé que les patients blancs tout aussi malades. En réalité, ces dépenses moindres étaient dues à un certain nombre de facteurs à caractère racial, tels qu’un accès différent aux traitements, des niveaux de confiance dans le système, des déséquilibres causés par les prestataires de soins, etc.