Même si les mécanismes de lutte contre les biais sont convenablement adoptés lors des étapes précédentes (voir la section précédente sur la formation), il faut encore s’assurer que les résultats de la phase de formation minimisent les biais. Cela peut être difficile, car certains types de biais et de discrimination sont souvent particulièrement difficiles à détecter. Les membres de l’équipe qui conservent les données d’entrée n’en sont parfois pas conscients, et les utilisateurs qui sont leurs sujets n’en sont pas nécessairement conscients non plus. Ainsi, les systèmes de contrôle mis en place par le développeur d’IA lors de la phase de validation sont des facteurs extrêmement importants pour éviter les biais.

Il existe de nombreux outils techniques qui pourraient servir à détecter les biais, comme l’évaluation de l’impact algorithmique.^[1] Le développeur d’IA doit envisager leur mise en œuvre effective.^[2] Cependant, comme le montre la littérature^[3] , il peut arriver qu’un algorithme ne puisse pas être totalement purgé de tous les différents types de biais. Le développeur doit cependant essayer d’être au moins conscient de leur existence et des implications que cela peut avoir (voir les sections “Licéité, loyautéet transparence” et “Précision” dans la partie II des présentes lignes directrices, “Principes”).

 

 

1. Reisman, D., Crawford, K. et Whittaker, M. (2018) Algorithmic impact assessments : a practical framework for public agency accountability. AI Now Institute, New York, NY. Disponible à l’adresse : https://ainowinstitute.org/aiareport2018.pdf (consulté le 15 mai 2020). ↑
2. ICO (2020) AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow. Disponible sur : https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf (consulté le 15 mai 2020). ↑
3. Chouldechova, A. (2017) ” Fair prediction with disparate impact : a study of bias in recidivism prediction instruments “, Big Data 5(2) : 153-163, http://doi.org/10.1089/big.2016.0047. ↑