Les biaiscréent des préjudices et des discriminations à l’encontre de certains groupes ou de certaines personnes. Le préjudice peut également résulter de l’exploitation intentionnelle des biais(des consommateurs) ou de la pratique d’une concurrence déloyale, telle que l’homogénéisation des prix par le biais de la collusion ou d’un marché non transparent. Les systèmes IdO pourraient contribuer à exacerber cette terrible situation de deux façons : par l’incorporation d’outils d’IA biaisés dans le système IdO ou par la constitution d’ensembles de données biaisés grâce à une collecte inadéquate des données produites par les personnes concernées. Si l’utilisation de ces données alimente le profilage ou la prise de décision automatisée, cela pourrait avoir des conséquences sociales inacceptables.
Ainsi, les développeurs IdOdevraient intégrer certaines actions afin d’éviter les biaisinjustes provoqués par l’utilisation de l’IA. D’une part, ils ne devraient intégrer à leur outil que des dispositifs ou des outils d’IA qui peuvent démontrer une absence de biais. Des outils tels que l’audit algorithmique éthique devraient être mis en œuvre pour signaler les discriminations. Des dispositifs d’audit interne devraient être envisagés pour se prémunir contre la discrimination des groupes protégés, mais aussi pour protéger les victimes de discriminations non anticipées.[1] D’autre part, le système IdOdoit être conçu de manière à ce que la prise de décision automatisée sur la base des données recueillies soit en mesure d’éviter les biais. Cela pourrait se faire en utilisant les outils généralement utilisés dans l’IA à cette fin (voir la section “Loyauté” dans la partie IV sur l’IA des présentes lignes directrices).
Il est important de mentionner que l’IdO peut également être à l’origine de biais importants dus aux inexactitudes provoquées par le mode de fonctionnement de ces systèmes. Par exemple, les personnes concernées pourraient fournir des données incorrectes ou ne pas comprendre pleinement les conséquences si leur comportement est constamment surveillé. Cela peut entraîner une violation du principe de précision lorsque la situation aurait pu être évitée ou résolue par le responsable du traitement si elle avait été prise en compte. De même, le traitement des données peut également entraîner des biais inattendus car les relations potentielles entre les catégories de données, révélées uniquement par l’agrégation et la mise en relation d’ensembles de données disparates, peuvent ne pas être connues au moment de la collecte des données. Il se peut que, si les systèmes utilisent ces données pour établir des profils, des inexactitudes puissent entraîner des recommandations biaisées, par exemple. Afin d’éviter un tel scénario, une évaluation critique de la provenance des données est nécessaire. À cette fin, des mesures organisationnelles doivent être mises en œuvre pour garantir la précision et la fiabilité des données collectées, tout en respectant le droit des utilisateurs de ne pas divulguer des informations privées (par exemple, en confirmant la précision d’un registre).
- Wachter, Sandra, Défis normatifs de l’identification dans l’Internet des objets : Privacy, profiling, discrimination, et le RGPD, Computer Law & Security Review, Volume 34, Issue 3, 2018, pages 436-449. ↑