La résilience aux attaques devrait être un objectif de tous les systèmes TIC, y compris les systèmes d’IA. Lors du traitement des données à caractère personnel, l’article 32 du RGPD exige explicitement la mise en œuvre de mesures techniques et organisationnelles appropriées pour assurer la sécurité des données (voir “Mesures en faveur de la confidentialité” dans la sous-section “Intégrité et confidentialité” des “Principes” de la partie II.
Les mesures de sécurité requises dépendent de l’impact probable d’un dysfonctionnement du système d’IA. Ces mesures doivent également inclure les dispositions prises pour assurer la résilience des systèmes de traitement.[1] Pour certains types de systèmes d’IA, le processus de prise de décision peut être particulièrement vulnérable aux attaques. Par exemple, un acteur malveillant peut créer une entrée trompeuse pour exploiter les différences fondamentales de perception entre les humains et les systèmes d’IA, comme le montre l’exemple de l’encadré 2.
| Encadré 2. Exemple du besoin de sécurité dans les systèmes d’IA
Un véhicule autonome doit reconnaître automatiquement les panneaux de signalisation des rues, en utilisant des caméras embarquées et en ajustant sa vitesse en conséquence. Bien que les algorithmes d’IA basés sur les réseaux neuronaux profonds puissent exceller dans cette tâche, il faut veiller à protéger le système contre les attaques ciblées d’un adversaire malveillant. Par exemple, de petites modifications ciblées des panneaux de signalisation pourraient amener le système d’IA à confondre un panneau d’arrêt avec un panneau de limitation de vitesse, ce qui entraînerait des situations potentiellement dangereuses. Dans le même temps, la modification peut apparaître comme un simple graffiti pour l’observateur humain courant. Il est donc de la plus haute importance de protéger un système d’IA utilisé à cette fin contre de telles attaques, augmentant ainsi sa résilience.[2] |
Les modèles d’IA entraînés peuvent également constituer une source de données précieuse. Dans certaines circonstances, il peut être possible d’obtenir des informations sur les données d’entrée originales en utilisant uniquement le modèle formé.[3] Une telle “fuite d’informations” pourrait être exploitée par des acteurs internes et externes. Il est donc important que les responsables du traitement prennent des mesures pour limiter l’accès au modèle et aux données de formation sous-jacentes, et ce pour toutes les catégories d’acteurs (voir “Mesures en faveur de la confidentialité” dans la sous-section “Intégrité et confidentialité” des “Principes” de la partie II des présentes lignes directrices).
Une fois formé, le système d’IA résultant peut être utilisé à des fins très différentes de celles prévues à l’origine. Par exemple, un système d’IA à reconnaissance faciale peut être utilisé pour reconnaître et regrouper des photos contenant une personne spécifique dans un album photo en ligne. Le même système d’IA pourrait également être utilisé pour rechercher sur internet des photos d’une personne spécifique, en révélant potentiellement des détails personnels sensibles (c’est-à-dire en utilisant l’emplacement de la photo ou le contexte de capture). Ce type d’utilisation polyvalente est souvent possible avec les systèmes d’IA, et il incombe au concepteur du système de prévoir un éventuel traitement illégal des données à caractère personnel et de mettre en œuvre des mesures de sécurité qui l’empêcheraient ou le minimiseraient. Il peut s’agir de mesures telles que la restriction des sources de données utilisables ou l’interdiction de certains modes d’utilisation par le biais de conditions de licence. Le cadre juridique de la protection des données peut compléter ces restrictions, mais ne les remplace en aucun cas.
- Article 32(1)(b) du RGPD. ↑
- Eykholt, K. et al. (2018) ‘Robust physical-world attacks on deep learning models’, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition 10.4.2018, arXiv:1707.08945. ↑
- Fredrikson, M. et al. (2015) ‘Model inversion attacks that exploit confidence information and basic countermeasures’, CCS ’15 : Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, October 2015. Université Cornell, Ithaca. Disponible à l’adresse : https://rist.tech.cornell.edu/papers/mi-ccs.pdf (consulté le 20 mai 2020). ↑