Résilience aux attaques et sécurité

☐ Le responsable du traitement a évalué les formes potentielles d’attaques auxquelles le système d’IA pourrait être vulnérable.

☐ Le responsable du traitement a examiné différents types et natures de vulnérabilités, comme la pollution des données, les infrastructures physiques et les cyberattaques.

☐ Le responsable du traitement a mis en place des mesures ou des systèmes pour garantir l’intégrité et la résilience du système d’IA contre les attaques potentielles.

☐ Le responsable du traitement a vérifié comment le système se comporte dans des situations et des environnements inattendus.

☐ Le responsable du traitement a examiné dans quelle mesure le système pouvait être à double usage. Dans l’affirmative, le responsable du traitement a pris des mesures préventives appropriées à cet égard (par exemple, ne pas publier la recherche ou déployer le système).

Plan de repli et sécurité générale

☐ Le responsable du traitement s’est assuré que le système dispose d’un plan de repli suffisant s’il est confronté à des attaques adverses ou à d’autres situations inattendues (par exemple, procédures de commutation technique ou demande d’un opérateur humain avant de poursuivre).

☐ Le responsable du traitement a examiné le niveau de risque soulevé par le système d’IA dans ce cas d’utilisation spécifique.

☐ Le responsable du traitement a mis en place tout processus pour mesurer et évaluer les risques et la sécurité.

☐ Le responsable du traitement a fourni les informations nécessaires en cas de risque pour l’intégrité physique humaine.

☐ Le responsable du traitement a envisagé une police d’assurance pour faire face aux dommages potentiels du système d’IA.

☐ Le responsable du traitementa identifié les risques potentiels pour la sécurité des (autres) utilisations prévisibles de la technologie, y compris les utilisations accidentelles ou malveillantes. Existe-t-il un plan pour atténuer ou gérer ces risques ?

☐ Le responsable du traitement a évalué s’il existe une chance probable que le système d’IA puisse causer des dommages ou des préjudices aux utilisateurs ou à des tiers. Le responsable du traitement a évalué la probabilité, les dommages potentiels, le public impacté et la gravité.

☐ Le responsable du traitement a examiné les règles de responsabilité et de protection des consommateurs, et en tient compte.

☐ Le responsable du traitementa considéré l’impact potentiel ou le risque de sécurité pour l’environnement ou les animaux.

☐ L’analyse des risques du responsable du traitement comprenait la question de savoir si des problèmes de sécurité ou de réseau (par exemple, des risques de cybersécurité) pouvaient poser des risques de sécurité ou des dommages dus à un comportement non intentionnel du système d’IA.

☐ Le responsable du traitementa estimé l’impact probable d’une défaillance du système d’IA lorsqu’il fournit des résultats erronés, devient indisponible ou fournit des résultats socialement inacceptables (par exemple, la discrimination).

☐ Le responsable du traitementa défini des seuils et mis en place des procédures de gouvernance pour déclencher des plans alternatifs/de repli.

☐ Le responsable du traitementa défini et testé des plans de repli.

Précision

☐ Le responsable du traitementa évalué le niveau et la définition de la précision qui seraient nécessaires dans le contexte du système d’IA et du cas d’utilisation.

☐ Le responsable du traitementa évalué comment la précision est mesurée et assurée.

☐ Le responsable du traitement a mis en place des mesures pour s’assurer que les données utilisées sont complètes et à jour.

☐ Le responsable du traitement a mis en place des mesures pour évaluer s’il est nécessaire de disposer de données supplémentaires, par exemple pour améliorer l’exactitude ou éliminer les biais.

☐ Le responsable du traitementa vérifié quel dommage serait causé si le système d’IA fait des prédictions inexactes.

☐ Le responsable du traitementa mis en place des moyens pour mesurer si le système fait une quantité inacceptable de prédictions inexactes.

☐ Le responsable du traitementa mis en place une série d’étapes pour augmenter la précision du système.

Fiabilité et reproductibilité

☐ Le responsable du traitementa mis en place une stratégie pour surveiller et tester si le système d’IA atteint ses objectifs, ses buts et les applications prévues.

☐ Le responsable du traitementa testé si des contextes spécifiques ou des conditions particulières doivent être pris en compte pour assurer la reproductibilité.

☐ Le responsable du traitementa mis en place des méthodes de vérification pour mesurer et garantir différents aspects de la fiabilité et de la reproductibilité du système.

☐ Le responsable du traitementa mis en place des processus pour décrire quand un système d’IA échoue dans certains contextes.

☐ Le responsable du traitementa clairement documenté et opérationnalisé ces processus pour le test et la vérification de la fiabilité des systèmes d’IA.

☐ Le responsable du traitementa établi des mécanismes de communication pour assurer les utilisateurs (finaux) de la fiabilité du système.

Eykholt, K. et al. (2018) ” Robust physical-world attacks on deep learning models “, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition 10.4.2018, arXiv:1707.08945.

Fredrikson, M. et al. (2015) ‘Model inversion attacks that exploit confidence information and basic countermeasures’, CCS ’15 : Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, October 2015. Université Cornell, Ithaca. Disponible à l’adresse : https://rist.tech.cornell.edu/papers/mi-ccs.pdf