Description

“Avant de procéder au déploiement final du modèle construit par l’analyste de données, il est important de procéder à une évaluation plus approfondie du modèle et de revoir la construction du modèle pour s’assurer qu’il atteint correctement les objectifs de l’entreprise. Il est essentiel de déterminer si certaines questions importantes n’ont pas été suffisamment prises en compte. À la fin de cette phase, le chef de projet doit alors décider exactement comment utiliser les résultats de l’exploration de données. Les étapes clés ici sont l’évaluation des résultats, la révision du processus et la détermination des prochaines étapes.”^[1]

Cette phase comporte plusieurs tâches qui soulèvent d’importantes questions relatives à la protection des données. Globalement, vous devez :

• Évaluer les résultats du modèle, par exemple pour savoir s’il est précis ou non. À cette fin, le développeur d’IA peut le tester dans le monde réel.
• Révisez le processus. Vous devez examiner la mission d’exploration de données pour déterminer s’il y a un facteur ou une tâche importante qui a été en quelque sorte négligée. Cela inclut les questions d’assurance qualité.

Principales mesures à prendre

Processus de validation dynamique

La validation du traitement comprenant un composant d’IA doit être effectuée dans des conditions qui reflètent l’environnement réel dans lequel le traitement est destiné à être déployé. Ainsi, si vous savez à l’avance où l’outil d’IA sera utilisé, vous devez adapter le processus de validation à cet environnement. Par exemple, si l’outil sera déployé en Italie, vous devez le valider avec des données obtenues auprès de la population italienne ou, si ce n’est pas possible, auprès d’une population similaire. Dans le cas contraire, les résultats pourraient être totalement erronés. Dans tous les cas, vous devez informer tout utilisateur potentiel des conditions de la validation.

En outre, le processus de validation nécessite un examen périodique si les conditions changent ou si l’on soupçonne que la solution elle-même peut être altérée. Par exemple, si l’algorithme est alimenté par des données provenant de personnes âgées, vous devez évaluer si cela modifie ou non sa précision dans une population jeune. Vous devez vous assurer que la validation reflète fidèlement les conditions dans lesquelles l’algorithme a été validé.

Pour atteindre cet objectif, la validation doit inclure tous les composants d’un outil d’IA, y compris les données, les modèles pré-entraînés, les environnements et le comportement du système dans son ensemble. La validation doit également être effectuée le plus tôt possible. Dans l’ensemble, il faut s’assurer que les résultats ou les actions sont cohérents avec les résultats des processus précédents, en les comparant aux politiques préalablement définies pour s’assurer qu’elles ne sont pas violées.^[2] La validation nécessite parfois la collecte de nouvelles données à caractère personnel. Dans d’autres cas, les responsables du traitement utilisent les données à des fins autres que celles prévues à l’origine. Dans tous ces cas, les responsables du traitement doivent s’assurer du respect du RGPD (voir la section “Limitation de la finalité” dans la partie “Principes” et “Protection des données et recherche scientifique” dans la partie “Concepts principaux” de la partie II des présentes lignes directrices).

Suppression des jeux de données inutiles s

Très souvent, les processus de validation et de formation sont en quelque sorte liés. Si la validation recommande des améliorations du modèle, la formation doit être effectuée à nouveau. En principe, une fois le développement de l’IA achevé, l’étape de formation de l’outil d’IA est terminée. À ce moment-là, vous devriez mettre en œuvre la suppression de l’ensemble des données utilisées à cette fin, à moins qu’il n’existe un besoin légitime de les conserver pour affiner ou évaluer le système, ou pour d’autres finalités compatibles avec celles pour lesquelles elles ont été collectées conformément aux conditions de l’article 6, paragraphe 4, du RGPD. Cependant, vous devez toujours considérer que la suppression des données personnelles peut aller à l’encontre de la nécessité de mettre à jour la précision des outils basés sur l’auto-apprentissage en temps réel des algorithmes : si une erreur est trouvée, vous devrez probablement rappeler les données précédemment utilisées dans la phase de formation. Dans le cas où les personnes concernées demandent leur suppression, vous devrez adopter une approche au cas par cas en tenant compte des éventuelles limitations à ce droit prévues par le règlement (voir art. 17, paragraphe 3). ^[3]

Réalisation d’un audit externe du traitement des données

Étant donné que les risques du système que vous développez sont élevés, un audit du système par un tiers indépendant doit être envisagé. Différents audits peuvent être utilisés. Ils peuvent être internes ou externes, ils peuvent couvrir uniquement le produit final, ou être réalisés avec des prototypes moins évolués. Ils peuvent être considérés comme une forme de contrôle ou un outil de transparence.

En termes d’exactitude juridique, les outils d’IA doivent être vérifiés pour voir s’ils traitent les données personnelles conformément aux dispositions du RGPD, en tenant compte d’un large éventail de questions qui pourraient être liées à ce traitement. Le groupe d’experts de haut niveau sur l’IA a déclaré que “les processus de test devraient être conçus et réalisés par un groupe de personnes aussi diversifié que possible. Des mesures multiples devraient être développées pour couvrir les catégories qui sont testées pour différentes perspectives. On peut envisager des tests contradictoires réalisés par des “équipes rouges” fiables et diverses qui tentent délibérément de “casser” le système pour trouver des vulnérabilités, ainsi que des “primes aux bogues” qui incitent les personnes extérieures à détecter et à signaler de manière responsable les erreurs et les faiblesses du système.”^[4] Cependant, il existe de bonnes raisons d’être sceptique quant à la capacité d’un auditeur à vérifier le fonctionnement d’un système d’apprentissage automatique.

C’est pourquoi il est judicieux de se concentrer sur les éléments inclus par l’AEPD dans sa liste de contrôle recommandée : il serait plus simple de se concentrer sur les mesures mises en œuvre pour éviter le biais, l’obscurité, le profilage caché, etc., et sur l’utilisation adéquate d’outils tels que le AIPD, qui peut être effectué plusieurs fois, que d’essayer d’avoir une compréhension approfondie du fonctionnement d’un algorithme complexe. La mise en œuvre de politiques de protection des données adéquates dès les premières étapes du cycle de vie de l’outil est le meilleur moyen d’éviter les problèmes de protection des données.

Assurer la conformité avec le cadre juridique des dispositifs médicaux

Avant de déployer votre dispositif, vous devez vous assurer que vous avez bien suivi la réglementation concernant le développement des dispositifs médicaux. Veuillez vous assurer que c’est le cas. Une évaluation clinique et une évaluation des performances doivent également être développées. Le guide sur l’évaluation clinique (MDR) / l’évaluation des performances (IVDR) des logiciels de dispositifs médicaux (https://ec.europa.eu/docsroom/documents/40323 pourrait être un excellent outil à cet effet).

Informer les travailleurs de la santé qui participent au développement des problèmes possibles

Il est fréquent que les mécanismes d’IA soient validés en comparant leurs performances à celles d’éléments humains, en l’occurrence des professionnels de la santé. Cela peut conduire subrepticement à ce que leur participation induise une évaluation de leur propre capacité professionnelle. Si l’on compare le taux de réussite de certains professionnels avec d’autres, certains d’entre eux peuvent avoir l’impression d’être testés par inadvertance. Il est très important d’essayer d’éviter cet effet. S’il doit se produire, les participants doivent en être avertis et l’accepter.

 

 

1. Colin Shearer, Le modèle CRISP-DM : Le nouveau plan directeur pour l’extraction de données, p. 17 ↑
2. Groupe d’experts de haut niveau sur l’IA, Lignes directrices en matière d’éthique pour une IA digne de confiance, 2019, p. 22. À l’adresse : https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai v ↑
3. AEPD, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción, 2020, p.26. À l’adresse : https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf ↑
4. Groupe d’experts de haut niveau sur l’IA, Lignes directrices en matière d’éthique pour une IA digne de confiance, 2019, p. 22. À l’adresse : https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai Consulté le 15 mai 2020 ↑