Die Widerstandsfähigkeit gegen Angriffe sollte ein Ziel aller IKT-Systeme sein, darunter auch von KI-Systemen. Bei der Verarbeitung personenbezogener Daten verlangt Artikel 32 DSGVO ausdrücklich die Umsetzung geeigneter technischer und organisatorischer Maßnahmen zur Gewährleistung der Datensicherheit (siehe Unterabschnitt „Maßnahmen zur Unterstützung der Vertraulichkeit“, Abschnitt „Integrität und Vertraulichkeit“, Kapitel „Grundsätze“).
Die erforderlichen Sicherheitsmaßnahmen hängen von den wahrscheinlichen Auswirkungen einer Fehlfunktion des KI-Systems ab. Diese Maßnahmen sollten auch Schritte umfassen, die die Belastbarkeit der Verarbeitungssysteme gewährleisten.[1] Bei bestimmten Arten von KI-Systemen kann der Entscheidungsprozess besonders anfällig gegenüber Angriffen sein. So könnte ein böswilliger Akteur beispielsweise eine irreführende Eingabe erstellen, um die grundlegenden Wahrnehmungsunterschiede zwischen Menschen und KI-Systemen auszunutzen, wie das Beispiel in Kasten 2 zeigt.
| Kasten 2. Beispiel für den Bedarf an Sicherheit in KI-Systemen
Ein autonomes Fahrzeug soll mithilfe von Bordkameras automatisch Straßenschilder erkennen und seine Geschwindigkeit entsprechend anpassen. KI-Algorithmen, die auf tiefen neuronalen Netzen basieren, können diese Aufgabe zwar hervorragend bewältigen, doch muss insbesondere darauf geachtet werden, dass das System vor gezielten Angriffen eines böswilligen Gegners geschützt wird. So könnten beispielsweise kleine, gezielte Änderungen an Straßenschildern dazu führen, dass das KI-System ein Stoppschild mit dem einer Geschwindigkeitsbegrenzung verwechselt, was zu potenziell gefährlichen Situationen führen kann. Einem zufälligen menschlichen Beobachter kann die Änderung dagegen als einfaches Graffiti erscheinen. Es ist daher extrem wichtig, ein zu diesem Zweck eingesetztes KI-System gegen solche Angriffe zu schützen und damit seine Belastbarkeit zu erhöhen.[2] |
Trainierte KI-Modelle können zudem eine wertvolle Datenquelle sein. Unter bestimmten Umständen kann es möglich sein, Einblicke in die ursprünglichen Eingabedaten zu gewinnen, indem nur das trainierte Modell verwendet wird.[3] Ein solches „Informationsleck” könnte sowohl von internen als auch von externen Akteuren ausgenutzt werden. Die Verantwortlichen müssen daher unbedingt Maßnahmen ergreifen, um den Zugang zum Modell und den zugrunde liegenden Trainingsdaten zu begrenzen, und zwar für alle Kategorien von Akteuren (siehe Unterabschnitt „Maßnahmen zur Unterstützung der Vertraulichkeit“, Abschnitt „Integrität und Vertraulichkeit“, Kapitel „Grundsätze“).
Einmal trainiert, kann das resultierende KI-System für ganz andere Zwecke als die ursprünglich vorgesehen verwendet werden. Ein KI-System zur Gesichtserkennung kann beispielsweise dazu verwendet werden, Fotos mit einer bestimmten Person in einem Online-Fotoalbum zu erkennen und zu gruppieren. Dasselbe KI-System könnte auch dazu dienen, das Internet nach Fotos einer bestimmten Person zu durchsuchen und dabei möglicherweise sensible personenbezogene Daten preiszugeben (z. B. anhand des Aufnahmeorts oder des Aufnahmekontexts). Diese Art von Mehrzwecknutzung ist bei KI-Systemen häufig möglich. Es ist somit Aufgabe des Systementwicklers, eine mögliche rechtswidrige Verarbeitung personenbezogener Daten vorherzusehen und Sicherheitsmaßnahmen zu ergreifen, die dies verhindern oder minimieren. Dies könnte durch Maßnahmen wie die Beschränkung der nutzbaren Datenquellen oder das Verbot bestimmter Nutzungsmuster durch Lizenzbedingungen geschehen. Der Datenschutz-Rechtsrahmen kann solche Beschränkungen ergänzen, jedoch keineswegs ersetzen.
- Artikel 32 Absatz 1 Buchstabe b DSGVO. ↑
- Eykholt, K. et al. (2018), Robust physical-world attacks on deep learning models, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition10.4.2018, arXiv:1707.08945. ↑
- Fredrikson, M. et al. (2015), Model inversion attacks that exploit confidence information and basic countermeasure’, CCS ’15: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, Oktober 2015. Cornell University, Ithaca. Verfügbar unter: https://rist.tech.cornell.edu/papers/mi-ccs.pdf (abgerufen am 20. Mai 2020). ↑