Widerstandsfähigkeit gegen Angriffe und Sicherheitsverletzungen

☐ Der Verantwortliche hat potenzielle Angriffsformen bewertet, für die das KI-System anfällig sein könnte.

☐ Der Verantwortliche hat verschiedene Arten und Formen von Schwachstellen wie Datenverunreinigung, physische Infrastruktur und Cyberangriffe berücksichtigt.

☐ Der Verantwortliche hat Maßnahmen oder Systeme eingeführt, um die Integrität und Belastbarkeit des KI-Systems gegen mögliche Angriffe zu gewährleisten.

☐ Der Verantwortliche hat überprüft, wie sich das System in unerwarteten Situationen und Umgebungen verhält.

☐ Der Verantwortliche hat geprüft, inwieweit das System einen doppelten Verwendungszweck haben könnte. In diesem Fall ergreift der Verantwortliche geeignete vorbeugende Maßnahmen für diesen Fall (z. B. Verzicht auf die Veröffentlichung der Forschung oder Verzicht auf den Einsatz des Systems).

Auffangplan und allgemeine Sicherheit

☐ Der Verantwortliche hat sichergestellt, dass das System im Falle feindlicher Angriffe oder anderer unerwarteter Situationen über einen ausreichenden Auffangplan verfügt (z. B. technische Umschaltverfahren oder das Heranziehen eines menschlichen Bedieners, bevor die Arbeit fortgesetzt wird).

☐ Der Verantwortliche hat das vom KI-System verursachte Risiko in diesem speziellen Anwendungsfall berücksichtigt.

☐ Der Verantwortliche hat ein Verfahren zur Messung und Bewertung von Risiken und Sicherheit eingeführt.

☐ Der Verantwortliche hat die notwendigen Informationen für den Fall der Bedrohung der körperlichen Unversehrtheit von Menschen bereitgestellt.

☐ Der Verantwortliche hat eine Versicherung in Betracht gezogen, die mögliche, vom KI-System verursachte Schäden deckt.

☐ Der Verantwortliche hat die potenziellen Sicherheitsrisiken infolge der vorhersehbaren (und anderer) Anwendungen der Technologie, einschließlich eines versehentlichen oder böswilligen Missbrauchs, ermittelt. Gibt es einen Plan zur Begrenzung oder Minderung dieser Gefahren?

☐ Der Verantwortliche hat beurteilt, ob die Möglichkeit besteht, dass das KI-System den Anwendern oder Dritten Schaden zufügt. Der Verantwortliche hat die Wahrscheinlichkeit, den potenziellen Schaden, den betroffenen Personenkreis und die Schwere des Schadens eingeschätzt.

☐ Der Verantwortliche hat die Haftungs- und Verbraucherschutzbestimmungen berücksichtigt.

☐ Der Verantwortliche hat die möglichen Auswirkungen oder Sicherheitsrisiken für Umwelt oder Tiere in Betracht gezogen.

☐ Der Verantwortliche hat bei der Risikoanalyse berücksichtigt, ob Sicherheits- oder Netzwerkprobleme (z. B. Bedrohungen der Cybersicherheit) ein Sicherheitsrisiko oder Schäden durch ein unbeabsichtigtes Verhalten des KI-Systems Schäden verursachen könnten.

☐ Der Verantwortliche hat die möglichen Auswirkungen eines Ausfalls des KI-Systems eingeschätzt und ob dieser zu falschen Ergebnissen, zur Nichtverfügbarkeit des Systems oder zu gesellschaftlich inakzeptablen Ergebnissen (z. B. diskriminierende Praktiken) führen könnte.

☐ Der Verantwortliche hat Schwellenwerte sowie Maßnahmen zur Lenkung und Kontrolle festgelegt, damit alternative oder Auffangpläne aktiviert werden.

☐ Der Verantwortliche hat Auffangpläne festgelegt und erprobt.

Präzision

☐ Der Verantwortliche hat beurteilt, welcher Grad an Präzision und welche Definition von Genauigkeit im Zusammenhang mit dem KI-System und dem jeweiligen Anwendungsfall erforderlich sind.

☐ Der Verantwortliche hat beurteilt, wie die Präzision gemessen und gewährleistet wird.

☐ Der Verantwortliche hat Maßnahmen ergriffen, um sicherzustellen, dass die verwendeten Daten umfassend und aktuell sind.

☐ Der Verantwortliche hat Maßnahmen ergriffen, um zu beurteilen, ob zusätzliche Daten erforderlich sind, z. B. um die Präzision zu verbessern oder Verzerrungen zu vermeiden.

☐ Der Verantwortliche hat den Schaden bewertet, der entstehen würde, wenn das KI-System ungenaue Vorhersagen machen würde.

☐ Der Verantwortliche hat Methoden eingeführt, um zu messen, ob das System eine inakzeptable Anzahl nicht präziser Vorhersagen ausgibt.

☐ Der Verantwortliche hat eine Reihe von Maßnahmen ergriffen, um die Präsizion des Systems zu erhöhen.

Zuverlässigkeit und Reproduzierbarkeit

☐ Der Verantwortliche hat eine Strategie zur Überwachung und Erprobung eingeführt, ob das KI-System die Ziele, Zwecke und vorgesehenen Anwendungen erfüllt.

☐ Der Verantwortliche hat getestet, ob bestimmte Kontexte oder Bedingungen berücksichtigt werden müssen, damit die Wiederholbarkeit gewährleistet ist.

☐ Der Verantwortliche hat Prüfverfahren oder -methoden zur Messung und Sicherstellung verschiedener Aspekte der Zuverlässigkeit und Wiederholbarkeit eingeführt.

☐ Der Verantwortliche hat Verfahren eingeführt, die beschreiben, wann ein KI-System bei bestimmten Einstellungen ausfällt.

☐ Der Verantwortliche hat diese Prozesse zur Erprobung und Prüfung der Zuverlässigkeit von KI-Systemen eindeutig dokumentiert und operativ umgesetzt.

☐ Der Verantwortliche hat ein Kommunikationssystem eingerichtet, mit dem er den (End-)Nutzern die Zuverlässigkeit des KI-Systems garantieren kann.

K. Eykholt et al. (2018), Robust physical-world attacks on deep learning models, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition10.4.2018, arXiv:1707.08945

M. Fredrikson et al. (2015), Model inversion attacks that exploit confidence information and basic countermeasure’, CCS ’15: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, Oktober 2015. Cornell University, Ithaca. Verfügbar unter: https://rist.tech.cornell.edu/papers/mi-ccs.pdf