„Irren ist menschlich, aber um wirklich etwas zu vermasseln, braucht man einen Computer.“

– Paul Ehrlich / Bill Vaughan^[1]

Wie alle IKT-Systeme können auch KI-Systeme versagen und falsche Ergebnisse oder Vorhersagen liefern. Im Falle von KI-Systemen kann es jedoch besonders schwierig sein zu erklären, warum eine bestimmte (falsche) Schlussfolgerung auf greifbare, menschliche Art und Weise erreicht wurde. Ein Beispiel für ein unerwünschtes Verhalten wäre ein KI-System, das Entscheidungen trifft, die eine Person erheblich beeinträchtigen (z. B. die automatische Ablehnung eines Kreditantrags). Die DSGVO verlangt von den Verantwortlichen die Umsetzung geeigneter Auffangpläne, um die betroffenen Personen vor solchen Situationen zu schützen, einschließlich des Rechts, eine KI-Entscheidung anzufechten und ein menschliches Eingreifen zu erwirken, das die Sichtweise der betroffenen Personen berücksichtigt.^[2] Solche Garantien sollten bei der Systemgestaltung berücksichtigt werden. Selbst in Fällen, in denen die DSGVO einen solchen Auffangplan nicht ausdrücklich vorschreibt, sollten die Verantwortlichen die Einführung eines solchen Plans in Betracht ziehen.

Die Verantwortlichen sollten sich auch der Sicherheitsaspekte bewusst sein. Neue Technologien führen oft zu neuen Risiken. In diesem Zusammenhang sollte nie vergessen werden, dass der Schutz personenbezogener Daten von IT-Sicherheitsmaßnahmen abhängt und daher die Risiken im Zusammenhang mit personenbezogenen Daten auch die Risiken im Zusammenhang mit der IT sind. Folglich werden geeignete technische und organisatorische Maßnahmen, die in der IT implementiert werden, den Datenschutz gemäß der DSGVO gewährleisten. Diese sollten zudem regelmäßig getestet und aktualisiert werden, um Sicherheitsrisiken zu verhindern oder zu minimieren. (siehe Unterabschnitt „Hauptunterschied zu anderen Risiken in der DSGVO und zu Risiken in der IT-Sicherheit“, Abschnitt „Integrität und Vertraulichkeit“, Kapitel „Grundsätze“).

Um diese Risiken zu bewerten und geeignete Garantien abzuleiten, schreibt die DSGVO vor, dass vor der Verarbeitung eine Datenschutz-Folgenabschätzung durchgeführt werden muss, wenn ein hohes Risiko für die Rechte und Freiheiten einer natürlichen Person besteht^[3] (siehe Abschnitt „Datenschutz-Folgenabschätzung“, Kapitel „Maßnahmen und Tools“). Der Einsatz neuer Technologien wie KI erhöht die Wahrscheinlichkeit, dass die Verarbeitung in die Hochrisikokategorie fällt. Einige nationale Datenschutzbehörden haben Richtlinien erlassen, die bei der Verwendung bestimmter KI-Algorithmen eine DSFA vorschreiben.^[4] Im Zweifelsfall wird den Verantwortlichen empfohlen, eine DSFA durchzuführen.^[5]

 

1. Die Urheberschaft des Zitats scheint umstritten zu sein, siehe z. B. https://quoteinvestigator.com/2010/12/07/foul-computer/#note-1699-18 (abgerufen am 2. Juni 2020). ↑
2. Artikel 33 Absatz 3 DSGVO. ↑
3. Artikel 35 Absatz 1 DSGVO. ↑
4. Siehe z. B. die Rechtslage in Österreich § 2(2)(4) DSFA-V. ↑
5. Artikel-29-Datenschutzgruppe, Leitlinien zur Datenschutz-Folgenabschätzung (DSFA) und Beantwortung der Frage, ob eine Verarbeitung im Sinne der Verordnung 2016/679 „wahrscheinlich ein hohes Risiko mit sich bringt“, Seite 8. Europäische Kommission, Brüssel. ↑