Vollständig automatisierte Entscheidungsfindung und Profiling sind sensible Verarbeitungstätigkeiten, die mit Vorsicht zu genießen sind. Die für die Verarbeitung Verantwortlichen müssen sich dessen bewusst sein und entsprechend handeln, um Risiken zu ermitteln, sie zu verringern und Schutzmaßnahmen und Garantien einzuführen.

Wir haben soeben die Existenz von Rechten der betroffenen Personen erwähnt, die mit diesen Verarbeitungen verbunden sind und in Artikel 22 Absatz 3 anerkannt werden, nämlich das Recht, eine menschliche Intervention zu erhalten, den Standpunkt der betroffenen Person zum Ausdruck zu bringen und die Entscheidung anzufechten.

Darüber hinaus müssen die für die Verarbeitung Verantwortlichen auf einfache, aber transparente und vollständige Weise über automatisierte Prozesse und Profiling-Aktivitäten informieren, wenn diese unter die Definition von Artikel 22 DSGVO fallen. Die Informationen müssen sich auch auf eine Erklärung der Logik des Prozesses und das Bestehen der oben genannten Rechte erstrecken.

Die Informationen über die Logik eines Systems und die Erläuterungen zu den Entscheidungen sollten dem Einzelnen den notwendigen Kontext geben, um zu entscheiden, ob und aus welchen Gründen er ein menschliches Eingreifen beantragen möchte. In einigen Fällen können unzureichende Erklärungen dazu führen, dass der Einzelne unnötigerweise auf andere Rechte zurückgreift. Anträge auf Intervention, Meinungsäußerung oder Anfechtung sind wahrscheinlicher, wenn der Einzelne das Gefühl hat, nicht ausreichend zu verstehen, wie die Entscheidung zustande gekommen ist.^[1]

Darüber hinaus ist der für die Verarbeitung Verantwortliche gemäß Artikel 35 Absatz 3 Buchstabe a DSGVO verpflichtet, eine Datenschutz-Folgenabschätzung durchzuführen, wenn es sich um eine systematische und umfassende Bewertung personenbezogener Aspekte natürlicher Personen handelt, die auf einer automatisierten Verarbeitung, einschließlich Profiling, beruht und auf der Entscheidungen beruhen, die rechtliche Folgen für die natürliche Person haben oder die natürliche Person in ähnlicher Weise erheblich beeinträchtigen. Die für die Verarbeitung Verantwortlichen sollten sich darüber im Klaren sein, dass nun jedes Land dem EDPB eine Liste vorgelegt hat, aus der hervorgeht, wann eine Datenschutzfolgenabschätzung erforderlich ist. Befindet sich der für die Verarbeitung Verantwortliche innerhalb des EWR, sollte diese Liste auch vor Ort überprüft werden.^[2] (Gemäß Artikel 37 Absatz 1 Buchstabe b und Absatz 5 DSGVO müssen die für die Verarbeitung Verantwortlichen einen Datenschutzbeauftragten benennen, wenn “die Kerntätigkeiten des für die Verarbeitung Verantwortlichen oder des Auftragsverarbeiters aus Verarbeitungsvorgängen bestehen, die aufgrund ihrer Art, ihres Umfangs und/oder ihrer Zwecke eine regelmäßige und systematische Überwachung der betroffenen Personen in großem Umfang erfordern”.

Die für die Verarbeitung Verantwortlichen sind außerdem verpflichtet, im Rahmen ihrer Rechenschafts- und Dokumentationspflicht Aufzeichnungen über alle von einem KI-Tool getroffenen Entscheidungen zu führen. Darin sollte auch festgehalten werden, ob eine Person um ein menschliches Eingreifen gebeten, sich geäußert oder die Entscheidung angefochten hat und ob eine Entscheidung daraufhin geändert wurde ^[3](siehe den Abschnitt “Rechenschaftspflicht” in den “Grundsätzen” in Teil II dieser Leitlinien). Einige zusätzliche Maßnahmen, die äußerst nützlich sein können, um eine automatisierte Entscheidungsfindung zu vermeiden, sind folgende: ^[4]

• Berücksichtigen Sie bereits in der Entwurfsphase die Systemanforderungen, die zur Unterstützung einer sinnvollen menschlichen Überprüfung erforderlich sind. Insbesondere die Anforderungen an die Interpretierbarkeit und die effektive Gestaltung der Benutzerschnittstelle zur Unterstützung menschlicher Überprüfungen und Eingriffe. Dies kann in der Tat als eine verbindliche Verpflichtung für die für die Verarbeitung Verantwortlichen im Einklang mit dem Grundsatz des “eingebauten Datenschutzes” betrachtet werden.
• Konzeption und Durchführung geeigneter Schulungen und Unterstützung für menschliche Prüfer. Dazu sollte ein Verständnis dafür gehören, auf welchen Variablen das Entscheidungs- oder Profiling-Modell aufbaut und insbesondere, welche Variablen im Modell nicht berücksichtigt werden. Diese können entscheidend sein, um Besonderheiten bei einer betroffenen Person zu erkennen, die sie zu einem Ausreißer im Modell machen oder deren Umstände eine andere Entscheidung begründen.
• Geben Sie den Mitarbeitern die entsprechenden Befugnisse, Anreize und Unterstützung, damit sie die Bedenken von Einzelpersonen ansprechen oder eskalieren und gegebenenfalls die Entscheidung des KI-Tools außer Kraft setzen können. Wenn beispielsweise menschliche Prüfer organisatorischem Druck oder negativen beruflichen Konsequenzen ausgesetzt sind, wenn sie von der automatisierten Entscheidung abweichen, werden diese Autorität und Unabhängigkeit in Frage gestellt.

Checkliste: Automatisierte Entscheidungsfindung und Profiling ☐ Der Controller informiert die Nutzer über die Art der Daten, die von den IoT-Sensoren gesammelt und weiterverarbeitet werden, über andere Arten von Daten, die sie von externen Quellen erhalten, und darüber, wie sie verarbeitet und kombiniert werden. ☐ Die IoT-Systeme können zwischen verschiedenen Personen, die dasselbe Gerät benutzen, unterscheiden, so dass sie nicht ohne eine entsprechende Rechtsgrundlage von den Aktivitäten der anderen erfahren können. ☐ Die für die Verarbeitung Verantwortlichen arbeiten mit Normungsgremien und Datenplattformen zusammen, um ein gemeinsames Protokoll zu unterstützen, mit dem Präferenzen in Bezug auf die Datenerfassung und -verarbeitung durch die für die Verarbeitung Verantwortlichen ausgedrückt werden können, insbesondere wenn unauffällige Geräte solche Daten erfassen. ☐ Die für die Verarbeitung Verantwortlichen haben lokale Kontroll- und Verarbeitungsstellen (die so genannten Datenschutzbeauftragten) eingerichtet, die es den Nutzern ermöglichen, sich einen Überblick über die von ihren Geräten gesammelten Daten zu verschaffen und die lokale Speicherung und Verarbeitung zu erleichtern, ohne die Daten an den Gerätehersteller übermitteln zu müssen. ☐ Die IoT-Systeme bieten: einen Gesamtüberblick darüber, welche personenbezogenen Daten an welchen für die Datenverarbeitung Verantwortlichen und im Rahmen welcher Richtlinien weitergegeben worden sind; Online-Zugang zu den personenbezogenen Daten und deren Verarbeitung; Funktionen zur Erstellung von Gegenprofilen, die dem Nutzer helfen zu erkennen, inwieweit seine Daten mit relevanten Gruppenprofilen übereinstimmen, was sich auf künftige Chancen oder Risiken auswirken kann (dies ist gesetzlich nicht vorgeschrieben, aber empfehlenswert). ☐ Die IoT-Systeme bieten granulare Auswahlmöglichkeiten bei der Gewährung des Zugangs zu Anwendungen. Die Granularität betrifft nicht nur die Kategorie der erfassten Daten, sondern auch den Zeitpunkt und die Häufigkeit, mit der Daten erfasst werden. Ähnlich wie die “Bitte nicht stören”-Funktion bei Smartphones sollten IoT-Geräte eine “Bitte nicht sammeln”-Option bieten, um Sensoren zu planen oder schnell zu deaktivieren. ☐ Profiling und automatisierte Entscheidungsfindung finden nur statt, wenn eine Rechtsgrundlage vorliegt und angemessene Garantien vorgesehen sind. Es wurden Mechanismen eingeführt, die es ermöglichen, alle betroffenen Personen darüber zu informieren. ☐ Die Fluglotsen haben eine DPIA durchgeführt. ☐ Die für die Verarbeitung Verantwortlichen haben einen Datenschutzbeauftragten zu der Verarbeitung konsultiert. ☐ Die für die Verarbeitung Verantwortlichen haben sichergestellt, dass alle in Artikel 22 der DSGVO vorgesehenen Garantien angemessen umgesetzt wurden. ☐ Die für die Verarbeitung Verantwortlichen haben sichergestellt, dass alle Personen, die an der Profilerstellung und der automatischen Datenverarbeitung beteiligt sind, in Fragen des Datenschutzes angemessen geschult wurden. ☐ Die Steuerungen haben alle Informationen zu diesem Problem dokumentiert.

1. ICO (2020) Guidance on the AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow, S.94. Verfügbar unter: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf. ↑
2. EDPB (2019) Data Protection Impact Assessment. European Data Protection Board, Brüssel. Verfügbar unter: https://edpb.europa.eu/our-work-tools/our-documents/topic/data-protection-impact-assessment-dpia_es. ↑
3. ICO (2020) Guidance on the AI auditing framework – draft guidance for consultation. Information Commissioner’s Office, Wilmslow, S.94-95. Verfügbar unter: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf. ↑
4. Ebd., S. 95. ↑