Das Erfordernis menschlichen Handelns und einer menschlichen Aufsicht bei der Entwicklung von KI-Tools steht in klarem Zusammenhang mit dem Recht auf menschliches Eingreifen, dem Recht, keiner ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, dem Recht auf Auskunft über die automatische Entscheidungsfindung und der damit verbundenen Logik, die alle in der Datenschutz-Grundverordnung verankert sind. Diese Rechte werden durch den Einsatz von KI-Tools einem Risiko ausgesetzt. KI beinhaltet oft eine Form der automatisierten Verarbeitung, und in einigen Fällen werden Entscheidungen direkt von dem KI-Modell getroffen. In der Tat lernen und entscheiden KI-Tools manchmal ohne menschliche Aufsicht, und gelegentlich ist die mit ihrer Leistung verbundene Logik schwer zu verstehen.^[1]

In dieser Hinsicht ist das Profiling im Rahmen der KI-Entwicklung besonders problematisch (siehe Kasten 1),denn vom Profiling „bekommen die betroffenen Personen selbst oft gar nichts mit. Denn dabei werden aus Rückschlüssen erzeugte oder hergeleitete Daten zu einzelnen Personen erzeugt, d. h. „neue“ personenbezogene Daten, die von den Betroffenen selbst gar nicht direkt zur Verfügung gestellt wurden. Die Menschen haben in dieser Thematik einen unterschiedlichen Kenntnisstand und für manche sind die komplizierten Techniken, die bei Profiling und automatisierten Entscheidungen zur Anwendung kommen, möglicherweise schwer verständlich.“^[2] (siehe Abschnitt „“).

Die DSGVO verhindert natürlich nicht jede Form von Profiling und/oder einer automatisierten Entscheidungsfindung: Sie gewährt dem Einzelnen lediglich ein qualifiziertes Recht, darüber informiert zu werden, und ein Recht darauf, keiner ausschließlich auf einer automatisierten Verarbeitung einschließlich Profiling beruhenden Entscheidung unterworfen zu werden. Ihr Recht auf Auskunft muss in Anwendung des Grundsatzes der Rechtmäßigkeit, der Verarbeitung nach Treu und Glauben und der Transparenz gewahrt werden. Somit muss der Verantwortliche zumindest „der betroffenen Person mitteilen,dass er dies tut, aussagekräftige Informationen über die involvierte Logik liefern und die Tragweite und die angestrebten Auswirkungen der Verarbeitung erläutern“^[3] (siehe Artikel 13 und 14 DSGVO).

Die Informationen übedie Logik eines Systems und die Erläuterungen zu den Entscheidungen sollten der betroffenen Person den notwendigen Kontext für die Entscheidung übr die Verarbeitung sie betreffender personenbezogener Daten geben. In einigen Fällen können unzureichende Erläuterungen dazu führen, dass die betroffene Person unnötigerweise auf andere Rechte zurückgreift. Anträge auf Eingreifen, Darlegung des eigenen Standpunkts oder Einwände gegen die Verarbeitung sind wahrscheinlicher, wenn die betroffene Person das Gefühl hat, nicht ausreichend zu verstehen, wie die Entscheidung zustande gekommen ist. Betroffene Personen müssen in der Lage sein, ihre Rechte auf einfache r und benutzerfreundliche Weise wahrzunehmen. Wenn beispielsweise „das Ergebnis einer ausschließlich automatisierten Entscheidung über eine Website mitgeteilt wird, sollte die Seite einen Link oder klare Informationen enthalten, anhand der sich die Person ohne unangemessene Verzögerungen oder Komplikationen an einen Mitarbeiter wenden kann, der dann eingreift.“^[4]Der volle Umfang der bereitzustellenden Informationen lässt sich jedoch schwer konkret angeben. In der Tat gibt es derzeit eine lebhafte akademische Diskussion über dieses Thema.^[5]

Kasten 0. Die Frage des Rankings Anbieter von Dienstleistungen oder Waren, die an der sogenannten „kollaborativen Wirtschaft“ (oder „Plattformwirtschaft“) teilnehmen, müssen die Funktionsweise des Rankings im Rahmen der von ihnen vorgenommenen Nutzung spezifischer Online-Vermittlungsdienste oder Online-Suchmaschinen verstehen. Dies könnte zum Beispiel ein Hotel sein – ob groß oder klein – das seine Unterkünfte über Booking.com oder TripAdvisor anbietet. Damit Unternehmen als Anbieter auf der Plattform teilnehmen können, sollten Plattformen nicht verpflichtet sein, die detaillierte Funktionsweise ihrer Rankingmethoden – einschließlich der Algorithmen – offenzulegen. Eine allgemeine Erläuterung der für das Ranking verwendeten Hauptparameter genügt (einschließlich der Möglichkeit, das Ranking gegen eine vom Anbieter gezahlte direkte oder indirekte Vergütung zu beeinflussen), solange diese Beschreibung leicht und öffentlich zugänglich und in klarer und verständlicher Sprache verfasst ist.[6]

Darüber hinaus haben betroffene Personen gemäß Artikel 22 Absatz 1 das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Daher sollten Verantwortliche stets darauf achten, dass die von ihnen verwendeten oder entwickelten KI-Tools in keiner Weise eine unvermeidbare automatische Entscheidungsfindung fördern. Tatsächlich führt die Artikel-29-Datenschutzgruppe an: „Schwebt dem Verantwortlichen somit ein „Modell“ mit ausschließlich automatisierten Entscheidungen vor, die erhebliche Auswirkungen auf die jeweils betroffenen Personen haben und sich auf zu diesen erstellte Profile stützen, und kann er sich nicht auf die Einwilligung der betroffenen Person, einen Vertrag mit ihr oder ein Gesetz berufen, wonach dies zulässig ist, sollte er von diesem Modell Abstand nehmen. Er kann dennoch ein „Modell“ mit auf Profiling beruhenden Entscheidungen ins Auge fassen, wenn er den Umfang des Eingreifens einer Person so deutlich erhöht, dass das Modell nicht mehr auf einer vollständig automatisierten Entscheidungsfindung beruht, auch wenn die Verarbeitung noch Risiken für die Grundrechte und Grundfreiheiten der betroffenen Person bergen könnte.“^[7]

Kasten 1. Profiling verstehen Untersuchungen von Kosinski et al. (2013)[8] haben gezeigt, dass im Jahr 2011 zugängliche digitale Verhaltensaufzeichnungen (z. B. „gelikte“ Seiten auf Facebook) zur genauen Vorhersage einer Reihe hochsensibler personenbezogener Merkmale genutzt werden konnten. Dazu gehörten: sexuelle Orientierung, ethnische Zugehörigkeit, religiöse und politische Ansichten, Persönlichkeitsmerkmale, Intelligenz, Glück, Konsum von Suchtmitteln, Trennung der Eltern, Alter und Geschlecht. Die Analyse basierte auf einem Datensatz von über 58.000 Freiwilligen und deren „Likes“ bei Facebook, detaillierten demografischen Profilen und den Ergebnissen mehrerer psychometrischer Tests. Das Modell unterschied in 88 % der Fälle korrekt zwischen homosexuellen und heterosexuellen Männern, in 95 % der Fälle zwischen Afroamerikanern und kaukasischen Amerikanern und in 85 % der Fälle zwischen Wählern der Demokraten und Republikaner. In Bezug auf das Persönlichkeitsmerkmal „Offenheit“ lag die Vorhersagegenauigkeit nahe an der Test-Retest-Genauigkeit eines Standard-Persönlichkeitstests. Die Autoren lieferten zudem Beispiele für Assoziationen zwischen Attributen und Likes und erörtern die Auswirkungen auf die Online-Personalisierung und den Datenschutz. Dieser Fall ist ein hervorragendes Beispiel dafür, wie Profiling funktioniert: Die Informationen betroffener Personen dienten dazu, sie zu klassifizieren und Vorhersagen über sie zu treffen.

Darüber hinaus muss ein Verantwortlicher immer beachten, dass gemäß Artikel 9 Absatz 2 Buchstabe a DSGVO automatisierte Entscheidungen, die dieVerarbeitung besonderer Kategorien personenbezogener Daten beinhalten, nur dann zulässig sind, wenn die betroffene Person ausdrücklich in die Verarbeitung dieser personenbezogenen Daten für einen oder mehrere festgelegte Zwecke eingewilligt hat(siehe Abschnitt „Einwilligung“ im Kapitel „Konzepte“), oder wenn es eine Rechtsgrundlage für die genannte Verarbeitung gibt. Diese Ausnahme gilt nicht nur, wenn die entsprechenden Daten in diese Kategorie fallen, sondern auch dann, wenn der Abgleich verschiedener Arten personenbezogener Daten sensible Informationen über Personen offenbaren kann oder wenn hergeleitete Daten dieser Kategorie entsprechen. Eine Studie, die besondere Datenkategorien herleiten kann, unterliegt nämlich denselben rechtlichen Verpflichtungen gemäß der DSGVO, als ob von Anfang an sensible personenbezogene Daten verarbeitet worden wären. In all diesen Fällen müssen die für die Verarbeitung besonderer Kategorien personenbezogener Daten geltenden Vorschriften und die notwendige Anwendung geeigneter Garantien zum Schutz der Rechte, Interessen und Freiheiten der betroffenen Personen berücksichtigt werden. Die Verhältnismäßigkeit zwischen dem Ziel der Forschung und der Verwendung besonderer Kategorien von Daten muss gewährleistet sein. Die Verantwortlichen sollten sich auch darüber im Klaren sein, dass ihre Mitgliedstaaten zusätzliche Bedingungen und Beschränkungen für die Verarbeitung von genetischen Daten, biometrischen Daten oder Gesundheitsdaten einführen bzw. anwenden können (Artikel 9 Absatz 4 DSGVO).

Wenn das Profiling auf personenbezogene Daten zurückgreift, die nicht von der betroffenen Person zur Verfügung gestellt wurden, müssen die Verantwortlichen sicherstellen, dass die Verarbeitung nicht mit dem ursprünglichen Zweck unvereinbar ist (siehe Abschnitt „Datenschutz und wissenschaftliche Forschung” im Kapitel „Konzepte”), dass sie eine Rechtsgrundlage für die Verarbeitung der besonderen Datenkategorie ermittelt haben und dass sie die betroffene Person über die Verarbeitung unterrichten^[9] (siehe Abschnitt „Zweckbindung” im Kapitel „Grundsätze” ).

Die Durchführung einer „Datenschutz-Folgenabschätzung“ (DSFA) ist zwingend erforderlich, wenn ein reales Risiko einer unzulässigen Profilerstellung oder automatisierten Entscheidungsfindung besteht. Gemäß Artikel 35 Absatz 3 Buchstabe a DSGVO muss der Verantwortliche im Falle einer systematischen und umfassenden Bewertung persönlicher Aspekte natürlicher Personen eine Datenschutz-Folgenabschätzung durchführen. Dies ist für Tools erforderlich, die sich auf eine automatisierte Verarbeitung einschließlich Profiling gründen, sowie für solche, die als Grundlage für Entscheidungen dienen, die Rechtswirkung gegenüber natürlichen Personen entfalten oder diese in ähnlich erheblicher Weise beeinträchtigen.

Gemäß Artikel 37 Absatz 1 Buchstabe b DSGVO ist eine zusätzliche Rechenschaftspflicht die Benennung eines Datenschutzbeauftragten (DSB), wenn die Kerntätigkeit des Verantwortlichen im Profiling oder der automatisierten Entscheidungsfindung besteht, welche aufgrund ihres Umfangs eine umfangreiche regelmäßige und systematische Überwachung von betroffenen Personen erforderlich macht. Die Verantwortlichen müssen außerdem im Rahmen ihrer Rechenschafts- und Dokumentationspflicht alle Entscheidungen, die von einem KI-System getroffen werden, aufzeichnen (siehe Abschnitt „Rechenschaftspflicht“ im Kapitel „Grundsätze“). Darin sollte festgehalten werden, ob eine Person um das Eingreifen einern Person gebeten, einen eigenen Standpunkt dargelegt, die Entscheidung angefochten hat und ob eine Entscheidung daraufhin geändert worden ist.^[10]

Die folgenden zusätzlichen Maßnahmen können ebenfalls äußerst nützlich sein, um eine automatisierte Entscheidungsfindung zu vermeiden.^[11]

• Berücksichtigen Sie bereits in der Designphase die Systemanforderungen, die zur Unterstützung einer aussagegkräftigen Überprüfung durch Personen erforderlich sind.
• Berücksichtigen Sie insbesondere die Anforderungen an die Interpretierbarkeit und die effektive Gestaltung der Benutzeroberfläche zur Unterstützung von Überprüfungen und Eingriffen durch Personen.
• Gestalten und setzen Sie eine geeignete Schulung und Unterstützung für menschliche Prüfer um.
• Geben Sie dem Personal die entsprechenden Befugnisse, Anreize und Unterstützung, damit es die Bedenken einzelner Personen ansprechen oder eskalieren und gegebenenfalls die Entscheidung des KI-Systems außer Kraft setzen kann.

In jedem Fall sollten sich die Verantwortlichen darüber im Klaren sein, dass die Mitgliedstaaten einige konkrete Hinweise zu diesem Thema in ihre nationalen Vorschriften aufnehmen und dabei verschiedene Instrumente einsetzen, um eine angemessene Einhaltung zu gewährleisten.^[12]

Checkliste: Profiling und automatisierte Entscheidungsfindung[13] ☐ Die Verantwortlichen verfügen über eine Rechtsgrundlage für die Durchführung von Profiling und/oder automatisierter Entscheidungsfindung und dokumentieren dies in ihrer Datenschutzerklärung. ☐ Die Verantwortlichen senden den Personen einen Link zu ihrer Datenschutzerklärung, wenn sie sie betreffende personenbezogene Daten indirekt erhalten haben. ☐ Die Verantwortlichen erläutern, wie Personen auf Details der Informationen zugreifen können, die sie zur Erstellung ihres Profils verwendet haben. ☐ Die Verantwortlichen informieren Personen, die ihnen sie betreffende personenbezogene Daten zur Verfügung stellen, darüber, wie sie dem Profiling widersprechen können. ☐ Die Verantwortlichen verfügen über Verfahren, anhand der Kunden auf die in ihre Profile eingegebenen personenbezogenen Daten zuzugreifen und diese im Hinblick auf etwaige Fehler überprüfen und bearbeiten können. ☐ Die Verantwortlichen haben zusätzliche Kontrollen für ihre Systeme zur Profilerstellung/automatisierten Entscheidungsfindung eingeführt, um schutzbedürftige Gruppen (einschließlich Kinder) zu schützen. ☐ Die Verantwortlichen erheben nur die erforderliche Mindestmenge an Daten und verfügen über eine klare Speicherungsrichtlinie für die von ihnen erstellten Profile. Ein bewährtes Modell ☐ Die Verantwortlichen führen eine DSFA durch, um die Risiken bei Einführung einer neuen automatisierten Entscheidungsfindung oder eines neuen Profilings zu berücksichtigen und zu bewältigen. ☐ Die Verantwortlichen informieren ihre Kunden über das durchgeführte Profiling und die vorgenommene automatisierte Entscheidungsfindung, welche Informationen sie zur Erstellung der Profile verwenden und woher sie diese Informationen erhalten. ☐ Die Verantwortlichen verwenden bei ihren Profiling-Aktivitäten anonymisierte Daten. ☐ Die Verantwortlichen garantieren das Recht auf Verständlichkeit algorithmischer Entscheidungen. ☐ Die Entscheidungsträger verfügen über einen Mechanismus, mit dem sie die Gründe mitteilen und erläutern können, wenn eine Anfechtung der algorithmischen Entscheidung aufgrund fehlender menschlicher Intervention nicht akzeptiert wird. ☐ Die Entscheidungsträger verfügen über ein Modell zur Bewertung der Menschenrechte bei automatisierten Entscheidungen. ☐ Eine qualifizierte menschliche Aufsicht ist von der Designphase an vorhanden, insbesondere in Bezug auf die Auslegungsanforderungen und die effektive Gestaltung der Schnittstelle, und die Prüfer sind geschult. ☐ Es werden Audits im Hinblick auf mögliche Abweichungen von den Ergebnissen der Herleitungen in adaptiven oder evolutionären Systemen durchgeführt. ☐ Das KI-System wird bzw. wurde zertifiziert.

Zusätzliche Informationen Artikel-29-Datenschutzgruppe (2018), Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling für die Zwecke der Verordnung 2016/679. Europäische Kommission, Brüssel. Verfügbar unter: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053 ICO (2020) AI auditing framework: draft guidance for consultation, Seite 94–95. Information Commissioner’s Office, Wilmslow. Verfügbarunter: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf ICO (2019) Data Protection Impact Assessments and AI. Information Commissioner’s Office, Wilmslow. Verfügbarunter: https://ico.org.uk/about-the-ico/news-and-events/ai-blog-data-protection-impact-assessments-and-ai/ M. Kosinski,  D. Stillwell und T. Graepel (2013), Digital records of behavior expose personal traits, Proceedings of the National Academy of Sciences  110(15): 5802–5805, DOI:10.1073/pnas.1218772110 G. Malgieri (2018), Automated decision-making in the EU Member States laws: the right to explanation and other ‘suitable safeguards’ for algorithmic decisions in the EU national legislations. Verfügbar unter: https://ssrn.com/abstract=3233611 oder http://dx.doi.org/10.2139/ssrn.3233611 Norwegische Datenschutzbehörde (2018), Artificialintelligenceandprivacy. Norwegische Datenschutzbehörde, Oslo. Verfügbar unter: https://iapp.org/media/pdf/resource_center/ai-and-privacy.pdf A.D. Selbst und J. Powles, (2017), Meaningful information and the right to explanation, International Data Privacy Law 7(4): 233–242, https://doi.org/10.1093/idpl/ipx022 S. Wachter, B. Mittelstadt und L. Floridi, (2017), Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation, International Data Privacy Law. Verfügbar unter: https://ssrn.com/abstract=2903469 or http://dx.doi.org/10.2139/ssrn.2903469

 

1. Burrell, J. (2016), Howthemachine ‘thinks’: understandingopacity in machinelearningalgorithms, Big Data & Society 3(1): 1–12. ↑
2. Artikel-29-Datenschutzgruppe (2017), Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling für die Zwecke der Verordnung 2016/679, WP 251, Seite 9. Europäische Kommission, Brüssel. ↑
3. Ibid., Seiten13–14. ↑
4. ICO (2020) AI auditingframework: draftguidanceforconsultation, Seite 94. Information Commissioner’s Office, Wilmslow. Verfügbar unter: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf(abgerufen am 15. Mai 2020). ↑
5. S. Wachter, B. Mittelstadt und L. Floridi, (2017), Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation, International Data Privacy Law.Verfügbar unter: https://ssrn.com/abstract=2903469 or http://dx.doi.org/10.2139/ssrn.2903469(abgerufen am 15. Mai 2020); A.D. Selbst und J. Powles (2017), Meaningful information and the right to explanation, International Data Privacy Law 7(4): 233–242, https://doi.org/10.1093/idpl/ipx022 (abgerufen am 15. Mai 2020). ↑
6. Verordnung (EU) 1159/2019 vom 20. Juni zur Förderung von Fairness und Transparenz für gewerbliche Nutzer von Online- Vermittlungsdiensten, Artikel 5 and Erwägungsgrund 27. Verfügbar unter: https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32019R1150&from=EN ↑
7. Artikel-29-Datenschutzgruppe (2018), Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling für die Zwecke der Verordnung 2016/679. Europäische Kommission, Brüssel, S. 30. Verfügbar unter: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053. ↑
8. M. Kosinski,  D. Stillwell und T. Graepel (2013), Digital records of behavior expose personal traits, Proceedings of the National Academy of Sciences 110(15): 5802–5805, DOI:10.1073/pnas.1218772110 ↑
9. Artikel-29-Datenschutzgruppe (2017), Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling für die Zwecke der Verordnung 2016/679, WP 251, Seite 15. Europäische Kommission, Brüssel. ↑
10. ICO (2020) AI auditingframework: draftguidanceforconsultation, Seite 94–95. Information Commissioner’s Office, Wilmslow. Verfügbar unter: https://ico.org.uk/media/about-the-ico/consultations/2617219/guidance-on-the-ai-auditing-framework-draft-for-consultation.pdf(abgerufen am 15. Mai 2020). ↑
11. Ibid., Seite 95. ↑
12. G. Malgieri (2018), Automated decision-making in the EU Member States laws: the right to explanation and other ‘suitable safeguards’ for algorithmic decisions in the EU national legislations. Verfügbar unter: https://ssrn.com/abstract=3233611 or http://dx.doi.org/10.2139/ssrn.3233611 (abgerufen am 2. Mai 2020). ↑
13. ICO (keinDatm) Rights related to automated decision making including profiling. Information Commissioner’s Office, Wilmslow. Verfügbar unter: https://ico.org.uk/for-organisations/guide-to-data-protection/guide-to-the-general-data-protection-regulation-gdpr/individual-rights/rights-related-to-automated-decision-making-including-profiling/(abgerufen am 15. Mai 2020). ↑