Vorurteile führen zu Vorurteilen und zur Diskriminierung bestimmter Gruppen oder Personen. Schaden kann auch durch die absichtliche Ausnutzung von (Verbraucher-)Vorurteilen oder durch unlauteren Wettbewerb entstehen, z. B. durch die Angleichung von Preisen durch Absprachen oder einen intransparenten Markt. IoT-Systeme könnten auf zwei verschiedene Arten zur Verschärfung dieser schrecklichen Situation beitragen: durch die Einbeziehung von KI-Tools in das IoT-System, die voreingenommen sind, oder durch die Erstellung voreingenommener Datensätze durch eine unzureichende Sammlung der von den Betroffenen produzierten Daten. Wenn die Verwendung dieser Daten die Erstellung von Profilen oder die automatisierte Entscheidungsfindung fördert, könnte dies unannehmbare soziale Folgen haben.

Es gibt also einige Maßnahmen, die IoT-Entwickler ergreifen sollten, um unfaire, durch den Einsatz von KI verursachte Vorurteile zu vermeiden. Einerseits sollten sie nur Geräte oder KI-Tools in ihre Werkzeuge integrieren, die nachweislich keine Vorurteile haben. Werkzeuge wie ethische Algorithmenprüfung sollten eingesetzt werden, um Diskriminierung zu erkennen. Interne Audits sollten in Betracht gezogen werden, um die Diskriminierung geschützter Gruppen zu verhindern, aber auch, um Opfer unvorhergesehener Diskriminierung zu schützen.^[1] Andererseits sollte das IoT-System so konzipiert sein, dass die automatische Entscheidungsfindung auf der Grundlage der gesammelten Daten in der Lage ist, Vorurteile zu vermeiden. Dies könnte durch den Einsatz von Werkzeugen geschehen, die im Allgemeinen in der KI zu diesem Zweck verwendet werden (siehe den Abschnitt “Fairness” in Teil IV über KI dieser Leitlinien).

Es ist wichtig zu erwähnen, dass das Internet der Dinge auch zu schwerwiegenden Verzerrungen aufgrund von Ungenauigkeiten führen kann, die durch die Art und Weise, wie diese Systeme funktionieren, verursacht werden. So könnten die betroffenen Personen beispielsweise falsche Daten angeben oder die Folgen nicht vollständig verstehen, wenn ihr Verhalten ständig überwacht wird. Dies kann zu einem Verstoß gegen den Grundsatz der Richtigkeit führen, wenn die Situation von dem für die Verarbeitung Verantwortlichen hätte verhindert oder gelöst werden können, wenn sie berücksichtigt worden wäre. Ebenso kann die Datenverarbeitung zu unerwarteten Verzerrungen führen, weil mögliche Beziehungen zwischen Datenkategorien, die nur durch die Aggregation und Verknüpfung unterschiedlicher Datensätze aufgedeckt werden, zum Zeitpunkt der Datenerhebung möglicherweise nicht bekannt sind. Wenn das System solche Daten für die Profilerstellung verwendet, können Ungenauigkeiten beispielsweise zu verzerrten Empfehlungen führen. Um ein solches Szenario zu vermeiden, ist eine kritische Bewertung der Herkunft der Daten erforderlich. Zu diesem Zweck sollten organisatorische Maßnahmen ergriffen werden, um die Genauigkeit und Zuverlässigkeit der gesammelten Daten zu gewährleisten, wobei letztlich das Recht der Nutzer auf Zurückhaltung privater Informationen gewahrt bleibt (z. B. die Bestätigung, ob ein Datensatz korrekt ist).

1. Wachter, Sandra, Normative challenges of identification in the Internet of Things: Privacy, profiling, discrimination, and the GDPR, Computer Law & Security Review, Volume 34, Issue 3, 2018, pages 436-449. ↑