Künstliche Intelligenz (KI) und Diskriminierung
Künstliche Intelligenz (KI) beinhaltet Risiken, die zu struktureller Diskriminierung führen können, gesellschaftsweit. Auch auf individueller Ebene kann KI Diskriminierung zur Folge haben, was dann schwierig zu beweisen ist. Unia setzt alles daran, den Entscheidungsträgern diese Gefahren bewusst zu machen. Als Experte haben wir einen Sitz in zahlreichen Gremien und rufen daher auf, Meldung zu erstatten, wenn sie diskriminierende Auswirkungen von KI feststellen.
Unia ist überzeugt, dass KI helfen kann, gesellschaftliche Herausforderungen zu meistern. KI kann auch mit ausreichenden Sicherheiten unterlegt werden, um Gleichheit und den Schutz vor Diskriminierung zu fördern. So könnte die Arbeitsinspektion beispielsweise strukturelle diskriminierende Praktiken anhand statistischer Daten aufdecken, insbesondere durch den Vergleich aggregierter Daten aus mehreren öffentlichen Datenbanken (sogenanntes Datamining und Datamatching).
Diskriminierung und KI in einigen Beispielen
- Wenn KI eingesetzt wird, um Lebensläufe zu sichten, können die Algorithmen auf Vorurteilen basieren und die Einsendungen beispielsweise nach Name, Geschlecht, ethnischer Herkunft, sozialer Stellung oder einer Kombination aus diesen Merkmalen filtern.
- Wenn KI auf Basis von Prognosemodellen über Kreditanträge entscheidet, kann dies zu Diskriminierung führen, beispielsweise aufgrund der nationalen oder ethnischen Abstammung, des Geschlechts, des Alters oder einer Kombination aus diesen Merkmalen.
- Wenn KI-Systeme zur Gesichtserkennung eingesetzt werden, kann dies zu Diskriminierung bei Sicherheits- und Zugangskontrollen führen. Diese Systeme scheinen nämlich weniger zuverlässig zu funktionieren, wenn es darum geht, Menschen nach ethnischen Merkmalen oder Frauen zu identifizieren. Wenn das System eine Person aufgrund eines Vorurteils fälschlicherweise als Verdächtigen identifiziert, kann dies zu einer rechtswidrigen Festnahme führen.
Risiken der KI mit Blick auf Diskriminierung
KI-Modelle werden auf Basis historischer Daten trainiert, die oft Vorurteile (Bias) und Diskriminierung beinhalten. Bestehende Ungleichbehandlungen in der Gesellschaft werden damit gefestigt und sogar institutionalisiert.
Der Schaden entsteht auf mehreren Ebenen:
- individueller Schaden: Eine Person wird durch den inhärenten Bias in KI-Systemen benachteiligt.
- kollektiver Schaden: Personengruppen können durch Vorurteile strukturell von gewissen Chancen ausgeschlossen werden.
- gesellschaftlicher Schaden: Es liegt im Interesse aller, in einer Gesellschaft zu leben, die niemanden diskriminiert und alle in der Bevölkerung gleich behandelt.
KI-Modellen fehlt es auch nicht selten an Transparenz. Der Schaden bleibt dadurch oft unbemerkt, weil die KI-Systeme von ihrem Konzept und ihrer Funktionsweise her undurchsichtig sind. Als Folge dieser mangelnden Transparenz ist es nicht nur schwierig, sich des Schadens bewusst zu werden, sondern auch und vor allem, den Schaden nachzuweisen und einen kausalen Zusammenhang festzustellen.
Bei der Bearbeitung der Fälle, die Unia gemeldet werden, zeigt sich zudem, dass eine Person den individuellen Schaden, selbst wenn sie sich dessen bewusst ist, als unerheblich erlebt oder jedenfalls für zu gering hält, um die Kosten auf sich zu nehmen, die eine Anfechtung mit sich bringen würde. Gemeint sind nicht nur die finanziellen Kosten, sondern auch die psychosoziale Belastung, der Zeitaufwand usw. Daher sieht die betroffene Person oft davon ab, die problematische Praxis anzufechten.
Gesetzesrahmen für KI
Die belgische Antidiskriminierungsgesetzgebung bietet einen Rechtsrahmen, um gegen Diskriminierung vorzugehen. Die Anwendung dieser Gesetzgebung ist aber nicht immer einfach, weil die Liste der geschützten Merkmale (wie rassistische Merkmale, sexuelle Orientierung usw.) begrenzt ist, während es bei der KI um willkürliche Korrelationen geht.
Es gibt auch mehrere europäische Gesetzgebungsinitiativen:
- Der AI-Act (EU-Verordnung über künstliche Intelligenz) ist ein Rechtsakt der Europäischen Union, um die belgische und europäische Bevölkerung vor den schädlichen Folgen von KI zu schützen. Der AI-Act wurde am 21. Mai 2024 vom Rat der Europäischen Union angenommen. Die Verordnung knüpft bestimmte Regeln an die verschiedenen Kategorien von KI-Anwendungen:
- KI-Praktiken mit inakzeptablen Risiken sind verboten. So sind beispielsweise Social Scoring (wenn ein KI-System auf Basis Ihres (sozialen) Verhaltens einen Score festlegt, der Folgen für Ihren Zugang zu Dienstleistungen oder auf die Preise hat, die Sie hierfür zahlen müssen), subliminale, manipulative oder irreführende Techniken oder KI-Systeme mit Emotionserkennung in der Schule oder am Arbeitsplatz unzulässig.
- Systeme, die hohe Risiken aufweisen, sind strengen Auflagen unterworfen, wie Berichterstattungspflichten, Registrierung in einer EU-Datenbank, menschliche Aufsicht, in manchen Fällen auch Analyse der Auswirkungen auf die Grundrechte. Betroffen sind unter anderem bestimmte Systeme, die im Unterricht, am Arbeitsplatz, bei grundlegenden privaten und öffentlichen Diensten, mit Biometrie usw. zum Einsatz kommen.
- Die meisten Anwendungen beinhalten ein begrenztes oder minimales Risiko. In diesem Fall gelten vor allem Transparenzpflichten, das heißt, der Benutzer muss informiert werden.
Die Verordnung ist direkt in jedem Mitgliedstaat anwendbar und tritt schrittweise in Kraft.
Der KI-Vertrag (Rahmenvertrag über künstliche Intelligenz, Menschenrechte, Demokratie und Rechtsstaat) des Europarats legt den Schwerpunkt auf den Schutz der Menschenrechte bei der Entwicklung und Implementierung von KI-Systemen. Er bietet einen Rahmen, um Gleichheit, Schutz vor Diskriminierung und die Achtung der Menschenwürde in allen KI-Anwendungen zu garantieren. Er wurde am 17. Mai 2024 vom Ministerrat angenommen.
KI und Intersektionalität
KI-Systeme treffen oft Entscheidungen auf Basis einer Kombination aus mehreren geschützten Merkmalen. Denken wir beispielsweise an eine Frau mit Rollstuhl, die einer ethnischen Minderheit angehört, oder an einen älteren homosexuellen Mann.
Bei KI-Systemen ist nicht klar ersichtlich, welche Merkmale das größte Gewicht bei einer Entscheidung hat, sodass hier eine intersektionale Diskriminierung vorliegen kann. Mehrere Diskriminierungsmerkmale greifen ineinander und sind durch ihre Wechselwirkung mit einem bestimmten Kontext nicht mehr voneinander zu unterscheiden. Die betroffene Person ist durch diese Wechselwirkung vulnerabler als andere Personen in dem gleichen Kontext. So kann es sein, dass eine Frau, die aus einer bestimmten ethnischen Minderheit stammt, einer anderen Art von Diskriminierung ausgesetzt ist als ein Mann aus derselben ethnischen Minderheit, oder dass sie eine andere Art von Sexismus erlebt als eine weiße Frau.
Was unternimmt Unia im Bereich KI und Diskriminierung?
Im Rahmen ihres Mandats als Gleichbehandlungsstelle und Menschenrechtsinstitution verfolgt Unia die Entwicklungen zum EU-Rechtsrahmen für künstliche Intelligenz (KI) aus nächster Nähe. Die Bekämpfung der diskriminierenden Auswirkungen von KI und die Förderung von KI als Instrument für Gleichbehandlung stehen im Mittelpunkt des Unia-Strategieplans für die nächsten Jahre. Daher unternehmen wir große Anstrengungen in Form von politischer Arbeit und Sensibilisierung:
Open In Belgien
Unia setzt auf KI-Kompetenz: 2023 haben wir die Online-Schulung zum Thema KI und Diskriminierung in Zusammenarbeit mit dem Europarat, dem FÖD Politik und Unterstützung (AI4Belgium) und dem FÖD Justiz (Dienst Chancengleichheit) für Entscheidungsträger, Mitarbeiter von Aufsichtsbehörden und zivilgesellschaftliche Organisationen veranstaltet. 65 Teilnehmende haben die Schulung mit einem Zertifikat abgeschlossen.
Unia setzt auf Aufsicht und Rechtsschutz: Gemeinsam mit dem Europarat und der Europäischen Kommission (GD Reform) sowie mit Gleichbehandlungsorganen aus Finnland und Portugal haben wir 2024 mit einem umfangreichen Projekt angefangen, das uns stärker befähigen soll, den Einsatz von KI-Systemen in öffentlichen Verwaltungen zu überwachen. Hierzu gehört es auch, diejenigen zu schützen, die durch KI-Technologien diskriminiert werden. Dieses Projekt beinhaltet unter anderem die Entwicklung eines internen Tools zum Schutz vor Diskriminierung und die Weiterführung der Online-Schulung zum Thema KI und Diskriminierung.
Unia setzt auf Partnerschaften und die Einbeziehung mehrerer Stakeholder:
- Unia organisiert 2 Mal im Jahr einen runden Tisch mit der Zivilgesellschaft, um die Herausforderungen im eigenen Land besser zu verstehen.
- Wir begleiten Studierende der KU Leuven über die Legal Clinic „KI und Menschenrechte“.
- Unia ist Mitglied von AI4Belgium.
Open Im ENNHRI (Europäisches Netzwerk der nationalen Menschenrechtsinstitutionen)
Unia ist Vorsitzende der Arbeitsgruppe KI im ENNHRI und hat das ENNHRI bei den Verhandlungen über den KI-Vertrag vertreten.
Open Im Equinet (Europäisches Netzwerk der Gleichbehandlungsstellen)
Unia ist Mitglied der Arbeitsgruppe KI.
Open Im Europarat (wichtigste europäische Menschenrechtsorganisation)
Unia hat einen Sitz als unabhängiger Experte im Committee of Experts on Artificial Intelligence, Equality and Discrimination (GEC/ADI-AI) und hat auch an der Schulung zum Thema KI und Diskriminierung mitgewirkt.
Welche Empfehlungen gibt Unia, wenn es um KI geht?
Die wichtigsten Empfehlungen zur Vermeidung von Diskriminierung durch KI:
- Transparenzanforderungen auf Makro- und Mikro-Ebene einführen:
- Ein nationales Register mit verbindlichen Berichterstattungsauflagen für (private und öffentliche) Akteure einrichten.
- Gesetzliche Transparenzanforderungen für alle algorithmischen Systeme einführen: Alle Phasen des Software-Designs müssen rückverfolgbar sein, von der Datenerfassung bis zur Produktion.
- Die Beweislast im Fall von nicht transparenten Systemen umkehren.
- Eine angemessene Aufsicht durch unabhängige öffentliche Stellen in Zusammenarbeit mit bestehenden Menschenrechtsinstitutionen garantieren.
- KI-Kompetenz garantieren: KI-Entwickler, -Benutzer und -Betroffene schulen beziehungsweise ausbilden.
Eine öffentliche Debatte und die Teilnahme mehrerer Stakeholder garantieren.
Erfahren Sie mehr über die Empfehlungen im Rahmen des europäischen AI-Act (nur verfügbar auf NL oder FR).
Was tun, wenn Sie mit diskriminierenden Auswirkungen von KI konfrontiert sind?
Wenn Sie das Gefühl haben, dass Sie durch KI-Anwendungen diskriminiert werden, oder wenn Sie Zeuge potenziell diskriminierender Auswirkungen sind, empfehlen wir Ihnen, Meldung bei Unia zu erstatten. Unser Personal setzt alles daran, Ihnen zu helfen.