Studie des KIT 15.10.2019, 13:05 Uhr

Künstliche Intelligenz übernimmt diskriminierende Muster

Ob als Robo-Recruiter bei der Bewerbung, als Chatbot im Kundenservice oder als Big-Data-Analyst im polizeilichen Einsatz, künstliche Intelligenz wird zunehmend zum Gesprächspartner in wichtigen Situationen und damit zum Problem.

Frau sitzt alleine in einem Seminarraum

Foto: Patrick Langer/KIT

Künstliche Intelligenz ist nicht frei von Vorurteilen, Fehlinformationen und Hass. Deshalb können auch algorithmische Systeme diskriminieren und Menschen in ihren Rechten beschneiden, sagt ein KIT-Forscher. Es ist das Ergebnis einer aktuellen Studie des KIT-Instituts für Technikfolgenabschätzung und Systemanalyse (ITAS) im Auftrag des Bundes.

Künstliche Intelligenz spiegelt die Gesellschaft

Der Clou: Wir nennen es zwar künstliche Intelligenz, in Wirklichkeit aber besteht KI aus Algorithmen, die auf vorhandenes Wissen zurückgreifen. Damit sind Algorithmen immer nur so frei von Fehlern, wie die Information, aus der sie ihr Wissen schöpfen. Schließlich wird jeder Algorithmus von Menschen programmiert und mit Daten gefüttert, die vom Menschen stammen – seien es wissenschaftliche Erkenntnisse, Postings aus sozialen Medien oder der ganze Wust an Information und Desinformation, der sich im Internet so tummelt. All das ist gespickt mit menschlichen Fehlern, mit Irrtümern und Gemeinheiten und deshalb kann auch kein Algorithmus dieser Welt frei davon sein.

Diese Erfahrung mussten auch schon die großen Internetkonzerne machen. Vor einigen Jahren musste Microsoft erste Experimente mit Chatbot Tay abbrechen, weil er manipulierbar war. Statt sich den Jargon von Jugendlichen anzueignen und freundlich mitzuplaudern, beleidigte Tay schließlich Frauen und leugnete historische Tatbestände. Und das Problem der manipulierbaren lernenden Systeme ist bis heute nicht gelöst. Zuletzt zog Google den Zorn von Frauen- und Gleichstellungsbeauftragten auf sich, weil die Suchmaschine die Suche nach „Frauen können“ automatisch ergänzte mit „…nicht Auto fahren“ und „…keine Quadrate zeichnen“. (Anmerkung am Rande: Wenn man „Männer können“ eingibt, ergänzt Google unter anderem mit „…nicht saufen“ und „…nicht zuhören“.) Was für einige eher komisch klingen mag, ist in vielen Anwendungsfällen ein handfestes Problem.

KI liefert keine objektiveren Daten

Algorithmen können Datenmengen wesentlich schneller erfassen und verarbeiten als Menschen. Das macht algorithmische Systeme so wertvoll für Unternehmen, öffentliche Institutionen und Banken. Denn ist das lernende System erst einmal programmiert, sparen die einsetzenden Firmen viel Geld und Zeit. Das ist der Grund, weshalb immer mehr KI-Systeme im Einsatz sind. Sie entscheiden über die Vergabe von Krediten, prüfen die Eignung von Bewerbern im Recruitingprozess und suchen im Internet nach Äußerungen von strafrechtlichem Belang.

Stellenangebote im Bereich IT/TK-Projektmanagement

IT/TK-Projektmanagement Jobs
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Informationssicherheit Die Autobahn GmbH des Bundes
Frankfurt Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
Evonik Operations GmbH-Firmenlogo
Ingenieur (m/w/d) Informatik / Elektrotechnik / Automatisierungstechnik / Chemische Produktion Evonik Operations GmbH
Wirtgen GmbH-Firmenlogo
Software-Testingenieur (m/w/d) Testautomatisierung -Steuerungssoftware für mobile Arbeitsmaschinen Wirtgen GmbH
Windhagen Zum Job 
Fresenius Kabi Deutschland GmbH-Firmenlogo
Projekt IT-Ingenieur (m/w/d) Fresenius Kabi Deutschland GmbH
Friedberg Zum Job 
WIRTGEN GROUP Branch of John Deere GmbH & Co. KG-Firmenlogo
Project Manager Surveying and Designfor Machine Control (m/w/d) WIRTGEN GROUP Branch of John Deere GmbH & Co. KG
Ludwigshafen am Rhein Zum Job 
IMS Messsysteme GmbH-Firmenlogo
Systemingenieur (m/w/i) für Oberflächeninspektion IMS Messsysteme GmbH
Heiligenhaus Zum Job 
Bundespolizei-Firmenlogo
Ingenieur/in Elektro-/Nachrichtentechnik o. ä. für Satellitenkommunikation (w/m/d) Projektgruppe EU Bundespolizei
Sankt Augustin Zum Job 
Hochschule Hamm-Lippstadt-Firmenlogo
wissenschaftliche*r Mitarbeiter*in (m/w/d) für die Entwicklung einer Wissensdatenbank im Bereich der Sektorenkopplung Hochschule Hamm-Lippstadt
Hochschule Bielefeld-Firmenlogo
W2-Professur Software Engineering Hochschule Bielefeld
Gütersloh Zum Job 
Safran Data Systems GmbH-Firmenlogo
Embedded Software Engineer (m/w/d) Safran Data Systems GmbH
Bergisch Gladbach Zum Job 
Hochschule Bielefeld (HSBI)-Firmenlogo
W2-Professur Software Engineering Hochschule Bielefeld (HSBI)
Gütersloh Zum Job 
Kreis Gütersloh-Firmenlogo
Mitarbeiter (m/w/i) für Digitalisierung und Prozessmanagement Kreis Gütersloh
Rheda-Wiedenbrück Zum Job 
Bisping & Bisping GmbH & Co. KG-Firmenlogo
Projektleiter (m/w/d) Internetkommunikation / Telekommunikation Bisping & Bisping GmbH & Co. KG
Lauf an der Pegnitz Zum Job 
Bisping & Bisping GmbH & Co. KG-Firmenlogo
Projektleiter (m/w/d) Glasfaserausbau Bisping & Bisping GmbH & Co. KG
Lauf an der Pegnitz Zum Job 
Stadt Frankfurt am Main-Firmenlogo
Ingenieur:innen (w/m/d) Verkehrstechnik Stadt Frankfurt am Main
Frankfurt am Main Zum Job 
Leibniz Institut für Naturstoff-Forschung und Infektionsbiologie e.V. Hans-Knöll-Institut (HKI)-Firmenlogo
Software Engineer (m/f/div) Leibniz Institut für Naturstoff-Forschung und Infektionsbiologie e.V. Hans-Knöll-Institut (HKI)
Leibniz Institut für Naturstoff-Forschung und Infektionsbiologie e.V. Hans-Knöll-Institut (HKI)-Firmenlogo
Software Engineer (m/f/div) Leibniz Institut für Naturstoff-Forschung und Infektionsbiologie e.V. Hans-Knöll-Institut (HKI)
Prognost Systems GmbH-Firmenlogo
Technischer Kundenbetreuer / Elektroingenieur (m/w/d) im Customer Support Prognost Systems GmbH
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) C-ITS Entwicklung Die Autobahn GmbH des Bundes
Frankfurt am Main Zum Job 

Damit werden Entscheidungen des Menschen entweder vorbereitet, also eine Erstauswahl getroffen, mit der die menschlichen Kollegen dann weiterarbeiten können. Oder aber der Mensch wird gleich ganz aus der Gleichung genommen und greift gar nicht mehr aktiv in den Entscheidungsprozess ein. „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich heute leider oft als Trugschluss“, bilanziert ITAS-Wissenschaftler Carsten Orwat. Kritisch würde es vor allem, wenn die Algorithmen bei ihrer Entscheidungsfindung Merkmale nutzen, die eigentlich geschützt seien. Wenn sie also beispielsweise Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen aufnehmen, obwohl sie diese Informationen bei bestimmten Entscheidungen nicht berücksichtigen dürften. Damit unterscheiden sich die Algorithmen zwar nicht unbedingt vom Mensch, der die Aufgabe erfüllt hätte, aber sie machen eben auch nichts besser.

Diskriminierung bei Entlassungen und Kreditvergabe

Studienautor Orwat zählt in seiner Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ verschiedene Sachverhalte auf und nennt Beispiele, in denen einzelne Menschen oder Bevölkerungsgruppen durch Algorithmen lernender Systeme benachteiligt wurden. In den USA unterstützt ein Computersystem etwa bei der Frage nach frühzeitiger Haftentlassung. Die Risikowahrscheinlichkeit von Amerikanern mit afrikanischer Abstammung werde dabei überschätzt und im Gegensatz zu dem der weißen Bevölkerung zu hoch angesetzt, kritisieren Menschenrechtsverbände.

In Finnland nutzte ein Kreditinstitut Algorithmen für den webbasierten Vergabeprozess von Krediten. Doch der Algorithmus fand Männer im Schnitt kreditwürdiger als Frauen und traute auch Finnen eher zu, ihre Kredite zurückzuzahlen als Schweden. Das Institut wurde daraufhin zu Strafzahlungen verurteilt, weil es gegen das finnische Antidiskriminierungsrecht verstoßen habe.

„Werden Daten verarbeitet, die Bewertungen von Menschen über anderer Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen verbreiten oder verstärken“ resümiert Orwat. Seine Empfehlung: Wer algorithmenbasierte Systeme einsetzt, sollte die programmierenden Fachkräfte sowie die Mitarbeiter, die später mit dem System arbeiten, von Antidiskriminierungsstellen beraten lassen. So könne das Risiko minimiert werden, dass Vorurteile, Stereotype und Fehlinformationen in die Datenbasis des Systems gelangen, um von dort die Entscheidungsfindung zu beeinflussen.

Die vollständige Studie kann auf der Internetseite der Antidiskriminierungsstelle des Bundes heruntergeladen werden.

Lesen Sie auch:

So viel verdienen Experten für künstliche Intelligenz

Ein Beitrag von:

  • Lisa Diez-Holz

    Die Autorin war von 2017 bis Ende 2019 Content Managerin für das TechnikKarriere-News-Portal des VDI Verlags. Zuvor schrieb sie als Redakteurin für die VDI nachrichten.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.