Amazons Personal-KI diskriminierte Frauen

| Redakteur: Sebastian Gerstl

Weil in technologischen Berufen weniger Frauen als Männer arbeiten, zog eine bei Amazon entwickelte Personal-KI falsche Schlüsse: Der Algorithmus stufte die Lebensläufe weiblicher Bewerber automatisch schlechter ein.
Weil in technologischen Berufen weniger Frauen als Männer arbeiten, zog eine bei Amazon entwickelte Personal-KI falsche Schlüsse: Der Algorithmus stufte die Lebensläufe weiblicher Bewerber automatisch schlechter ein. (Bild: gemeinfrei / CC0)

Seit 2014 hatte Amazon ein KI-Projekt zum Anwerben neuer Mitarbeiter in der Entwicklung. Das Problem: Die Künstliche Intelligenz brachte sich selber bei, Frauen anhand von Schlüsselwörtern gegenüber Männern zu benachteiligen.

Dank der technologischen, hardwareseitigen Entwicklungen der letzten Jahre hat sich Künstliche Intelligenz wieder zu einem Trendthema in der IT-Elektronikbranche hochgearbeitet. Ob in der Elektronik, der Gesundheitsbranche, im öffentlichen Sektor oder in Personalabteilungen – in nahezu alle Geschäftsfelder soll KI einziehen. Bis zum Jahr 2022 soll jeder fünfte Arbeitnehmer in seinem Berufsalltag mit Künstlicher Intelligenz zu tun haben, sagt das Marktforschungsinstitut Gartner voraus.

Solche Einschätzungen sind technisch durchaus realistisch. Um den Weg dorthin zu meistern, muss eine KI allerdings erst gründlich mit Datensätzen trainiert werden, ehe es Menschen die Arbeit wirklich erleichtern oder abnehmen kann. Welche geheimen Fallstricke sich hierbei verstecken können, mussten Spezialisten bei Amazon während der Entwicklung einer KI feststellen, die für das Rekrutieren neuer Mitarbeiter zuständig sein sollte. Wie das Nachrichtenportal Reuters unter Bezug auf interne Quellen meldet, hatte sich die Headhunter-KI selbst beigebracht, Frauen gegenüber Männern benachteiligt zu behandeln.

Eine KI zur Bewertung von Lebensläufen

Demnach hatte ein internes Entwicklerteam bei Amazon seit 2014 Computerprogramme entwickelt, um die Lebensläufe der Bewerber zu überprüfen, mit dem Ziel, die Suche nach Top-Talenten zu mechanisieren. Reuters beruft sich bei seinen Angaben auf fünf Personen namentlich nicht genannte Personen, die mit den Bemühungen vertraut seien.

Amazon ist bereits seit Jahren ein Vorreiter im Gebiet der Automatisierung. Algorithmen haben in vielen Bereichen des Konzerns enorm zur Effizienzsteigerung beigetragen, sei es im E-Commerce, in Lagern oder bei Preisentscheidungen. Das experimentelle Recruitment-Tool des Unternehmens sollte künstliche Intelligenz nutzen, um Bewerbern Noten von einem bis fünf Sternen zu geben - ähnlich wie die Käufer Produkte bei Amazon bewerten.

"Jeder wollte diesen heiligen Gral", zitiert Reuters einen anonymen Mitarbeiter dieses Teams. "Sie wollten eine buchstäbliche Maschine, in die man 100 Lebensläufe füttert und aus denen sie dann die 5 besten herauspickt, und die werden wir einstellen."

Aber bis 2015 erkannte das Unternehmen, dass dieses neue System keine geschlechtsneutrale Bewertung von Kandidaten für Stellenangebote von Softwareentwicklern und anderen Fachkräften vorsieht. Das liegt daran, dass die Computermodelle von Amazon für die Prüfung von Bewerbern geschult wurden, indem Muster in Lebensläufen beobachtet wurden, die dem Unternehmen über einen Zeitraum von zehn Jahren übermittelt wurden. Die meisten kamen von Männern, was die männliche Dominanz in der gesamten Technologiebranche widerspiegelt.

KI zieht falsche Schlüsse aus einem männerdominierten Umfeld

Anzahl der MINT-Studienanfänger an deutschen Hochschulen nach Geschlecht in den Studienjahren von 2007/2008 bis 2017/2018. In der Tech-Branche sind deutlich mehr Männer als Frauen vertreten. Wenn es um besetzte Stellen in IT- oder Entwicklerposten geht, ist das Missverhältnis meist noch deutlich größer: Bei Microsoft oder Google ist (in den USA) nur jede fünfte technische Stelle von einer Frau besetzt.
Anzahl der MINT-Studienanfänger an deutschen Hochschulen nach Geschlecht in den Studienjahren von 2007/2008 bis 2017/2018. In der Tech-Branche sind deutlich mehr Männer als Frauen vertreten. Wenn es um besetzte Stellen in IT- oder Entwicklerposten geht, ist das Missverhältnis meist noch deutlich größer: Bei Microsoft oder Google ist (in den USA) nur jede fünfte technische Stelle von einer Frau besetzt. (Bild: Statiste 2018 / Quelle: Statistisches Bundesamt)

In Deutschland kommt in den MINT-Fächern (Mathematik, Naturwissenschaften (hierunter fällt auch Informatik) und "Ingenieurwissenschaften") nur auf jeden zweiten oder dritten männlichen Studienanfänger eine Frau. Bei festen Beschäftigungsverhältnissen in technischen Berufen ist das Missverhältnis noch ausgeprägter. So arbeiten etwa bei Google 69% Männer und 31% Frauen; wenn man aber die reinen Angestellten in technischen Berufen betrachtet, beträgt das Verhältnis sogar 79 % Männer / 21 % Frauen. Nur knapp jede fünfte technische Stelle ist dort von einer Frau besetzt. Ähnlich sieht es bei Konzernen wie Apple oder Microsoft aus.

Aus diesem Missverhältnis erlernte der bei Amazon entwickelte KI-Algorithmus, dass weibliche Kandidaten weniger erwünscht sind als männliche. Das schlug sich in seinem internen Bewertungssystem nieder, wie Reuters ausführt: Die Künstliche Intelligenz bestrafte Lebensläufe, die das Wort "Frauen" (women) enthielten, wie in "Spielführer des Frauenschachclubs" ("women’s chess club captain"). Außerdem soll sie nach internen Angaben alle Absolventinnen zweier reinen Frauenhochschulen ebenfalls automatisch niedriger eingestuft haben. Die Namen der beiden Einrichtungen wurden bei Reuters nicht genannt.

Anfangs versuchte Amazon noch, die zur Kandidatenwahl eingesetzten Computerprogramme manuell zu korrigieren. Allerdings konnten die Entwickler nicht garantieren, dass die KI auch andere, weniger offensichtliche und doch gender-spezifische Schlüsselwörter für die Beurteilung einsetzt. Wie Reuters meldet löste Amazon daraufhin das Projekt 2017 auf, nachdem die Führungskräfte die Hoffnung verloren haben, diese falsch erlernte Diskriminierung wieder korrigieren zu können. Die namentlich nicht genannten Angestellten beteuern, dass die Personalabteilung sich die von der KI getroffene Kandidatenauswahl und deren Bewertungen zwar angesehen hätten, aber in dieser Zeit keine Rekrutierungs-Entscheidungen auf dieser Grundlage getroffen hätten.

Die Sorgfalt beim Trainieren von KIs wird immer wieder unterschätzt

Gerade für Personalabteilungen wird der Einsatz von KI nach Kräften beworben. So stellte beispielsweise eine Studie des KPMG großes Potential besonders für Bereiche wie Recruiting, Schulungen und Administration. Dabei identifizieren sie als zentrale Einsatzfelder für KI die Unterstützung bei der Auswahl von Bewerbern, das Erstellen von Trainingsunterlagen und Mitarbeiter-Apps. Laut einer Umfrage des Talent-Softwareunternehmens CareerBuilder aus dem Jahr 2017 gaben etwa 55 Prozent der US-Personalverantwortlichen an, dass künstliche Intelligenz oder KI innerhalb der nächsten fünf Jahre ein fester Bestandteil ihrer Arbeit sein würde.

Technisch sind die Voraussetzungen hierfür tatsächlich bereits vorhanden. Dennoch kommt es aktuell beim Einsatz von Künstlichen Intelligenzen immer wieder zu Pannen; meist, wenn beim Trainieren der Neuronalen Netze Faktoren übersehen wurden, die die Programmierer nicht auf dem Schirm hatten. So stellte beispielsweise im Februar 2018 ein Angestellter des MIT Media Labs fest, dass Gesichtserkennungsalgorithmen in der Regel zu 99% die Gesichter weißer Männer richtig erkannte. Bei schwarzen Frauen schätzten die Algorithmen zu 35% nicht einmal das Geschlecht richtig ein.

Dies hat sich inzwischen zwar gebessert. Aber die MIT-Forscher bekräftigen, dass immer noch in der Gesellschaft bestehende Vorurteile in das Training der KI einfließen - und von dieser dann verstärkt umgesetzt werden. Meist geschieht das vollkommen unbewusst; im Falle der Amazon-Programmierer hatte man nicht damit gerechnet, dass das bestehende Missverhältnis in der Berufswelt von der KI als "Frauen unerwünscht" interpretiert werden würde.

Informatiker wie Nihar Shah, der an der Carnegie Mellon University Machine Learning unterrichtet, sagen, dass es noch viel zu tun gibt. "Wie man sicherstellt, dass der Algorithmus fair ist, wie man sicherstellt, dass der Algorithmus wirklich interpretierbar und erklärbar ist - das ist noch ziemlich weit weg", sagte er.

Die Technologien sind bereits vorhanden. Worauf es allerdings ankommt sind Programmierer, die auch verstehen, wie diese Neuronalen Netze auch wirklich sorgfältig genug zu programmieren sind.

Künstliche Intelligenz: Mehr Schein als Sein?

Künstliche Intelligenz: Mehr Schein als Sein?

09.10.18 - Um Künstliche Intelligenz gibt es viel Hype, doch sind bei der Anwendung noch keine großen Fortschritte zu verzeichnen. Warum das so ist und wie man Unternehmen den Einstieg in die KI erleichtern kann, erläutert Richard Rovner, Vice President of Marketing von MathWorks, im Gespräch mit "Industry of Things". lesen

Computer lernen, menschliche Emotionen natürlich zu interpretieren

Computer lernen, menschliche Emotionen natürlich zu interpretieren

26.07.18 - Forscher des MIT Media Lab haben ein maschinelles Lernmodell entwickelt, das Computern näherbringt, menschliche Emotionen so natürlich wie andere Menschen zu interpretieren. Das Modell lässt sich an andere Personenkreise anpassen – und erlaubt beispielsweise eine bessere Einschätzung von Depression, Demenz oder Autismus. lesen

Dilemma beim KI-Training: Wann ist gründlich gründlich genug?

Dilemma beim KI-Training: Wann ist gründlich gründlich genug?

26.06.18 - Ist es ein Gesicht, oder ein Ventilator? Eigentlich sollte dieser Unterschied eindeutig sein. Und doch habe ich nun schon öfter neuronale Netzwerke in Aktion erlebt, die eine solche Unterscheidung treffen sollten – und scheiterten. lesen

Kommentar zu diesem Artikel abgeben
Ich muss sagen, ich habe genau das befürchtet und sehe daher ebenfalls für bestimmte Anwendungen...  lesen
posted am 15.10.2018 um 07:06 von d_u_p_l_o

Das trainierte Netz ist also politisch nicht korrekt oder wie erwünscht Gender neutral. Wie auch?...  lesen
posted am 12.10.2018 um 13:25 von Unregistriert


Mitdiskutieren
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45541607 / KI/Machine Learning)