Neue Forschung zielt darauf ab, das Problem der KI-Verzerrung in Black-Box-Algorithmen zu lösen

Siobhan Gallagher

Von der Aktienauswahl bis zur Untersuchung von Röntgenbildern wird künstliche Intelligenz zunehmend eingesetzt, um Entscheidungen zu treffen, die früher Menschen vorbehalten waren. Aber KI ist nur so gut wie die Daten, mit denen sie trainiert wurde, und in vielen Fällen backen wir unsere allzu menschlichen Vorurteile in Algorithmen ein, die das Potenzial haben, einen großen Einfluss auf das Leben der Menschen zu nehmen.

In einem neues Papier veröffentlicht auf dem arXiv , sagen Forscher, dass sie möglicherweise einen Weg gefunden haben, das Problem für Algorithmen zu entschärfen, die für Außenstehende schwer zu untersuchen sind – sogenannte Black-Box-Systeme.



Ein besonders besorgniserregender Bereich für Voreingenommenheit ist die Risikobewertungsmodellierung, die beispielsweise über die Chancen einer Person entscheiden kann, eine Kaution zu erhalten oder einen Kredit zu genehmigen. Es ist normalerweise illegal, in solchen Fällen Faktoren wie die Rasse zu berücksichtigen, aber Algorithmen können lernen, die Tatsache zu erkennen und auszunutzen, dass das Bildungsniveau oder die Wohnadresse einer Person mit anderen demografischen Informationen korrelieren kann, was sie effektiv mit rassischen und anderen Vorurteilen durchdringen kann.

Was dieses Problem noch komplizierter macht, ist, dass viele der KIs, die verwendet werden, um diese Entscheidungen zu treffen, Black Boxes sind – entweder sind sie zu kompliziert, um sie leicht zu verstehen, oder es sind proprietäre Algorithmen, die Unternehmen nicht erklären wollen. Forscher haben an Tools gearbeitet, um einen Blick darauf zu werfen, was vor sich geht unter der Haube , aber das Problem ist weit verbreitet und nimmt zu (siehe Biased Algorithms Are Everywhere, and No One Seems to Care ).

In der Veröffentlichung erprobten Sarah Tan (die damals bei Microsoft arbeitete) und Kollegen ihre Methode an zwei Black-Box-Modellen zur Risikobewertung: eines über Kreditrisiken und Ausfallraten des Peer-to-Peer-Unternehmens LendingClub und eines von Northpointe , ein Unternehmen, das Gerichten im ganzen Land algorithmusbasierte Dienstleistungen anbietet und das Rückfallrisiko für Angeklagte vorhersagt.

Die Forscher verwendeten einen zweigleisigen Ansatz, um zu beleuchten, wie diese potenziell voreingenommenen Algorithmen funktionieren. Zunächst erstellten sie ein Modell, das den untersuchten Black-Box-Algorithmus nachahmt und auf der Grundlage eines ersten Datensatzes eine Risikobewertung ermittelt, genau wie LendingClub und Northpointe es tun würden. Dann bauten sie ein zweites Modell, das sie mit realen Ergebnissen trainierten, und nutzten es, um zu bestimmen, welche Variablen aus dem ursprünglichen Datensatz für die endgültigen Ergebnisse wichtig waren.

Im Fall von LendingClub analysierten die Forscher Daten zu einer Reihe fälliger Kredite von 2007 bis 2011. Die Datenbank von LendingClub enthielt zahlreiche verschiedene Felder, aber die Forscher fanden heraus, dass das Kreditmodell des Unternehmens wahrscheinlich sowohl das Jahreseinkommen des Antragstellers als auch den Zweck des Kredits ignorierte . Es kann sinnvoll sein, das Einkommen zu ignorieren, da es selbst gemeldet wird und gefälscht werden kann. Der Zweck des Darlehens ist jedoch stark mit dem Risiko korreliert – Darlehen für kleine Unternehmen sind viel riskanter als beispielsweise solche, die zur Finanzierung von Hochzeiten verwendet werden. LendingClub schien also eine wichtige Variable zu ignorieren.

Northpointe sagt unterdessen, dass sein COMPAS-Algorithmus die Rasse nicht als Variable einschließt, wenn er Empfehlungen zur Verurteilung gibt. Doch in einer Untersuchung durch ProPublica , sammelten Journalisten rassistische Informationen über Angeklagte, die mit Hilfe von COMPAS verurteilt wurden, und fanden Beweise für rassistische Vorurteile. In ihrem Nachahmungsmodell verwendeten die Forscher die von ProPublica gesammelten Daten sowie Informationen zu Alter, Geschlecht, Anklagegrad, Anzahl der Vorstrafen und Dauer eines früheren Gefängnisaufenthalts der Angeklagten. Die Methode stimmte mit den Ergebnissen von ProPublica überein, was darauf hindeutet, dass COMPAS wahrscheinlich für einige Alters- und Rassengruppen voreingenommen war.

Kritiker mögen darauf hinweisen, dass dies keine exakten Nachbildungen sind – die Forscher haben aus Notwendigkeit viele fundierte Vermutungen angestellt. Aber wenn das Unternehmen hinter einem Algorithmus nicht bereit ist, Informationen darüber zu veröffentlichen, wie sein System funktioniert, sind Annäherungsmodelle wie die aus dieser Forschung ein vernünftiger Weg, um Einblick zu erhalten, sagt Brendan O'Connor, Assistenzprofessor an der University of Massachusetts , Amherst, der eine Abhandlung über Voreingenommenheit in der Verarbeitung natürlicher Sprache veröffentlicht hat.

Wir müssen uns bewusst sein, dass dies geschieht, und dürfen nicht die Augen davor verschließen und so tun, als ob es nicht passieren würde, sagt O’Connor.

verbergen