Warum es schlimmer werden kann, eine KI zu bitten, sich selbst zu erklären

Frogger will sprechen

Frogger will sprechenMS Tech / Getty

Upol Ehsan hat einmal eine Probefahrt in einem selbstfahrenden Uber-Auto gemacht. Anstatt sich über den leeren Fahrersitz zu ärgern, wurden ängstliche Passagiere ermutigt, einen Schnullerbildschirm zu betrachten, der die Straße aus der Autoperspektive zeigte: Gefahren in Orange und Rot, sichere Zonen in kühlem Blau.

Für Ehsan , der am Georgia Institute of Technology in Atlanta untersucht, wie Menschen mit KI interagieren, war die beabsichtigte Botschaft klar: Lassen Sie sich nicht verrückt machen – deshalb tut das Auto, was es tut. Aber etwas an der fremdartig aussehenden Straßenszene betonte eher die Seltsamkeit der Erfahrung als beruhigte sie. Das brachte Ehsan zum Nachdenken: Was wäre, wenn sich das selbstfahrende Auto wirklich selbst erklären könnte?



Der Erfolg von Deep Learning ist auf Bastelei zurückzuführen: Die besten neuronalen Netze werden optimiert und angepasst, um bessere zu machen, und praktische Ergebnisse haben das theoretische Verständnis übertroffen. Infolgedessen sind die Einzelheiten der Funktionsweise eines trainierten Modells normalerweise unbekannt. Wir betrachten sie mittlerweile als Black Boxes.

Meistens sind wir damit einverstanden, wenn es um Dinge wie das Spielen von Go oder das Übersetzen von Text oder die Auswahl der nächsten Netflix-Show geht, an der wir uns austoben können. Aber wenn KI verwendet werden soll, um Entscheidungen bei Strafverfolgung, medizinischer Diagnose und fahrerlosen Autos zu treffen, müssen wir verstehen, wie sie zu diesen Entscheidungen kommt – und wissen, wann sie falsch sind.

Menschen brauchen die Macht, einer automatisierten Entscheidung zu widersprechen oder sie abzulehnen, sagt er Iris Howley , Informatiker am Williams College in Williamstown, Massachusetts. Ohne dies werden sich die Menschen gegen die Technologie wehren. Sie können dies gerade jetzt mit der öffentlichen Reaktion auf Gesichtserkennungssysteme sehen, sagt sie.

Ehsan ist Teil einer kleinen, aber wachsenden Gruppe von Forschern, die versuchen, KIs besser darin zu machen, sich selbst zu erklären, um uns zu helfen, in die Black Box zu schauen. Das Ziel der sogenannten interpretierbaren oder erklärbaren KI (XAI) besteht darin, den Menschen zu helfen, zu verstehen, welche Merkmale in den Daten ein neuronales Netzwerk tatsächlich lernt – und ob das resultierende Modell genau und unvoreingenommen ist.

Eine Lösung besteht darin, Systeme für maschinelles Lernen zu bauen, die ihre Funktionsweise zeigen: sogenannte Glassbox – im Gegensatz zu Blackbox – KI. Glassbox-Modelle sind in der Regel stark vereinfachte Versionen eines neuronalen Netzwerks, in denen es einfacher ist, zu verfolgen, wie sich verschiedene Daten auf das Modell auswirken.

Es gibt Leute in der Community, die sich für die Verwendung von Glassbox-Modellen in allen High-Stakes-Umgebungen einsetzen, sagt er Jennifer Wortman Vaughan , Informatiker bei Microsoft Research. Ich stimme weitgehend zu. Einfache Glassbox-Modelle können bei bestimmten Arten von strukturierten Daten, wie z. B. Statistiktabellen, genauso gut funktionieren wie kompliziertere neuronale Netze. Für einige Anwendungen ist das alles, was Sie brauchen.

Aber es kommt auf die Domäne an. Wenn wir aus chaotischen Daten wie Bildern oder Text lernen wollen, stecken wir in tiefen – und damit undurchsichtigen – neuronalen Netzwerken fest. Die Fähigkeit dieser Netzwerke, sinnvolle Verbindungen zwischen einer sehr großen Anzahl unterschiedlicher Merkmale herzustellen, hängt mit ihrer Komplexität zusammen.

Auch hier könnte Glassbox Machine Learning helfen. Eine Lösung besteht darin, die Daten in zwei Durchgängen zu bearbeiten und ein unvollkommenes Glassbox-Modell als Debugging-Schritt zu trainieren, um potenzielle Fehler aufzudecken, die Sie möglicherweise korrigieren möchten. Sobald die Daten bereinigt sind, kann ein genaueres Black-Box-Modell trainiert werden.

Es ist jedoch eine knifflige Balance. Zu viel Transparenz kann zu einer Informationsüberlastung führen. In einem Gestüt 2018 Y Als er sich ansah, wie Laien mit maschinellen Lernwerkzeugen interagieren, stellte Vaughan fest, dass transparente Modelle es tatsächlich schwieriger machen können, die Fehler des Modells zu erkennen und zu korrigieren.

Ein anderer Ansatz besteht darin, Visualisierungen einzubeziehen, die einige Schlüsseleigenschaften des Modells und seiner zugrunde liegenden Daten zeigen. Die Idee ist, dass Sie schwerwiegende Probleme auf einen Blick erkennen können. Beispielsweise könnte sich das Modell zu sehr auf bestimmte Merkmale verlassen, was auf Verzerrungen hindeuten könnte.

Diese Visualisierungstools haben sich in der kurzen Zeit ihres Bestehens als unglaublich beliebt erwiesen. Aber helfen sie wirklich? Im erste Studie dieser Art , Vaughan und ihr Team haben versucht, es herauszufinden – und einige ernste Probleme aufgedeckt.

Das Team nahm zwei beliebte Interpretierbarkeitstools, die einen Überblick über ein Modell über Diagramme und Datenplots geben und Dinge hervorheben, die das maschinelle Lernmodell im Training am meisten aufgegriffen hat. Elf KI-Experten wurden von Microsoft rekrutiert, alle unterschiedlich in Ausbildung, Jobrollen und Erfahrung. Sie nahmen an einer Scheininteraktion mit einem maschinellen Lernmodell teil, das mit einem Datensatz zum Volkseinkommen aus der US-Volkszählung von 1994 trainiert wurde. Das Experiment wurde speziell entwickelt, um die Art und Weise nachzuahmen, wie Datenwissenschaftler Interpretierbarkeitswerkzeuge bei den Arten von Aufgaben verwenden, mit denen sie routinemäßig konfrontiert sind.

Was das Team fand, war bemerkenswert. Sicher, die Tools halfen manchmal dabei, fehlende Werte in den Daten zu erkennen. Aber diese Nützlichkeit wurde überschattet von der Tendenz, den Visualisierungen zu viel zu vertrauen und sie falsch zu interpretieren. In einigen Fällen konnten Benutzer nicht einmal beschreiben, was die Visualisierungen zeigten. Dies führte zu falschen Annahmen über den Datensatz, die Modelle und die Interpretierbarkeitswerkzeuge selbst. Und es hat ein falsches Vertrauen in die Tools geweckt, das die Teilnehmer bei der Bereitstellung der Modelle noch mehr begeistert hat, selbst wenn sie das Gefühl hatten, dass etwas nicht ganz stimmt. Beunruhigenderweise galt dies sogar dann, wenn die Ausgabe manipuliert worden war, um Erklärungen zu zeigen, die keinen Sinn ergaben.

Um die Ergebnisse ihrer kleinen Benutzerstudie zu untermauern, führten die Forscher anschließend eine Online-Umfrage unter rund 200 Fachleuten für maschinelles Lernen durch, die über Mailinglisten und soziale Medien rekrutiert wurden. Sie fanden ähnliche Verwirrung und fehlgeleitetes Vertrauen.

Schlimmer noch, viele Teilnehmer nutzten die Visualisierungen gerne, um Entscheidungen über den Einsatz des Modells zu treffen, obwohl sie zugaben, dass sie die Mathematik dahinter nicht verstanden. Es war besonders überraschend zu sehen, wie Leute Kuriositäten in den Daten rechtfertigten, indem sie Erzählungen erstellten, die sie erklärten, sagt er Harmanpreet Kaur an der University of Michigan, Co-Autor der Studie. Der Automatisierungsbias war ein sehr wichtiger Faktor, den wir nicht berücksichtigt hatten.

Ah, die Automatisierungsverzerrung. Mit anderen Worten, Menschen werden darauf vorbereitet, Computern zu vertrauen. Es ist nicht neu Phänomen . Wenn es um automatisierte Systeme von Flugzeug-Autopiloten bis hin zu Rechtschreibprüfungen geht, haben Studien gezeigt, dass Menschen oft die Entscheidungen akzeptieren, die sie treffen, selbst wenn sie offensichtlich falsch sind. Aber wenn dies mit Tools geschieht, die uns helfen sollen, genau dieses Phänomen zu vermeiden, haben wir ein noch größeres Problem.

Was können wir dagegen tun? Für einige besteht ein Teil des Problems mit der ersten Welle von XAI darin, dass sie von Forschern für maschinelles Lernen dominiert wird, von denen die meisten erfahrene Benutzer von KI-Systemen sind. Sagt Tim Miller von der University of Melbourne, der untersucht, wie Menschen KI-Systeme nutzen: Die Insassen leiten die Anstalt.

Das wurde Ehsan klar, als er auf der Rückbank des fahrerlosen Uber saß. Es ist einfacher zu verstehen, was ein automatisiertes System tut – und zu sehen, wenn es einen Fehler macht – wenn es Gründe für seine Handlungen angibt, wie es ein Mensch tun würde. Ehsan und sein Kollege Markus Riedl entwickeln ein maschinelles Lernsystem, das generiert automatisch solche Begründungen in natürlicher Sprache . In einem frühen Prototyp nahmen die beiden ein neuronales Netzwerk, das gelernt hatte, wie man das klassische Videospiel Frogger aus den 1980er Jahren spielt, und trainierten es so, dass es bei jeder Bewegung einen Grund lieferte.

Frosch Erklärung

Screenshot von Ehsan und Riedls Frogger-Erklärungssoftware Upol Ehsan

Dazu zeigten sie dem System viele Beispiele von Menschen, die das Spiel spielten, während sie laut darüber sprachen, was sie taten. Dann nahmen sie ein neuronales Netzwerk zum Übersetzen zwischen zwei natürlichen Sprachen und passten es an, um stattdessen zwischen Aktionen im Spiel und natürlichsprachlichen Begründungen für diese Aktionen zu übersetzen. Wenn das neuronale Netzwerk nun eine Aktion im Spiel sieht, übersetzt es sie in eine Erklärung. Das Ergebnis ist eine Frogger-spielende KI, die sagt, dass ich mich nach links bewege, um jedes Mal hinter dem blauen Truck zu bleiben, wenn er sich bewegt.

Die Arbeit von Ehsan und Riedl ist nur ein Anfang. Zum einen ist nicht klar, ob ein maschinell lernendes System immer in der Lage sein wird, seine Handlungen in natürlicher Sprache zu begründen. Nehmen Sie DeepMinds Brettspiel-KI AlphaZero. Eines der auffälligsten Merkmale der Software ist ihre Fähigkeit, Gewinnzüge zu machen, an die die meisten menschlichen Spieler zu diesem Zeitpunkt in einem Spiel nicht denken würden. Wenn AlphaZero seine Bewegungen erklären könnte, wären sie dann immer sinnvoll?

Gründe helfen, ob wir sie verstehen oder nicht, sagt Ehsan: Das Ziel von menschenzentrierter XAI ist nicht nur, den Benutzer dazu zu bringen, dem zuzustimmen, was die KI sagt, sondern auch zum Nachdenken anzuregen. Riedl erinnert sich, dass er den Livestream des Turnierspiels zwischen DeepMinds KI und dem koreanischen Go-Champion Lee Sedol gesehen hat. Die Kommentatoren sprachen darüber, was AlphaGo sah und dachte. „So hat AlphaGo nicht funktioniert“, sagt Riedl. 'Aber ich hatte das Gefühl, dass der Kommentar wesentlich war, um zu verstehen, was geschah.'

Worin sich diese neue Welle von XAI-Forschern einig ist, ist, dass, wenn KI-Systeme von mehr Menschen genutzt werden sollen, diese Menschen von Anfang an Teil des Designs sein müssen – und unterschiedliche Menschen brauchen unterschiedliche Arten von Erklärungen. (Dies wird durch eine neue Studie von Howley und ihren Kollegen untermauert, in der sie zeigen, dass die Fähigkeit von Menschen, eine interaktive oder statische Visualisierung zu verstehen, von ihrem Bildungsniveau abhängt.) Denken Sie an eine KI zur Krebsdiagnose, sagt Ehsan. Sie möchten, dass die Erklärung, die es einem Onkologen gibt, sich stark von der Erklärung unterscheidet, die es dem Patienten gibt.

Letztendlich wollen wir, dass sich KIs nicht nur Datenwissenschaftlern und Ärzten erklären, sondern auch Polizisten, die Gesichtserkennungstechnologie verwenden, Lehrern, die Analysesoftware in ihren Klassenzimmern verwenden, Schülern, die versuchen, ihre Social-Media-Feeds zu verstehen – und allen, die auf dem Rücksitz sitzen eines selbstfahrenden Autos. „Wir haben schon immer gewusst, dass Menschen Technologie zu viel vertrauen, und das gilt insbesondere für KI-Systeme“, sagt Riedl. Je mehr Sie sagen, dass es intelligent ist, desto mehr Menschen sind davon überzeugt, dass es intelligenter ist als sie.

Erklärungen, die jeder verstehen kann, sollten helfen, diese Blase zum Platzen zu bringen.

verbergen