Facebook behauptet, dass sein neuer Chatbot den von Google als den besten der Welt schlägt

Trotz aller Fortschritte, die Chatbots und virtuelle Assistenten gemacht haben, sind sie immer noch schreckliche Gesprächspartner. Die meisten sind sehr aufgabenorientiert: Sie stellen eine Forderung und sie erfüllen. Einige sind sehr frustrierend: Sie scheinen nie das zu bekommen, wonach Sie suchen. Andere sind schrecklich langweilig: Ihnen fehlt der Charme eines menschlichen Begleiters. Es ist in Ordnung, wenn Sie nur einen Timer einstellen möchten. Aber da diese Bots als Schnittstellen für alles vom Einzelhandel über das Gesundheitswesen bis hin zu Finanzdienstleistungen immer beliebter werden, werden die Unzulänglichkeiten nur noch offensichtlicher.

Jetzt hat Facebook Open-Source a neuer Chatbot dass es behauptet, über fast alles auf ansprechende und interessante Weise sprechen zu können. Blender könnte virtuellen Assistenten nicht nur helfen, viele ihrer Mängel zu beheben, sondern auch Fortschritte in Richtung des größeren Ehrgeizes markieren, das einen Großteil der KI-Forschung antreibt: die Replikation von Intelligenz. Der Dialog ist eine Art „AI Complete“-Problem, sagt Stephen Roller, ein Forschungsingenieur bei Facebook, der das Projekt mitleitete. Sie müssten die gesamte KI lösen, um den Dialog zu lösen, und wenn Sie den Dialog lösen, haben Sie die gesamte KI gelöst.



Die Fähigkeit von Blender ergibt sich aus dem immensen Umfang seiner Trainingsdaten. Es wurde zunächst anhand von 1,5 Milliarden öffentlich zugänglichen Reddit-Gesprächen trainiert, um ihm eine Grundlage für die Generierung von Antworten in einem Dialog zu geben. Es wurde dann mit zusätzlichen Datensätzen für jede der drei Fähigkeiten verfeinert: Gespräche, die irgendeine Art von Emotion enthielten , um ihm Empathie beizubringen (wenn ein Benutzer zum Beispiel sagt, dass ich befördert wurde, kann er sagen: Herzlichen Glückwunsch!); informationsreiche Gespräche mit einem Experten, um ihm Wissen beizubringen; und Gespräche zwischen Menschen mit unterschiedlichen Persönlichkeiten , um ihm Persönlichkeit beizubringen. Das resultierende Modell ist 3,6 mal größer als Googles Chatbot Meena , das im Januar angekündigt wurde – so groß, dass es nicht auf ein einzelnes Gerät passt und stattdessen auf zwei Computerchips laufen muss.

Facebook Blender-Chatprotokoll

Ein Beispiel für ein Gespräch zwischen einem Menschen und Blender.

FACEBOOK

Google erklärte damals, Meena sei der beste Chatbot der Welt. In Facebooks eigenen Tests fanden jedoch 75 % der menschlichen Bewerter Blender ansprechender als Meena, und 67 % fanden, dass es sich eher wie ein Mensch anhört. Der Chatbot täuschte auch menschliche Bewerter in 49 % der Fälle vor, dass seine Gesprächsprotokolle menschlicher seien als die Gesprächsprotokolle zwischen echten Menschen – was bedeutet, dass es keinen großen qualitativen Unterschied zwischen den beiden gab. Google hatte zum Zeitpunkt der Veröffentlichung dieser Geschichte nicht auf eine Bitte um einen Kommentar geantwortet.

Trotz dieser beeindruckenden Ergebnisse sind die Fähigkeiten von Blender jedoch noch lange nicht die eines Menschen. Bisher hat das Team den Chatbot nur bei kurzen Gesprächen mit 14 Runden evaluiert. Wenn es länger weiterplaudert, vermuten die Forscher, würde es bald keinen Sinn mehr machen. Diese Modelle sind nicht in der Lage, super in die Tiefe zu gehen, sagt Emily Dinan, die andere Projektleiterin. Sie sind nicht in der Lage, sich an den Gesprächsverlauf über ein paar Runden hinaus zu erinnern.

Blender neigt auch dazu, Wissen zu halluzinieren oder Fakten zu erfinden – eine direkte Einschränkung der Deep-Learning-Techniken, die zum Aufbau verwendet werden. Es generiert seine Sätze letztendlich eher aus statistischen Korrelationen als aus einer Wissensdatenbank. Infolgedessen kann es beispielsweise eine detaillierte und kohärente Beschreibung eines berühmten Prominenten aneinanderreihen, jedoch mit völlig falschen Informationen. Das Team plant, mit der Integration einer Wissensdatenbank in die Antwortgenerierung des Chatbots zu experimentieren.

Bewertung von Facebook Blender

Menschliche Bewerter verglichen Multi-Turn-Gespräche mit verschiedenen Chatbots.

FACEBOOK

Eine weitere große Herausforderung bei jedem offenen Chatbot-System besteht darin, zu verhindern, dass es giftige oder voreingenommene Dinge sagt. Da solche Systeme letztendlich auf Social Media trainiert werden, können sie am Ende das Gift des Internets wieder ausspucken. (Das ist infamöserweise passiert Microsofts Chatbot Tay im Jahr 2016.) Das Team versuchte, dieses Problem anzugehen, indem es Crowdworker bat, schädliche Sprache aus den drei Datensätzen herauszufiltern, die es für die Feinabstimmung verwendete, aber es tat dies aufgrund seiner Größe nicht für den Reddit-Datensatz. (Jeder, der viel Zeit auf Reddit verbracht hat, wird wissen, warum das problematisch sein könnte.)

Das Team hofft, mit besseren Sicherheitsmechanismen zu experimentieren, einschließlich eines Klassifikators für giftige Sprache, der die Antwort des Chatbots überprüfen könnte. Die Forscher räumen jedoch ein, dass dieser Ansatz nicht umfassend sein wird. Manchmal kann ein Satz wie Ja, das ist großartig erscheinen, aber in einem sensiblen Kontext, wie beispielsweise als Antwort auf einen rassistischen Kommentar, kann er schädliche Bedeutungen annehmen.

Langfristig ist das KI-Team von Facebook auch daran interessiert, ausgefeiltere Konversationsagenten zu entwickeln, die sowohl auf visuelle Hinweise als auch auf Worte reagieren können. Ein Projekt entwickelt zum Beispiel ein System namens Image Chat, das sich vernünftig und mit Persönlichkeit über die Fotos unterhalten kann, die ein Benutzer senden könnte.

verbergen