Facebook hat ein neuronales Netzwerk, das fortgeschrittene Mathematik leisten kann

Hier ist eine Herausforderung für die mathematisch Begabten unter euch. Lösen Sie die folgende Differentialgleichung nach Y :

Gleichung 1

Sie haben 30 Sekunden. Schnell! Kein Trödeln.

Die Antwort lautet natürlich:



Gleichung 2

Wenn Sie keine Lösung finden konnten, haben Sie kein schlechtes Gewissen. Dieser Ausdruck ist so knifflig, dass sogar verschiedene leistungsstarke Mathematik-Softwarepakete selbst nach 30 Sekunden Zahlenknirschen versagten.

Und doch sagen Guillaume Lample und François Charton von Facebook AI Research in Paris, dass sie einen Algorithmus entwickelt haben, der die Arbeit mit nur einem kurzen Nachdenken erledigt. Diese Jungs haben zum ersten Mal ein neuronales Netzwerk darauf trainiert, die notwendige symbolische Argumentation durchzuführen, um mathematische Ausdrücke zu differenzieren und zu integrieren. Die Arbeit ist ein bedeutender Schritt in Richtung leistungsfähigerer mathematischer Argumentation und einer neuen Art der Anwendung neuronaler Netze über traditionelle Mustererkennungsaufgaben hinaus.

Zunächst etwas Hintergrund. Neuronale Netze sind bei Mustererkennungsaufgaben wie Gesichts- und Objekterkennung, bestimmten Arten der Verarbeitung natürlicher Sprache und sogar beim Spielen von Spielen wie Schach, Go und Space Invaders sehr erfolgreich.

Aber trotz vieler Bemühungen ist es niemandem gelungen, ihnen symbolische Denkaufgaben beizubringen, wie sie in der Mathematik vorkommen. Das Beste, was neuronale Netze erreicht haben, ist die Addition und Multiplikation ganzer Zahlen.

Eine der Schwierigkeiten bei fortgeschrittenen mathematischen Ausdrücken für neuronale Netze und Menschen ist die Kurzschrift, auf die sie sich verlassen. Zum Beispiel der Ausdruck x 3 ist eine Kurzschreibweise x multipliziert mit x multipliziert mit x . In diesem Beispiel ist Multiplikation eine Abkürzung für wiederholte Addition, die selbst eine Abkürzung für den Gesamtwert von zwei kombinierten Größen ist.

Es ist leicht zu erkennen, dass selbst ein einfacher mathematischer Ausdruck eine stark komprimierte Beschreibung einer Folge viel einfacherer mathematischer Operationen ist.

Es ist also keine Überraschung, dass neuronale Netze mit dieser Art von Logik zu kämpfen haben. Wenn sie nicht wissen, was die Kurzschrift darstellt, ist die Chance gering, dass sie lernen, sie zu verwenden. Tatsächlich haben Menschen ein ähnliches Problem, das oft schon in jungen Jahren eingeflößt wird.

Dennoch beinhalten Prozesse wie Integration und Differentiation auf der grundlegenden Ebene immer noch Mustererkennungsaufgaben, wenn auch durch mathematische Kurzschrift verdeckt.

Hier kommen Lample und Charton ins Spiel, die einen eleganten Weg gefunden haben, mathematische Kurzschriften in ihre grundlegenden Einheiten zu zerlegen. Dann bringen sie einem neuronalen Netzwerk bei, die Muster mathematischer Manipulationen zu erkennen, die der Integration und Differenzierung entsprechen. Schließlich lassen sie das neuronale Netzwerk auf Ausdrücke los, die es noch nie gesehen hat, und vergleichen die Ergebnisse mit den Antworten, die von herkömmlichen Solvern wie Mathematica und Matlab abgeleitet wurden.

Der erste Teil dieses Prozesses besteht darin, mathematische Ausdrücke in ihre Bestandteile zu zerlegen. Lample und Charton tun dies, indem sie Ausdrücke als baumartige Strukturen darstellen. Die Blätter an diesen Bäumen sind Zahlen, Konstanten und Variablen wie x ; die internen Knoten sind Operatoren wie Addition, Multiplikation, Differentiation-mit-Bezug-zu und so weiter.

Zum Beispiel kann der Ausdruck 2 + 3 x (5+2) geschrieben werden als:

Gleichung 4

Und der Ausdruck

Gleichung 5

ist:

Gleichung 6

Und so weiter.

Bäume sind gleich, wenn sie mathematisch äquivalent sind. Beispielsweise,
2 + 3 = 5 = 12 - 7 = 1 x 5 sind alle äquivalent; daher sind auch ihre Bäume gleichwertig.

Viele mathematische Operationen sind auf diese Weise einfacher zu handhaben. Zum Beispiel läuft die Vereinfachung von Ausdrücken darauf hinaus, eine kürzere äquivalente Darstellung eines Baums zu finden, sagen Lample und Charton.

Diese Bäume können auch als Sequenzen geschrieben werden, wobei jeder Knoten nacheinander genommen wird. In dieser Form sind sie reif für die Verarbeitung durch einen neuronalen Netzwerkansatz namens seq2seq.

Interessanterweise wird dieser Ansatz häufig auch für die maschinelle Übersetzung verwendet, bei der eine Wortfolge einer Sprache in eine Wortfolge einer anderen Sprache übersetzt werden muss. Tatsächlich sagen Lample und Charton, dass ihr Ansatz Mathematik im Wesentlichen als natürliche Sprache behandelt.

Die nächste Stufe ist der Schulungsprozess, und dies erfordert eine riesige Datenbank mit Beispielen, aus denen man lernen kann. Lample und Charton erstellen diese Datenbank, indem sie zufällig mathematische Ausdrücke aus einer Bibliothek binärer Operatoren wie Addition, Multiplikation usw. zusammenstellen; unäre Operatoren wie cos, sin und exp; und eine Reihe von Variablen, ganzen Zahlen und Konstanten, wie z. B. π und e. Sie begrenzen auch die Anzahl der internen Knoten, um zu verhindern, dass die Gleichungen zu groß werden.

Selbst bei einer relativ kleinen Anzahl von Knoten und mathematischen Komponenten ist die Anzahl möglicher Ausdrücke enorm. Jede Zufallsgleichung wird dann unter Verwendung eines Computeralgebrasystems integriert und differenziert. Jeder Ausdruck, der nicht integriert werden kann, wird verworfen.

Auf diese Weise erzeugen die Forscher einen gewaltigen Trainingsdatensatz, der beispielsweise aus 80 Millionen Beispielen für Differentialgleichungen erster und zweiter Ordnung und 20 Millionen Beispielen für teilintegrierte Ausdrücke besteht.

Durch Verarbeitung dieses Datensatzes lernt das neuronale Netzwerk dann, wie es die Ableitung oder das Integral eines gegebenen mathematischen Ausdrucks berechnet.

Schließlich haben Lample und Charton ihr neuronales Netzwerk auf Herz und Nieren geprüft, indem sie es mit 5.000 Ausdrücken fütterten, die es noch nie zuvor gesehen hatte, und die Ergebnisse, die es in 500 Fällen lieferte, mit denen von kommerziell erhältlichen Solvern wie Maple, Matlab und Mathematica verglichen.

Diese Löser verwenden einen algorithmischen Ansatz, der in den 1960er Jahren von dem amerikanischen Mathematiker Robert Risch entwickelt wurde. Der Algorithmus von Risch ist jedoch riesig und läuft allein für die Integration auf 100 Seiten. Daher verwendet symbolische Algebra-Software oft abgespeckte Versionen, um die Dinge zu beschleunigen.

Die Vergleiche zwischen diesen und dem neuronalen Netzwerkansatz sind aufschlussreich. Bei allen Aufgaben beobachten wir, dass unser Modell Mathematica deutlich übertrifft, sagen die Forscher. Bei der Funktionsintegration erreicht unser Modell eine Genauigkeit von nahezu 100 %, während Mathematica kaum 85 % erreicht. Und die Maple- und Matlab-Pakete schneiden im Durchschnitt weniger gut ab als Mathematica.

In vielen Fällen sind die herkömmlichen Löser überhaupt nicht in der Lage, eine Lösung zu finden, wenn man ihnen 30 Sekunden Zeit gibt, um es zu versuchen. Im Vergleich dazu braucht das neuronale Netz etwa eine Sekunde, um seine Lösungen zu finden. Das Beispiel oben auf dieser Seite ist eines davon.

Ein interessantes Ergebnis ist, dass das neuronale Netz oft mehrere gleichwertige Lösungen für dasselbe Problem findet. Das liegt daran, dass mathematische Ausdrücke normalerweise auf viele verschiedene Arten geschrieben werden können.

Diese Fähigkeit ist für die Forscher so etwas wie ein verlockendes Rätsel. Die Fähigkeit des Modells, äquivalente Ausdrücke wiederherzustellen, ohne dafür trainiert worden zu sein, ist sehr faszinierend, sagen Lample und Charton.

Das ist ein bedeutender Durchbruch. Nach unserem besten Wissen hat keine Studie die Fähigkeit neuronaler Netze untersucht, Muster in mathematischen Ausdrücken zu erkennen, sagen die beiden.

Jetzt, da dies der Fall ist, hat das Ergebnis eindeutig ein enormes Potenzial in der immer wichtiger und komplexer werdenden Welt der Computermathematik.

Facebooks Pläne für diesen Ansatz verraten die Forscher nicht. Aber es ist nicht schwer zu sehen, wie es einen eigenen symbolischen Algebra-Service anbieten könnte, der die Marktführer übertrifft.

Stillsitzen werden die Konkurrenten aber wohl nicht. Erwarten Sie einen mächtigen Kampf in der Welt der Computermathematik.

Ref: arxiv.org/abs/1912.01412 : Deep Learning für symbolische Mathematik

verbergen