Der Bildverarbeitungsalgorithmus schlägt Kunsthistoriker in ihrem eigenen Spiel

Nur wenige Bereiche der akademischen Forschung sind dem Einfluss der Informatik und des maschinellen Lernens entgangen. Aber eine davon ist die Kunstgeschichte. Die Herausforderung, Gemälde zu analysieren, ihre Künstler zu erkennen und ihren Stil und Inhalt zu identifizieren, war schon immer jenseits der Möglichkeiten selbst der fortschrittlichsten Algorithmen.

Das ändert sich jetzt dank der jüngsten Fortschritte im maschinellen Lernen, die auf Ansätzen wie Deep Convolutional Neural Networks basieren. In nur wenigen Jahren haben Informatiker Maschinen entwickelt, die Menschen bei allen Arten von Mustererkennungsaufgaben ebenbürtig und manchmal sogar überlegen sind.

Heute sehen wir, wie weit diese Ansätze in den Händen von Babak Saleh und Ahmed Elgammal an der Rutgers University in New Jersey geworden sind. Diese Jungs haben diese neuen maschinellen Lerntechniken verwendet, um Algorithmen zu trainieren, den Künstler und Stil eines Kunstgemäldes mit einer Genauigkeit zu erkennen, die noch nie zuvor erreicht wurde.



Darüber hinaus offenbaren die Ergebnisse Verbindungen zwischen Künstlern und zwischen ganzen Malstilen, an deren Verständnis Kunsthistoriker jahrelang gearbeitet haben.

Saleh und Elgammal beginnen mit einer Datenbank mit Bildern von mehr als 80.000 Gemälden von mehr als 1.000 Künstlern aus 15 Jahrhunderten. Diese Gemälde umfassen 27 verschiedene Stile mit jeweils mehr als 1.500 Beispielen. Die Forscher klassifizieren die Werke auch nach Genres wie Interieur, Stadtbild, Landschaft und so weiter.

Sie nehmen dann eine Teilmenge der Bilder und verwenden sie, um verschiedene Arten von hochmodernen maschinellen Lernalgorithmen zu trainieren, um bestimmte Merkmale herauszusuchen. Dazu gehören allgemeine Merkmale auf niedriger Ebene wie die Gesamtfarbe sowie erweiterte Merkmale, die die Objekte im Bild beschreiben, z. B. ein Pferd und ein Kreuz. Das Endergebnis ist eine vektorähnliche Beschreibung jedes Gemäldes, die 400 verschiedene Dimensionen enthält.

Die Forscher testen den Algorithmus dann an einer Reihe von Gemälden, die sie noch nicht gesehen haben. Und die Ergebnisse sind beeindruckend. Ihr neuer Ansatz kann den Künstler in über 60 Prozent der Gemälde, die es sieht, und den Stil in 45 Prozent von ihnen genau identifizieren.

Aber entscheidend ist, dass der Ansatz des maschinellen Lernens einen Einblick in die Natur der bildenden Kunst bietet, die ansonsten selbst für Menschen schwer zu entwickeln ist. Dies ergibt sich aus der Analyse der Gemälde, die der Algorithmus nur schwer klassifizieren kann.

Zum Beispiel sagen Saleh und Elgammal, dass ihr neuer Ansatz es schwierig finde, zwischen Werken von Camille Pissarro und Claude Monet zu unterscheiden. Aber ein wenig Recherche über diese Künstler zeigt schnell, dass beide im späten 19. und frühen 20. Jahrhundert in Frankreich tätig waren und beide die Académie Suisse in Paris besuchten. Ein Experte weiß vielleicht auch, dass Pissarro und Monet gute Freunde waren und viele Erfahrungen teilten, die ihre Kunst prägten. Die Tatsache, dass ihre Arbeit ähnlich ist, ist also keine Überraschung.

Als weiteres Beispiel verwechselt der neue Ansatz Werke von Claude Monet und dem amerikanischen Impressionisten Childe Hassam, der, wie sich herausstellt, stark von den französischen Impressionisten und insbesondere von Monet beeinflusst wurde. Dies sind Links, die ein Mensch möglicherweise einige Zeit braucht, um sie zu entdecken.

Der algorithmische Ansatz findet auch Verbindungen zwischen bestimmten künstlerischen Stilen. Zum Beispiel verwechselt es oft Beispiele des abstrakten Expressionismus und Action Paintings, in denen Künstler Farbe tropfen oder schleudern und auf die Leinwand treten. Saleh und Elgammal sagen noch einmal, dass diese Art von Verwechslung für einen menschlichen Betrachter völlig verständlich wäre. „Action Painting“ ist eine Art oder ein Subgenre des abstrakten Expressionismus“, betonen sie.

Der Algorithmus findet zahlreiche weitere Ähnlichkeiten heraus. Es verbindet Expressionismus und Fauvismus, was zu erwarten wäre, da letztere Bewegung oft als eine Art Expressionismus angesehen wird. Es verbindet den Stil des Manierismus und der Renaissance, was deutlich macht, dass der Manierismus eine Form der Malerei der frühen Renaissance ist.

Und es findet andere direktere Verbindungen, zum Beispiel zwischen Renaissance- und Frührenaissance-Malerei, zwischen Impressionismus und Postimpressionismus und zwischen Kubismus und seiner späteren Manifestation, dem synthetischen Kubismus.

Diese Verbindungen sind Kunsthistorikern wohlbekannt, aber nur aufgrund jahrzehntelanger oder gar jahrhundertelanger Forschung. Im Gegensatz dazu erstreckt sich der maschinelle Lernansatz nur über wenige Monate.

Das hat wichtige Implikationen für das Studium der Kunstgeschichte. Eine Anwendung der neuen Algorithmen besteht darin, Gemälde mit ähnlichen Merkmalen herauszusuchen (siehe Bilder). Dies bietet Historikern ein neues und leistungsfähiges Werkzeug, um nach Einflüssen zwischen Künstlern zu suchen, die ihnen vielleicht nie bewusst waren.

Es ermöglicht auch eine neue Form der künstlerischen Erforschung, das Springen von einem Bild zu einem anderen ähnlichen, in einem Prozess, der visuell dem Finden von Synonymen entspricht.

Faszinierendes Zeug!

Ref: arxiv.org/abs/1505.00855 : Groß angelegte Klassifizierung von Gemälden der bildenden Kunst: Lernen der richtigen Metrik für das richtige Merkmal

verbergen