Die Achillesferse der maschinellen Bildverarbeitung von Google-Gehirnforschern aufgedeckt

Einer der spektakulärsten Fortschritte in der modernen Wissenschaft war der Aufstieg des maschinellen Sehens. In nur wenigen Jahren hat eine neue Generation maschineller Lerntechniken die Sichtweise von Computern verändert.

Maschinen übertreffen heute Menschen bei der Gesichtserkennung und Objekterkennung und sind dabei, zahlreiche visuelle Aufgaben wie Fahren, Sicherheitsüberwachung usw. zu revolutionieren. Maschinelles Sehen ist jetzt übermenschlich.

Aber ein Problem zeichnet sich ab. Forscher der maschinellen Bildverarbeitung haben begonnen, einige besorgniserregende Mängel ihrer neuen Ladungen zu bemerken. Es stellt sich heraus, dass Bildverarbeitungsalgorithmen eine Achillesferse haben, die es ihnen ermöglicht, durch Bilder ausgetrickst zu werden, die auf eine Weise verändert wurden, die für einen Menschen trivial wäre.



Diese modifizierten Bilder werden als gegnerische Bilder bezeichnet und stellen eine erhebliche Bedrohung dar. Ein kontroverses Beispiel für den Bereich der Gesichtserkennung könnten sehr subtile Markierungen auf dem Gesicht einer Person sein, so dass ein menschlicher Beobachter ihre Identität korrekt erkennen würde, aber ein maschinelles Lernsystem würde sie als eine andere Person erkennen, sagen Alexey Kurakin und Samy Bengio von Google Brain und Ian Goodfellow von OpenAI, einem gemeinnützigen KI-Forschungsunternehmen.

Da Bildverarbeitungssysteme so neu sind, ist wenig über gegnerische Bilder bekannt. Niemand versteht, wie man sie am besten erstellt, wie sie Bildverarbeitungssysteme täuschen oder wie man sich vor dieser Art von Angriffen schützt.

Heute beginnt sich das zu ändern dank der Arbeit von Kurakin und Co., die erstmals damit begonnen haben, Bilder von Gegnern systematisch zu untersuchen. Ihre Arbeit zeigt, wie anfällig Bildverarbeitungssysteme für diese Art von Angriffen sind.

Das Team beginnt mit einer Standarddatenbank für die maschinelle Bildverarbeitung, die als ImageNet bekannt ist. Dies ist eine Datenbank mit Bildern, die nach dem, was sie zeigen, klassifiziert sind. Ein Standardtest besteht darin, einen Bildverarbeitungsalgorithmus auf einem Teil dieser Datenbank zu trainieren und dann zu testen, wie gut er einen anderen Teil der Datenbank klassifiziert.

Die Leistung in diesen Tests wird gemessen, indem gezählt wird, wie oft der Algorithmus in seinen Top-5-Antworten oder sogar seiner Top-1-Antwort (seiner sogenannten Top-5-Genauigkeit oder Top-1-Genauigkeit) die richtige Einstufung hat oder wie oft er nicht die richtige hat Antwort in seinen Top 5 oder Top 1 (seine Top-5-Fehlerrate oder Top-1-Fehlerrate).

Eines der besten Bildverarbeitungssysteme ist Googles Inception v3-Algorithmus, der eine Top-5-Fehlerquote von 3,46 Prozent aufweist. Menschen, die denselben Test durchführen, haben eine Top-5-Fehlerquote von etwa 5 Prozent, Inception v3 hat also wirklich übermenschliche Fähigkeiten.

Kurakin und Co erstellten eine Datenbank mit feindlichen Bildern, indem sie 50.000 Bilder von ImageNet auf drei verschiedene Arten modifizierten. Ihre Methoden nutzen die Idee, dass neuronale Netze Informationen verarbeiten, um ein Bild mit einer bestimmten Klassifizierung abzugleichen. Die hierfür erforderliche Informationsmenge, Kreuzentropie genannt, ist ein Maß dafür, wie schwierig die Matching-Aufgabe ist.

Ihr erster Algorithmus nimmt eine kleine Änderung an einem Bild vor, um diese Kreuzentropie zu maximieren. Ihr zweiter Algorithmus wiederholt diesen Prozess einfach, um das Bild weiter zu verändern.

Beide Algorithmen verändern das Bild in einer Weise, die eine korrekte Klassifizierung erschwert. Diese Methoden können zu uninteressanten Fehlklassifizierungen führen, wie zum Beispiel die Verwechslung einer Schlittenhunderasse mit einer anderen Schlittenhunderasse, sagen sie.

Ihr endgültiger Algorithmus hat einen viel klügeren Ansatz. Dadurch wird ein Bild so modifiziert, dass das Bildverarbeitungssystem es auf eine bestimmte Weise falsch klassifiziert, vorzugsweise auf eine Weise, die der wahren Klasse am wenigsten ähnelt. Die am wenigsten wahrscheinliche Klasse unterscheidet sich normalerweise stark von der wahren Klasse, daher führt diese Angriffsmethode zu interessanteren Fehlern, wie zum Beispiel der Verwechslung eines Hundes mit einem Flugzeug, sagen Kurakin und Co.

Anschließend testen sie, wie gut Googles Algorithmus Inception v3 die 50.000 gegnerischen Bilder klassifizieren kann.

Die beiden einfachen Algorithmen reduzieren die Top-5- und Top-1-Genauigkeit erheblich. Aber ihr leistungsstärkster Algorithmus – die Klassenmethode der geringsten Wahrscheinlichkeit – reduziert die Genauigkeit für alle 50.000 Bilder schnell auf Null. (Das Team sagt nicht, wie erfolgreich der Algorithmus bei der Lenkung von Fehlklassifizierungen ist.)

Das deutet darauf hin, dass gegnerische Bilder eine erhebliche Bedrohung darstellen, aber dieser Ansatz hat eine potenzielle Schwäche. Alle diese gegnerischen Bilder werden direkt in das Bildverarbeitungssystem eingespeist.

Aber in der realen Welt wird ein Bild immer durch das Kamerasystem modifiziert, das die Bilder aufnimmt. Und ein gegnerischer Bildalgorithmus wäre nutzlos, wenn dieser Prozess seine Wirkung neutralisieren würde. Eine wichtige Frage ist also, wie robust diese Algorithmen gegenüber den Transformationen sind, die in der realen Welt stattfinden.

Um dies zu testen, drucken Kurakin und Co. alle feindlichen Bilder zusammen mit den Originalen aus und fotografieren sie von Hand mit einem Nexus 5-Smartphone. Anschließend speisen sie diese transformierten gegnerischen Bilder in das Bildverarbeitungssystem ein.

Kurakin und Co. sagen, dass die Klassenmethode mit der geringsten Wahrscheinlichkeit am anfälligsten für diese Art von Transformationen ist, aber dass die anderen ziemlich gut mithalten. Mit anderen Worten, gegnerische Bildalgorithmen sind in der realen Welt wirklich eine Bedrohung. Ein erheblicher Teil der mit dem ursprünglichen Netzwerk erstellten gegnerischen Bilder wird falsch klassifiziert, selbst wenn sie dem Klassifizierer über die Kamera zugeführt werden, sagt das Team.

Das ist eine interessante Arbeit, die ein wichtiges Licht auf die Achillesferse der maschinellen Bildverarbeitung wirft. Und es liegt viel Arbeit vor uns. Kurakin und Co. wollen gegnerische Bilder für andere Arten von Sichtsystemen entwickeln und diese noch effektiver machen.

All dies wird in der Computersicherheitsgemeinschaft einige Augenbrauen hochziehen. Bildverarbeitungssysteme sind jetzt besser als Menschen darin, Gesichter zu erkennen, daher ist es selbstverständlich zu erwarten, dass sie für alles gewöhnt sind, von der Entriegelung von Smartphones und Haustüren bis hin zur Passkontrolle und Biometrie von Bankkonten. Aber Kurakin und Co. erwecken die Aussicht, diese Systeme mit Leichtigkeit zu täuschen.

In den letzten Jahren haben wir viel darüber gelernt, wie gut Bildverarbeitungssysteme sein können. Jetzt finden wir gerade heraus, wie leicht sie getäuscht werden können.

Ref: arxiv.org/abs/1607.02533 : Widersprüchliche Beispiele in der physischen Welt

verbergen