GauGAN � Fotografie ohne Fotograf?

NVIDIA hat einige spannende Forschungsprojekte. Darunter GauGAN, das eine relativ simple Eingabe analysiert und mit Hilfe von Generative Adversarial Networks (GAN) eine (noch nicht ganz) fotorealistische Szene generiert. Benannt wurde GauGAN nach dem post-impressionistischen, französischen Maler Gauguin.

Martin Dörsch

Das Tool im Einsatz

Das Werkzeug

Nachdem die Checkbox mit den Terms of Conditions aktiviert ist, kann‘s losgehen.

Im linken Bereich kann man zeichnen und die Eingabe nach eigenem Wunsch gestalten. Dabei stehen Werkzeuge zur Verfügung, die stark an MS Paint erinnern.

Im rechten Bereich öffnet sich die Ausgabe, die auf das GAN zurückgreift. Nach einen Klick auf den Button zwischen der Eingabe- und Ausgabe-Seite erhält man ein generiertes Bild.

Nach jeder erneuten Anpassung der linken Seite, ergibt sich durch den Klick auf den mittigen Button wieder ein neues Ergebnis.

Stile und Paintings

Unter der Eingabe befinden sich zwei ­Zeilen. Die obere Zeile ist für den Stil des Bilds verantwortlich. Hier können Tageszeit* und Witterung beeinflusst werden. Die untere Zeile beinhaltet abstraktere Painting-Looks, die man über die Ausgabe rechnen lassen kann. Hier wurden die Netzwerke auf den Look & Feel verschiedener Künstler trainiert und sollen dies auf die Ausgabe anwenden. Durch einen einfachen Klick können Stile und Paintings angewendet werden.

Eigene Datenquellen

Ganz unten findet man die Möglichkeit, unterschiedliche Quell-Bilder hochzuladen.

So kann beispielsweise ein Landschaftsbild hochgeladen, analysiert und in der Eingabe abgebildet werden.

Unter Style-Filter kann ein Bild hochgeladen werden, das den eigentlichen Stil der Ausgabe steuert.

Durch Kombination von Landscape-Image und Style-Filter kann eine Landschaft im Stil eines anderen Bilds generiert werden.

Download

Die fertige Ausgabe kann als png heruntergeladen werden. Aktuell ist die Grösse auf 512 x 512 Pixel beschränkt.

Ein Blick in die Zukunft

GauGAN ist ein Blick in die Zukunft. Designer und Concept Artists verwenden das Tool jetzt schon, um Hintergründe für Szenerien zu generieren.

Generell tendiert man schnell dazu, diese Art von Tools in ihren Anfangsstadien zu belächeln. Doch die Zeit ist hier eindeutig auf der Seite der Technologie. Jede Iteration, die das GAN durchläuft, verbessert es.

Aus meiner Sicht sollte man sich mit diesen Technologien beschäftigen und zumindest mit einem Auge beobachten. Es ist wie bei einem sich nähernden Zug, den man neben den Schienen stehend beobachtet: Anfangs sind die Lichter in der Ferne und scheinen sich kaum anzunähern. Jedoch in dem Moment, in dem man die Geschwindigkeit des Zuges wahrnimmt, ist es schon zu spät, sich mit ihm und seinen Auswirkungen zu beschäftigen, da er im nächsten Augenblick an einem vorbeirast.

Generative Adversarial Networks

Generative Adversarial Networks, auf Deutsch generativ erzeugende Netzwerke, sind Systeme von selbstlernenden Netzwerken, welche sich im Wechselspiel zueinander verhalten und voneinander lernen. Ein Input erzeugt in dem einen Netzwerk ein Resultat, also bei GauGAN ein simples, flächiges Bild, mit dem im zweiten Netzwerk aufgrund von Trainingsdaten, also einer Datenbank von Landschaftsbildern, ein reales Landschaftsbild simuliert wird. ↑

Link zum Selbstausprobieren: bit.ly/2lzlWGQ

Martin Dörsch ist Softwaretrainer, ­Fotograf und Mediendesigner aus Linz, Österreich. Er arbeitet mit Firmen wie Adobe, Eizo und Wacom zusammen und ist Exklusivtrainer für video2brain. Aus seiner täglichen Praxis nimmt er viel Erfahrung in seine Workshops mit. martindoersch.at