Stabilität und Expressivität von tiefen generativen Modellen

Abstract

In den letzten Jahren haben generative Modelle das maschinelle Lernen revolutioniert. Im Gegensatz zu rein diskriminativen Modellen können generative Modelle mit Unsicherheiten umgehen und leistungsfähige Modelle lernen, auch wenn keine annotierten Trainingsdaten verfügbar sind. Hierbei beeinträchtigen jedoch zwei Aspekte ihre Expressivität: (i) Einige der erfolgreichsten Ansätze werden nicht mehr mit Hilfe von Optimierungsalgorithmen trainiert, sondern mit Algorithmen, deren Dynamik bisher nicht gut verstanden wurde. (ii) Generative Modelle sind oft durch den Speicherbedarf der Ausgaberepräsentation begrenzt. In dieser Arbeit stellen wir Lösungen für beide Problemstellungen vor: Im ersten Teil der Arbeit stellen wir eine Konvergenztheorie und neuartige Regularisierer für Generative Adversarial Networks vor, die es uns erlauben die Stabilität des Trainings zu verbessern. Im zweiten Teil dieser Arbeit stellen wir neue implizite Ausgaberepräsentationen für generative und diskriminative Modelle in 3D vor. Durch diesen impliziten Ansatz können wir viele Techniken, die in 2D funktionieren, auf den 3D-Bereich ausdehnen ohne ihre Expressivität einzuschränken.