Approaches for Intrinsic Light Field Decomposition

Abstract

Bei der intrinsischen Bildzerlegung geht es darum, ein beleuchtungsinvariantes Reflexionsbild von einem Eingangsfarbbild zu trennen, was nach wie vor noch eines der grundlegenden Probleme im Bereich der Computer Vision darstellt. Diese Zerlegungsart wird ha ̈ufig bei der Be arbeitung von Fotos und Materialien, der Bildsegmentierung sowie der Formschätzung eingesetzt. Im Fokus dieser Arbeit liegt die intrinsische 4D-Zerlegung eines Lichtfelds. Im Rahmen dessen soll das Problem in Bezug auf die folgenden drei Variablen formuliert und gelöst werden soll: Albedo, Schattierung und Spekularität. Dadurch wird es wiederum möglich, sich mit nicht-Lambertschen Szenen auseinanderzusetzen. Dem Problem soll sich mit Variations- und Deep-Learning-Ansätzen angenähert, ihre Leistung verglichen und die Stärken und Schwächen beider Techniken diskutiert werden. Es soll nachgewiesen werden, dass der in dieser Arbeit vorgestellte Deep-Learning-Ansatz eine generische Lösung für Lichtfelder darstellt und bei vier zeitgenössischen Computer-Vision-Problemstellungen eingesetzt werden kann: Disparitätsschätzung, Reflexionstrennung, intrinsische Bildgebung und bildverarbeitende Ultrahochauflösung. Umfangreiche Auswertungen auf der Grundlage mehrerer öffentlich zugänglicher, synthetischer und realer Datensätze belegen die Fruchtbarkeit der im Rahmen dieser Arbeit vorgestellten Methodik. Im Ergebnis werden die Vorteile der Verwendung von Lichtfeldern gegenüber anderen Datenstrukturen aufgezeigt.