Semantische und Interaktive Inhaltsbasierte Bildersuche

Abstract

Methoden für die inhaltsbasierte Suche nach Bildern anhand eines Beispielbildes haben in jüngster Zeit rasante Fortschritte gemacht, konzentrieren sich jedoch größtenteils auf die visuelle Ähnlichkeit von Bildern und lassen deren Semantik außer Acht. Die Dissertation stellt eine Methode vor, welche menschliches Vorwissen über die Semantik der Welt in Form von Taxonomien in Deep-Learning-Verfahren integriert. Die daraus entstehenden semantischen Bildmerkmale verbessern die semantische Konsistenz der Suchergebnisse im Vergleich zu herkömmlichen Repräsentationen und Merkmalen erheblich. Darüber hinaus werden drei interaktive Suchverfahren präsentiert, welche die den Anfragebildern inhärente semantische Ambiguität durch Einbezug von Benutzerfeedback auflösen. Die verschiedenen Methoden decken eine große Bandbreite hinsichtlich der Komplexität des Feedbacks und des damit für den Benutzer verbundenen Aufwands ab. Alle Techniken liefern bereits nach wenigen Feedbackrunden deutlich relevantere Ergebnisse, was die Gesamtmenge der abgerufenen Bilder reduziert, die der Benutzer betrachten muss.