Quantifizierung der intermodalen Konsistenz von Nachrichten

Abstract

Öffentliche Nachrichten sind ein wichtiger Bestandteil unseres täglichen Lebens und über das Web wird eine immer größer werdende Zahl von Artikeln verbreitet. Zur Berichterstattung werden in der Regel multimodale Repräsentationen z. B. in Form von Texten und Fotos eingesetzt. Die Fotos können dekorativ sein, zusätzliche Details abbilden, aber ebenso wie Text auch irreführende Informationen enthalten. Die Quantifizierung der intermodalen Konsistenz von Nachrichten kann Nutzer*innen bei der Exploration und Bewertung der Glaubwürdigkeit unterstützen und potenziell Hinweise zur Erkennung von Fake News geben, die in der heutigen Gesellschaft zunehmend an Bedeutung gewinnen. In dieser Dissertation wird erstmals ein unüberwachter Ansatz zur Quantifizierung der intermodalen Bild-Text-Konsistenz von Entitäten, die eine zentrale Rolle in den Nachrichten einnehmen, vorgeschlagen. Um die zunehmende Anzahl von Entitäten in den Medien bewältigen zu können, werden die intermodalen Relationen, im Gegensatz zu bisherigen Forschungsansätzen, explizit und ohne zuvor definierte Trainings- und Exemplarbilder quantifiziert. Zu diesem Zweck werden geeignete Computer-Vision-Ansätze zur Extraktion von Ereignissen, Orten, Zeitangaben und Personen aus Nachrichtenfotos vorgestellt. Das vorgeschlagene System und die individuellen Komponenten werden in umfangreichen Experimenten evaluiert und erzielen vielversprechende Ergebnisse.