Skalierbare Analyse von räumlichen Daten in großangelegten wissenschaftlichen Simulationen

Abstract

Die Wissenschaft befindet sich heutzutage in einem radikalen Umbruch. Wissenschaftler müssen sich heute nicht mehr nur auf traditionelle wissenschaftliche Methoden des Experimentierens, dem entwickeln von Theorien und dem Testen von Hypothesen verlassen. Zusätzlich können sie heute auch massive Mengen von Daten analysieren um neue wissenschaftliche Erkenntnisse zu erlangen. Immer schnellere Hardware sowie immer genauere Sensoren ermöglichen ihnen das Sammeln von Daten, das Bauen von Modellen und das Simulieren von Naturphänomenen im großen Maßstab. Wissenschaftliche Entdeckungen in diesem Zusammenhang bedingen allerdings Algorithmen für die effiziente Analyse von massiven Datenmengen. Die heute enormen Datenmengen machen die Ausführung der notwendigen Analysen zu einer beispiellosen Herausforderung. Die Effizienz heutiger Algorithmen reicht nicht aus um die Datenmengen schnell genug zu analysieren und das Problem wird immer schlimmer da die Datenmengen rasant wachsen. Diese Doktorarbeit konzentriert sich auf die Trends des Datenwachstums in den Wissenschaften und wie diese Trends die Leistung von Analysealgorithmen beeinflussen. Eine interessante Entwicklung bezüglich wissenschaftlicher Daten ist, dass wenn Wissenschaftler die Datenmenge erhöhen, die Daten gleichzeitig auch komplexer werden, so dass bekannte Algorithmen ineffizient werden. Die "Komplexität" der Daten wird durch die Veränderung der Datencharakteristiken, wie beispielsweise Verteilung, Dichte und Auflösung verursacht. Die Zunahme der Komplexität verschlechtert die Effizienz bestehender Algorithmen wesentlich und, noch wichtiger, hemmt auch die Skalierbarkeit der Algorithmen. Diese Arbeit schlägt eine Methodik zur Entwicklung neuer Analysealgorithmen vor welche effizient sind und besser skalieren als existierende Methoden. Mit wissenschaftlichen Daten demonstrieren wir, dass Algorithmen die mit unserer Methodik entwickelt wurden nicht nur schneller als heutige Algorithmen sind, sondern auch, dass sie wesentlich besser mit Komplexität und Größe zukünftiger Datensätze skalieren.