Heterogenität überwinden mit der Datentransformationssprache NotaQL

Abstract

Bei der Informationsintegration, also dem Zusammenführen verschiedener Daten aus zwei oder mehr Datenquellen, gilt es die Heterogenität der Quellen aufzulösen und die gegebenen Schemata ineinander abzubilden. Besonders bei der Verarbeitung von Big Data in schemalosen NoSQL-Systemen, in denen heterogene Datensätze gespeichert sind, und die sich zusätzlich untereinander stark im Datenmodell und in ihren Zugriffsmethoden unterscheiden, scheitern meist klassische SQL-basierte Techniken. In diesem Artikel stellen wir vor, wie mit der Datentransformationssprache NotaQL die verschiedenen Arten von Heterogenität überwunden werden können. Die meist wenige Zeilen kurzen NotaQL-Skripte beschreiben eine Transformation zwischen unterschiedlichen Systemen und bieten einen flexiblen Zugriff auf Daten und Metadaten.