Mit SNAP! Word Embeddings programmieren

Abstract

Word Embedding ist eine Technik des Natural Language Processing (NLP), das sich mit der maschinellen Verarbeitung natürlicher Sprache beschäftigt. Hierbei werden Wörter in einen vieldimensionalen Raum eingebettet. Diese Word Embeddings können beispielsweise zur Stimmungsanalyse, Eigennamenerkennung, in Empfehlungssystemen, zur Paraphrasierung, Textzusammenfassung, Fragenbeantwortung oder Übersetzung eingesetzt werden. Wir beschreiben eine SNAP!- Bibliothek, die 20000 Word Embeddings in 15 Sprachen enthält. Mit einem Block, der eine Liste von 300 Zahlen für jedes der bekannten Wörter anzeigt, kann man Programme erstellen, die nach ähnlichen Wörtern suchen, Wörter finden, die dem Durchschnitt anderer Wörter entsprechen, kulturelle Vorurteile erforschen und Analogieaufgaben lösen. Diese Programme können innerhalb einer Sprache arbeiten oder die Word Embedding-Räume verschiedener Sprachen einbeziehen, um grobe Übersetzungen zu erstellen.