On the Automatic Classification of App Reviews

Abstract

Aktuelle Studien [Ma16b] zeigen, dass Nutzerkommentare in App Stores nützliche Informationen für App- Entwickler und Software-Firmen beinhalten. Bewertungen bestehen zwar häufig aus unbrauchbaren Informationen, wie Lob oder beleidigende Kritik. Sie beinhalten jedoch auch nützliche Informationen über Fehlerbeschreibungen oder Wünsche und Ideen für neue Funktionen. In unserer Arbeit verwenden wir unterschiedliche Techniken der Textanalyse, der Sprachverarbeitung und des Maschinellen Lernens um die Nutzerkommentare in den folgenden Kategorien zu klassifizieren: ”Bewertung“, ”Benutzererfahrung“, ”Fehlerbericht“ und ”Wünsche zu Funktionalität“. Wir verwenden zur Klassifikation unterschiedliche Kombinationen von Techniken und stellen diese gegenüber. Als wir die Metadaten mit Techniken der Sprachverarbeitung, im speziellen Bigrams und Lemmatization, kombiniert haben, haben wir für alle Kategorien eine Präzision zwischen 88- 92% und einen Recall von 90-99% erreicht. Binäre Klassifikationsalgorithmen haben die höchste Genauigkeit erzielt. Unsere Untersuchungen haben ein Analysewerkzeug für Nutzerkommentare inspiriert, welches App-Entwickler unterstützen kann. In neun Interviews haben wir das Werkzeug mit Vertretern aus der Industrie diskutiert.