Klassischer Studio-UX-Test vs. unmoderierter Remote-UX-Test – Wie unterscheiden sich die Ergebnisse bei parallelisierten Aufgabestellungen?

Abstract

Um eine größere Anzahl an Anwendern in den Softwareentwicklungsprozess einzubinden, bieten sich online durchgeführte, unmoderierte User Experience Tests an. Diese lassen sich im Vergleich zu Labor-Tests schnell und kostengünstig umsetzen. Während im Web-Bereich sogenannte Crowd-Tests eine gewisse Akzeptanz gefunden haben, stellt sich die Frage, welche Daten und vor allem welche Datenqualität ein unmoderierter User Experience Test im Bereich On Premise-Business-Software liefert.

Um diese Fragestellung zu beantworten, wurde eine Vergleichsstudie durchgeführt. Ziel war es, die Methode der unmoderierten Remote-Tests allgemein zu validieren, die Vorzüge und Schwachstellen zu identifizieren und einen Vergleich zu den klassischen User Experience Tests im Labor herzustellen.

Hierzu wurden zwei Gruppen rekrutiert, die jeweils einen klar umrissenen Bereich innerhalb der DATEV-Business-Software testen und bewerten sollten. Identisch zum 'moderierten Labor-UX-Test' (N=10) bearbeitete die Gruppe 'unmoderierter UX-Test' (N=20) dieselben Fragestellungen und Aufgabenszenarien, innerhalb so weit wie möglich parallelisierter Rahmenbedingungen.

Die Ergebnisse der Studie und unsere Erfahrungen werden im Beitrag vorgestellt und diskutiert. Außerdem werden Tipps zur praktischen Umsetzung gegeben.