Unaufmerksamkeit, Faking, Speedster… Kontrolle der Datenqualität in User Experience Befragungen

Abstract

User Experience wird oftmals anhand von Befragungen mittels standardisierter Fragebögen erfasst. Allerdings bringen dabei gerade quantitative Online-Datenerhebungen den großen Nachteil mit sich, dass die Umstände, unter denen die Befragten an der Untersuchung teilnehmen zumeist nur schwer zu kontrollieren sind. Insbesondere ist unklar, unter welchen Bedingungen und wie motiviert die Teilnehmer*innen geantwortet haben. Zudem kommen Drop-out und hohe Abbruchquoten in Online-Befragungen durchaus oft vor – was für die Interpretation der Ergebnisse vor allem dann problematisch ist, wenn dieser Non-response selektiv erfolgt. Kritischer sind Personen, die eine Befragung formal abschließen, aber unbewusst (z.B. aufgrund von Unaufmerksamkeit) oder bewusst (Faking) falsche Angaben machen oder sich wahllos durch einen User Experience Fragebogen „durchklicken“ (sogenannte Speedster). Solche Falschangaben können zu einer fehlerhaften Interpretation der Ergebnisse führen. Während Speedster relativ leicht anhand der Antwortzeit zu identifizieren sind, fällt dies bei Unaufmerksamkeit oder bewusstem Faking schwerer. In unserem Beitrag geben wir hier eine Übersicht über eine Reihe von möglichen Maßnahmen, angefangen bei spezifischen Datenprüfungen über Kontrollfragen bis hin zu gezielten technischen Kontrollen. Diese Maßnahmen werden anhand eines Fallbeispiels einer Website-Evaluation mit 30 Testwebsites und mehreren tausend Befragten illustriert.