Expertenreviews: Fünf Experten – fünf Meinungen. Wie einig sind sich Experten aus homogenen Gruppen?

Abstract

Spätestens seit den von dialogdesign (R. Molich) durchgeführten Studien CUE-3 bis CUE-5 ist klar, dass das Expertenreview ein mächtiges und zugleich preiswertes Werkzeug zur Beurteilung der Gebrauchstauglichkeit von Produkten ist. Es zeigte sich jedoch auch, dass die Schnittmengen der Review-Ergebnisse unterschiedlicher Experten erstaunlich klein sind. Die vorliegende Arbeit versucht, mögliche Gründe für diese Heterogenität der Ergebnisse zu ermitteln. Dazu werden Reviews mit zwei unterschiedlichen aber in sich sehr homogenen Gruppen von Experten durchgeführt (erfahrene Usability Experten einer Firma und Studenten mit innerhalb der Gruppe identischem Ausbildungsstand). Die Resultate werden innerhalb und zwischen den Gruppen sowie mit den Resultaten eines umfangreich analysierten Usability Tests verglichen.