Der Benutzungsfragebogen ISONORM 9241/10: Ergebnisse zur Reliabilität und Validität

Abstract

In diesem Beitrag wird die testtheoretische Güte des Benutzungsfragebogens ISONORM 9241/10 [17] dokumentiert. Grundlage hierzu sind Beurteilungen von 1265 Benutzern von insgesamt 178 Softwareprogrammen. Zur Bestimmung der testtheoretische Güte werden Untersuchungen zur Reliabilität, Validität und Normierung durchgerührt. Zur Reliabilitätsbestimmung wird die Wiederholungsmethode und die Konsistenzanalyse herangezogen. Die Wiederholungsmethode zeigt, daß sich der ISONORM 9241/10 durch eine hohe Merkmalskonstanz auszeichnet. Die Konsistenzanalyse zeigt die Leistungsfähigkeit des ISONORM 9241/10 als Meßinstrument, da die einzelnen Skalen des ISONORM 9241/10 gute innere Konsistenzen aurweisen. Im Rahmen der Validitätsbestimmung werden Untersuchungen zur kriterienbezogenen Validität und zur Konstruktvalidität angestellt. Zur Überprüfung der inneren kriterienbezogenen Validität werden die ISONORM 9241/10-Bewertungen mit den Bewertungen von zwei Benutzungsfragebögen QUIS [21] und BBD [22] korreliert. Es zeigt sich, daß der ISONORM 9241/10 zu vergleichbaren Ergebnissen gelangt, und gleichzeitig den Vorteil in sich birgt, eine ausdrückliche Operationalisierung von ISO 9241 Teil 10 darzustellen. Zur Überprüfung der äußeren kriterienbezogenen Validität wird unter Verwendung von EVADIS II [9] überprüft, inwiefern die Befragung durch Benutzer mit der Evaluation durch Experten korrespondiert. Es zeigt sich, daß die ISONORM 9241/10-Benutzungsanalysen einen signifikanten Bezug zu einer systematischen, leitfadenorientierten Expertenevaluation aufweisen. Zur Überprüfung der Konstruktvalidität werden zwei Versionen eines Softwareprogramms mit und zwei Versionen eines Softwareprogramms ohne graphische Benutzungsschnittstelle herangezogen. Softwareergonomische Veränderungen von einer Version zur nächsten sind mittels ISONORM 9241/10 meßbar; zusätzlich lassen sich differenzierte Aussagen über diese Verbesserungen anstellen. Die Normierung erlaubt die Einordnung einer einzelnen Software in Relation zu den Beurteilungen anderer Programme.