Eine Kennzahl wird erst durch festgelegtes Messverfahren, festgelegten Erhebungszeitpunkt und eine vorher erhobene Vergleichsbasis auswertbar. Der Messplan hält diese Festlegungen auf einer Seite fest: Messgröße, Erhebungsverfahren, Stichprobe, Zeitpunkt und verantwortliche Rolle. Damit wird aus einer einmaligen Erhebung eine Messreihe, die Veränderungen über Releases hinweg zeigt.
Voraussetzungen
Die Nutzungsziele sind definiert und die Erfolgsdefinition je Aufgabe liegt vor.
Der Nutzungskontext ist beschrieben, mindestens als Kontextblatt aus der letzten Erhebung.
Es ist entschieden, welche Frage die Messreihe beantworten soll, etwa ob das Redesign der Auftragsbearbeitung die Erfolgsquote verändert.
Schritt 1: Messgröße wählen und definieren
Was: Wählen Sie je Frage eine Messgröße nach ISO 9241-11: Effektivität als Erfolgsquote je Aufgabe, Effizienz als Aufwand je erfolgreich gelöster Aufgabe, Zufriedenstellung als Fragebogenwert. Schreiben Sie die Berechnung auf: was in den Zähler gehört, was in den Nenner, welche Sitzungen ausgeschlossen werden.
Warum: Zwei Teams berechnen dieselbe Quote unterschiedlich, wenn nicht feststeht, ob Teilerfolge mitzählen und ob abgebrochene Sitzungen im Nenner bleiben.
Ergebnis: eine Zeile je Messgröße mit Definition und Berechnungsregel.
Schritt 2: Erhebungsverfahren festlegen
Was: Legen Sie fest, wie erhoben wird: moderierter Usability-Test, unmoderierter Test, Fragebogen, Auswertung von Nutzungsdaten. Dazu den Wortlaut der Aufgaben, das Fragebogeninstrument, die Reihenfolge und die Regel für Hilfestellung durch die Moderation.
Warum: Ein Wechsel des Verfahrens zwischen zwei Erhebungen bricht die Messreihe. Werte aus einem moderierten und einem unmoderierten Test sind zwei Reihen, keine Fortsetzung.
Ergebnis: das Verfahren mit Verweis auf Testplan und Instrument, jeweils mit Versionsstand.
Schritt 3: Stichprobe beschreiben
Was: Legen Sie die Merkmale der Teilnehmenden fest (Rolle, Erfahrung, Einschränkungen), den Rekrutierungsweg und die Anzahl je Erhebung als feste Vorgabe.
Warum: Eine Stichprobe, die von Erhebung zu Erhebung driftet, etwa erst Kundinnen und Kunden, dann Kolleginnen und Kollegen aus dem eigenen Haus, verändert den Wert ohne Veränderung am Produkt.
Ergebnis: eine Stichprobenvorgabe, die jede Erhebung erfüllen muss oder deren Abweichung sie ausweist.
Schritt 4: Zeitpunkte festlegen
Was: Die erste Erhebung findet vor der Maßnahme statt und liefert die Vergleichsbasis. Danach folgt eine Erhebung je Release oder in festem Rhythmus. Jede Erhebung erhält den Versionsstand des Produkts und die Angabe, wie lange die Nutzenden mit dieser Version bereits gearbeitet haben.
Warum: Ein Wert ohne Vorwert hat keinen Vergleich. Ein Wert direkt nach der Umstellung und ein Wert nach der Eingewöhnung messen verschiedene Zustände.
Ergebnis: ein Erhebungskalender mit Bezug zu den Releases.
Schritt 5: Verantwortliche Rolle benennen
Was: Benennen Sie je Erhebung die Rolle, die erhebt, die Rolle, die auswertet, die Rolle, die berichtet, und die Rolle, die über Abweichungen vom Plan entscheidet.
Warum: Eine Messreihe überlebt einen Personalwechsel nur, wenn die Verantwortung an einer Rolle hängt. Ohne die Rolle für Abweichungen werden Änderungen am Verfahren stillschweigend vorgenommen.
Ergebnis: eine Verantwortungszeile je Erhebung, mit Rollen statt Namen.
Schritt 6: Ablage und Vergleichsregel festlegen
Was: Legen Sie fest, wo Rohdaten, Kontextblatt und Ergebnisse je Erhebung liegen, wie der Vergleich dargestellt wird (je Aufgabe, je Messgröße, je Nutzergruppe) und ab welcher Veränderung das Team handelt. Diese Schwelle ist ein intern festgelegter Zielkorridor, kein Wert aus einer fremden Quelle.
Warum: Ohne Vergleichsregel wird jede Veränderung im Steuerkreis neu interpretiert. Mit der Regel steht vorher fest, welche Beobachtung eine Entscheidung auslöst.
Ergebnis: Ablagestruktur und Vergleichsregel im Messplan.
Typische Fehler
Die Messgröße wechselt zwischen Erhebungen, etwa von der Erfolgsquote zur Bearbeitungszeit, weil die Zeit besser aussieht.
Die Vergleichsbasis fehlt, weil die erste Messung erst nach dem Release stattfand.
Die Stichprobe driftet, und der Bericht weist es nicht aus.
Die Verantwortung liegt bei einer Person, und mit ihrem Wechsel endet die Reihe.
Der Zielkorridor wird nachträglich so gelegt, dass das Ergebnis passt.
Ergebnis
Am Ende liegt ein Messplan auf einer Seite vor: je Messgröße Definition und Berechnungsregel, das Erhebungsverfahren mit Versionsstand, die Stichprobenvorgabe, der Erhebungskalender mit Vergleichsbasis, die verantwortlichen Rollen und die Vergleichsregel. Jede Erhebung, die gegen diesen Plan läuft, erweitert die Messreihe um einen vergleichbaren Wert. Die Frage, ob ein Release gewirkt hat, wird damit aus der Reihe beantwortet und nicht aus dem Eindruck der letzten Sitzung.