Effektivität, Effizienz und Zufriedenstellung nach ISO 9241-11 sind die drei Messgrößen der Gebrauchstauglichkeit. Wir prüfen jede Nutzungsanforderung im Review darauf, ob sie einer dieser Größen zugeordnet ist und ob der Maßstab dafür feststeht. Damit wird die spätere Evaluation planbar, bevor die erste Zeile umgesetzt ist.
Ausgangslage
Nutzungsanforderungen werden oft mit dem Ziel geschrieben, dass ein Entwicklungsteam sie versteht. Ob sie sich später prüfen lassen, kommt in der Regel erst zur Sprache, wenn der Usability-Test geplant wird. Dann stellt sich heraus, dass „einfach finden" kein Kriterium ist, dass für „zuverlässig" kein Messverfahren vereinbart wurde und dass die Zufriedenstellung, die im Backlog steht, nie jemand erheben wollte.
ISO 9241-11 definiert Gebrauchstauglichkeit über drei Messgrößen: Effektivität (wird das Ziel erreicht, und wie vollständig und genau), Effizienz (welcher Aufwand ist dafür nötig) und Zufriedenstellung (wie bewerten Nutzende die Nutzung). Die drei Größen sind die vollständige Menge der Norm. Jede Nutzungsanforderung lässt sich einer davon zuordnen, und die Zuordnung legt fest, wie sie später gemessen wird.
Die Zuordnung im Review
Im Review liest eine Person jede Anforderung und beantwortet eine Frage: Welche Messgröße ist gemeint? „Die Beraterin muss erkennen können, welche Angaben im Antrag fehlen" ist eine Frage der Effektivität: Erkennt sie es, vollständig und richtig? „Die Beraterin muss den Antrag ohne Rückfrage beim Kunden bearbeiten können" ist eine Frage der Effizienz: Wie viele Rückfragen, wie viel Zeit, wie viele Systemwechsel? „Die Beraterin muss sich auf die Angaben im System verlassen können" ist eine Frage der Zufriedenstellung, gemessen als Bewertung nach der Nutzung.
Eine Anforderung, die sich keiner Größe zuordnen lässt, ist meist keine Nutzungsanforderung. Sie ist dann in der Regel eine Lösungsvorgabe oder eine Eigenschaft ohne Aufgabe. Beides hat seinen Platz an anderer Stelle im Dokument.
Den Maßstab festlegen
Nach der Zuordnung wird der Maßstab festgelegt, mit dem die Erfüllung später geprüft wird. Für Effektivität: Welches Ergebnis zählt als erreicht, und welche Abweichung ist zulässig? Für Effizienz: Was wird gezählt, Zeit, Schritte, Rückfragen, Wechsel zwischen Werkzeugen? Für Zufriedenstellung: Mit welchem Verfahren wird sie erhoben, und welcher Wert gilt als erfüllt?
Wir schreiben den Maßstab in ein eigenes Feld neben die Anforderung. Zahlenwerte stehen dort nur, wenn sie aus dem Nutzungskontext stammen: eine Frist, die im Fachbereich gilt, ein Wert aus dem Altsystem, der unterschritten werden soll, eine Vorgabe aus einer Vorschrift. Fehlt eine solche Quelle, steht im Feld ein Vergleichsmaßstab („ohne Umgehung", „ohne Rückfrage", „im ersten Versuch", „in einem Durchgang") und der Vermerk, dass ein Zahlenwert nach der ersten Messung festgelegt wird.
Das Messverfahren mitdenken
Der Maßstab bestimmt das Verfahren. Effektivität wird im Usability-Test beobachtet, mit definierten Aufgaben und einem Protokoll, das Erfolg, Teilerfolg und Abbruch unterscheidet. Effizienz wird gemessen, im Test oder aus Systemprotokollen. Zufriedenstellung wird erfragt, mit einem standardisierten Fragebogen oder einer Bewertung je Aufgabe. Im Review fragen wir je Anforderung, ob das Verfahren im Projekt vorgesehen ist. Eine Anforderung an die Zufriedenstellung ohne geplante Befragung bleibt ein Wunsch.
Das Review als Format
Wir führen das Review als eigene Runde vor dem Refinement, mit Product Owner, einer Person aus dem Research und einer aus dem Entwicklungsteam. Je Anforderung werden Zuordnung, Maßstab und Verfahren eingetragen, oder die Anforderung geht mit einem Vermerk zurück. Der Aufwand je Anforderung ist gering, sobald das Team die drei Größen kennt; die ersten Runden dauern länger, weil das Vokabular neu ist. Eine kurze Einführung in ISO 9241-11 vorab verkürzt sie.
Grenzen
Nicht jede Anforderung braucht einen Zahlenwert, und nicht jeder Zahlenwert lässt sich vor der ersten Messung sinnvoll setzen. Ein Maßstab, der geschätzt wurde, wird als Schätzung geführt. Zufriedenstellung ist außerdem eine Größe, die sich zwischen Nutzergruppen stark unterscheidet; ein einzelner Wert für alle sagt wenig. Und die Prüfung setzt voraus, dass es eine Evaluation gibt, in der gemessen wird. Ohne geplanten Test ist die Messbarkeit ein Kriterium ohne Folge.
Was danach vorliegt
Ein Anforderungsdokument, in dem jede Nutzungsanforderung eine Messgröße nach ISO 9241-11, einen Maßstab und ein Verfahren führt. Der Testplan lässt sich daraus ableiten, ohne die Anforderungen neu zu formulieren. Das Produktteam weiß vor der Umsetzung, woran die Erfüllung geprüft wird, und die Evaluation liefert Ergebnisse, die sich auf die einzelne Anforderung beziehen. Ein Team, das dieses Review einmal durchgeführt hat, kann es selbst weiterführen.