ISO 9241-11 definiert Gebrauchstauglichkeit über drei Größen: Effektivität, Effizienz und Zufriedenstellung. Diese drei liefern die Kategorien, in denen sich Gebrauchstauglichkeit bei einer Abnahme messen lässt. Der Beitrag beschreibt, wie ein Team daraus Kriterien für einen konkreten Nutzungskontext formuliert und welche Messverfahren zu den einzelnen Kategorien passen.
Ausgangslage: Gebrauchstauglichkeit steht in den Anforderungen, aber niemand kann sie abnehmen
In vielen Backlogs und Verträgen steht ein Satz wie „Das System muss gebrauchstauglich sein" oder „Die Oberfläche muss intuitiv bedienbar sein". Bei der Abnahme ist dieser Satz wertlos, weil er weder sagt, für wen das System gebrauchstauglich sein soll, noch bei welcher Aufgabe, noch woran man das erkennt. Der Auftragnehmer betrachtet ihn als erfüllt, der Auftraggeber als nicht erfüllt, und die Entscheidung fällt nach Vertragslage statt nach Beobachtung.
ISO 9241-11 gibt die Struktur vor, mit der sich das ändern lässt. Gebrauchstauglichkeit ist dort das Ausmaß, in dem ein System durch bestimmte Nutzende in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen. Jedes Wort in dieser Definition ist eine Anweisung für das Abnahmekriterium: Nutzende, Nutzungskontext, Ziel, und dann die drei Messgrößen.
Effektivität: Wird das Ziel vollständig und genau erreicht
Effektivität beschreibt, ob Nutzende ihr Ziel erreichen und ob das Ergebnis richtig ist. Für ein Abnahmekriterium heißt das: Je Aufgabe aus dem Nutzungskontext wird festgelegt, welcher Endzustand als Zielerreichung gilt und welche Fehler das Ergebnis unbrauchbar machen.
Kriterium, Muster: „Teilnehmende aus der Nutzergruppe [Gruppe] schließen die Aufgabe [Aufgabe] im Test ab. Als abgeschlossen gilt: [Endzustand]. Als fehlerhaft gilt: [Fehlerarten]."
Messverfahren: moderierter Usability-Test mit Aufgaben aus dem Nutzungskontext. Erhoben wird je Teilnehmenden und Aufgabe, ob der Endzustand erreicht wurde und welche Fehler aufgetreten sind. Welcher Anteil erfolgreicher Durchläufe als Erfüllung gilt, legt der Auftraggeber vor dem Test fest, mit Begründung aus den Folgen eines Fehlers in dieser Aufgabe. Diesen Wert nennt der Beitrag nicht; er ist je Nutzungskontext zu bestimmen.
Effizienz: Welcher Aufwand steht der Zielerreichung gegenüber
Effizienz setzt die Zielerreichung ins Verhältnis zum Aufwand: Zeit, Schritte, Rückfragen, Abbrüche mit Neustart. Für ein Abnahmekriterium wird je Aufgabe der Aufwand benannt, der im Nutzungskontext vertretbar ist. Der Maßstab kommt aus der Beobachtung des heutigen Ablaufs: Wenn eine Aufgabe heute in einem Altsystem in einer bestimmten Zeit erledigt wird, ist dieser Wert die Referenz.
Kriterium, Muster: „Teilnehmende erledigen die Aufgabe [Aufgabe] mit höchstens [Aufwand] und ohne Hilfe durch die Testleitung. Referenz: Aufwand im heutigen Ablauf laut Hospitation [Kennung]."
Messverfahren: derselbe Usability-Test, mit Zeitmessung je Aufgabe, Zählung der Schritte oder Rückfragen und Protokoll der Hilfestellungen. Bei Aufgaben, die selten vorkommen, ist Zeit meist das falsche Maß; dort zählen Rückfragen und Abbrüche.
Zufriedenstellung: Wie erleben Nutzende die Nutzung
Zufriedenstellung ist die Freiheit von Beeinträchtigung und die positive Einstellung gegenüber der Nutzung. Sie ist die Kategorie, die am häufigsten weggelassen wird, weil sie subjektiv erscheint. Für die Abnahme ist sie messbar, wenn das Verfahren vorher festgelegt ist.
Kriterium, Muster: „Teilnehmende bewerten die Nutzung nach dem Test mit dem Fragebogen [Instrument]. Das Kriterium ist erfüllt, wenn der Wert [Schwelle] erreicht ist. Zusätzlich werden Äußerungen während des Tests protokolliert, die auf Beeinträchtigung hinweisen."
Messverfahren: standardisierter Fragebogen nach dem Test, ergänzt um die protokollierten Äußerungen. Welches Instrument und welche Schwelle, legt der Auftraggeber vor dem Test fest. Der Beitrag nennt bewusst keinen Wert; ein Schwellenwert ohne Bezug zum Nutzungskontext wäre eine Zahl ohne Nachweis.
Vom Nutzungskontext zum Kriterienkatalog
Die drei Kategorien werden nicht pauschal auf das System angewendet, sondern je Aufgabe aus dem Nutzungskontext. Das Vorgehen in vier Schritten: Erstens die Aufgaben aus der Kontextanalyse auflisten, mit Nutzergruppe und Bedingungen. Zweitens je Aufgabe festlegen, welche der drei Kategorien für die Abnahme relevant ist; bei einer seltenen, folgenschweren Aufgabe zählt Effektivität, bei einer täglichen Routineaufgabe zusätzlich Effizienz. Drittens je Kategorie das Kriterium nach den Mustern oben formulieren, mit Endzustand, Aufwand oder Instrument. Viertens das Messverfahren, den Zeitpunkt und die Teilnehmendenprofile in den Abnahmeplan aufnehmen.
Das Ergebnis ist ein Kriterienkatalog, in dem jede Zeile auf eine Aufgabe, eine Nutzergruppe und eine Beobachtung verweist.
Grenzen
Die Kriterien sind nur so gut wie die Kontextanalyse, aus der die Aufgaben stammen. Ein Katalog, der auf angenommenen Aufgaben beruht, prüft bei der Abnahme etwas, das im Betrieb nicht vorkommt. Die Schwellenwerte für Erfolgsquote, Aufwand und Zufriedenstellung müssen je Nutzungskontext festgelegt und begründet werden; allgemeingültige Werte gibt es nicht, und wir nennen keine. Und der Abnahmetest prüft die Gebrauchstauglichkeit zu einem Zeitpunkt, mit einer Stichprobe. Er ersetzt nicht die Beobachtung im Betrieb, die zeigt, ob die Ergebnisse unter realen Bedingungen bestehen.
Was danach vorliegt
Am Ende liegt ein Kriterienkatalog vor, der je Aufgabe aus dem Nutzungskontext die relevanten Kategorien nach ISO 9241-11 benennt, je Kategorie ein prüfbares Kriterium enthält und je Kriterium das Messverfahren, die Teilnehmendenprofile und den Zeitpunkt festlegt. Dieser Katalog gehört als Anforderungen ins Backlog und in den Abnahmeplan. Bei der Abnahme ersetzt er den Satz „Das System muss gebrauchstauglich sein" durch eine Liste, die sich Zeile für Zeile mit Ja oder Nein beantworten lässt.