Ein Moderationsprotokoll für einen Usability-Test hält fest, was die Testperson tut, wo sie zögert und wo sie abbricht. Bei einer Funktion mit generierter Ausgabe fehlt darin die Arbeit, die nach der Ausgabe beginnt: das Lesen, Prüfen, Ändern und Verwerfen. Diese Checkliste beschreibt das Protokollraster, das wir dafür verwenden. Je Durchlauf hält es Aufgabe, Ausgabe, Korrektur und Abbruch fest, damit der Korrekturaufwand in der Auswertung als eigene Größe erscheint.
Einordnung
Die Liste ist für Testteams gedacht, die ein bestehendes Protokollraster um Funktionen mit generierter Ausgabe erweitern. Sie ersetzt das vorhandene Raster nicht; Bedienschritte, Umwege und Nachfragen werden weiter wie bisher festgehalten. Neu ist der Block je Durchlauf, weil dieselbe Aufgabe mehrfach ausgeführt wird und jede Ausgabe anders aussehen kann. Je Punkt steht, was im Protokoll stehen muss und woran die Auswertung erkennt, ob der Eintrag verwertbar ist.
Kopf des Protokolls
Die Aufgabe ist mit dem Fall aus dem Bestand vermerkt, der als Eingabe diente. Ein Protokoll, das nur die Aufgabennummer nennt, lässt sich später keiner Eingabe zuordnen.
Der Toleranzbereich der Anforderung liegt der Protokollführung vor: welche Merkmale die Ausgabe haben muss und welche Abweichungen zulässig sind. Ohne diesen Bereich lässt sich eine Ausgabe nicht als innerhalb oder außerhalb einordnen.
Die geplante Zahl der Durchläufe je Aufgabe und ihre Position in der Sitzung sind eingetragen. Die Auswertung braucht die Reihenfolge, weil die erste gesehene Ausgabe die Bewertung der späteren beeinflusst.
Je Durchlauf: Ausgabe
Die Ausgabe ist gesichert, als Kopie, Export oder Bildschirmaufnahme mit Zeitstempel. Ein Protokoll ohne die Ausgabe erlaubt in der Auswertung keine Aussage darüber, ob ein Abbruch an der Bedienung oder an der Ausgabe lag.
Die Ausgabe ist gegen den Toleranzbereich eingeordnet: innerhalb oder außerhalb, mit Angabe des verletzten Merkmals. Die Einordnung nimmt das Testteam vor, nicht die Testperson.
Bei einer Ausgabe außerhalb des Bereichs ist vermerkt, ob der Fehler vom Testteam geplant war oder zufällig auftrat. Geplante Fehlerfälle prüfen die Erkennbarkeit; zufällige zeigen die Streuung.
Je Durchlauf: Prüfung und Korrektur
Der Zeitpunkt, an dem die Person mit dem Lesen der Ausgabe beginnt, und der Zeitpunkt, an dem sie die Ausgabe übernimmt, ändert oder verwirft, sind festgehalten. Die Differenz ist die Prüfzeit; sie erscheint in klassischen Protokollen nicht.
Jeder Eingriff in die Ausgabe ist als Handlung notiert: ergänzt, gestrichen, umformuliert, neu erstellt. Ein Eintrag wie „hat nachgebessert" reicht nicht; die Auswertung braucht die Art des Eingriffs.
Die Informationsquellen, die die Person für die Prüfung heranzieht, sind vermerkt: Originaldokument, Altsystem, Kollegin, eigene Erinnerung. Daran erkennt die Auswertung, ob die Oberfläche die Prüfung stützt oder ob die Person sie außerhalb erledigt.
Bei einer Ausgabe außerhalb des Bereichs ist festgehalten, ob die Person den Fehler bemerkt hat und woran. Ein übernommener Fehler ist ein Befund zur Prüfbarkeit und wird getrennt von Bedienfehlern ausgewertet.
Aussagen der Person zur Ausgabe sind im Wortlaut notiert, mit Zeitstempel. Deutungen wie „war irritiert" gehören nicht ins Protokoll, Handlungen und Zitate schon.
Je Durchlauf: Abbruch und Umgehung
Der Punkt, an dem die Person die Funktion verlässt, ist mit Zeitpunkt und Anlass festgehalten: Ausgabe verworfen, erneuter Durchlauf gestartet, Aufgabe ohne Funktion abgeschlossen, Aufgabe abgebrochen. Die vier Fälle sind in der Auswertung verschiedene Befunde.
Bei einem erneuten Durchlauf ist vermerkt, ob die Person ihn selbst ausgelöst hat oder die Moderation ihn angewiesen hat. Ein selbst ausgelöster Durchlauf zeigt, dass die Person die Schwankung erkannt und als Handlungsoption verstanden hat.
Der Weg ohne die Funktion ist beschrieben, wenn die Person ihn nimmt: welches Werkzeug, welche Schritte, wie lange. Diese Angabe ist der Vergleichswert für den Korrekturaufwand.
Nach dem Durchlauf
Die Bewertung der Person zur Ausgabe ist je Durchlauf erhoben und nicht erst am Ende der Sitzung. Eine einzelne Bewertung am Ende mischt mehrere gesehene Ausgaben zu einem Urteil.
Das Endergebnis des Durchlaufs ist gesichert: die Ausgabe nach allen Eingriffen der Person. Erst dieses Ergebnis lässt sich gegen das Arbeitsergebnis aus der Anforderung prüfen.
Ein Vermerk hält fest, ob die Person die Abweichung zum vorherigen Durchlauf bemerkt hat und wie sie sie erklärt hat: als eigenen Fehler, als Defekt, als Eigenschaft der Funktion.
Was ohne diese Angaben fehlt
Ohne die gesicherte Ausgabe lässt sich ein Abbruch nicht zuordnen. Ohne Prüfzeit und Eingriffsart bleibt der Korrekturaufwand unsichtbar, und die Funktion wirkt in der Auswertung schneller, als sie im Arbeitsablauf ist. Ohne die Einordnung gegen den Toleranzbereich lässt sich ein übernommener Fehler nicht von einer zulässigen Abweichung unterscheiden. Ohne die Bewertung je Durchlauf ist das Zufriedenheitsurteil ein Mittelwert über Ausgaben, die die Person unterschiedlich erlebt hat. Und ohne den beschriebenen Weg ohne die Funktion fehlt der Vergleichswert, an dem sich Effizienz nach ISO 9241-11 misst. Ein Protokoll mit diesen Lücken ergibt Befunde zur Bedienung. Befunde zur Ausgabe und zur Prüfarbeit ergibt es nicht.