Selbstauskunft und Beobachtung weichen regelmäßig voneinander ab. Teilnehmende bewerten eine Aufgabe als einfach, die sie im Test nicht abgeschlossen haben, oder als mühsam, obwohl sie sie ohne Umweg gelöst haben. Diese Abweichung ist selbst ein Befund. Der Beitrag zeigt ein Berichtsformat, das beide Quellen je Aufgabe nebeneinanderstellt, statt eine davon als Ergebnis auszugeben.
Ausgangslage: eine Quelle wird zum Ergebnis erklärt
In vielen Berichten steht eine der beiden Quellen im Vordergrund. Kommt der Bericht aus der Marktforschung, ist der Fragebogenwert das Ergebnis und die Beobachtung eine Illustration. Kommt er aus dem UX-Team, ist der Befundkatalog das Ergebnis und der Fragebogenwert eine Zeile im Anhang. In beiden Fällen geht die Information verloren, die im Verhältnis der beiden Quellen steckt.
Zwei Quellen für drei Messgrößen
ISO 9241-11 misst Gebrauchstauglichkeit über Effektivität, Effizienz und Zufriedenstellung. Effektivität und Effizienz werden beobachtet: Erfolgsquote und Aufwand entstehen aus dem, was in der Sitzung passiert. Zufriedenstellung wird erfragt: Sie entsteht aus der Selbstauskunft nach der Aufgabe oder nach der Sitzung. Die Selbstauskunft misst also eine eigene Messgröße. Sie ersetzt die Beobachtung nicht, und die Beobachtung ersetzt sie nicht.
Die Abweichung ist ein Befund
Stellt man je Aufgabe die beobachtete Stufe (gelöst oder nicht gelöst) neben die Selbstauskunft (leicht oder schwer), entstehen vier Felder.
Gelöst und als leicht bewertet. Die Aufgabe ist unauffällig. Sie bleibt in der Messreihe, ohne Befund.
Gelöst und als schwer bewertet. Der Endzustand wurde erreicht, aber der Weg war anstrengend oder unsicher. Das weist auf Aufwand oder auf fehlende Rückmeldung hin, die im Endzustand nicht sichtbar sind. Die Beobachtung liefert dazu meist Umwege oder Zögern vor Eingaben.
Nicht gelöst und als leicht bewertet. Die Teilnehmenden halten die Aufgabe für erledigt, obwohl der Endzustand nicht erreicht ist. Im Betrieb löst dieser Fall keine Rückfrage aus. Der Fehler fällt erst an anderer Stelle auf. Dieses Feld bekommt in unserer Auswertung einen hohen Schweregrad, unabhängig davon, wie oft es auftrat.
Nicht gelöst und als schwer bewertet. Beobachtung und Selbstauskunft stimmen überein. Die Ursache steht im Befundkatalog.
Die beiden mittleren Felder sind die Befunde, die nur aus der Gegenüberstellung entstehen. Wer nur eine Quelle berichtet, sieht sie nicht. Ein Bericht, der allein den Fragebogenwert ausweist, meldet für die dritte Gruppe eine hohe Zufriedenstellung und übersieht, dass das Ziel verfehlt wurde.
Das Berichtsformat: eine Zeile je Aufgabe
Der Bericht enthält je Aufgabe eine Zeile mit diesen Spalten: Aufgabe und Nutzungsziel, Erfolgsquote mit Stufenverteilung (beobachtet), Aufwand über die erfolgreichen Sitzungen (beobachtet), Fragebogenwert nach der Aufgabe (erfragt), Anzahl der Sitzungen mit Abweichung zwischen beiden Quellen und die Befund-IDs, die diese Abweichung erklären.
Unter der Tabelle steht der Fragebogenwert für die gesamte Sitzung, damit die Aufgabenwerte und der Gesamteindruck verglichen werden können. Davor steht das Kontextblatt mit Nutzergruppe, Aufgaben, Arbeitsmitteln und Umgebung, das die Werte reproduzierbar macht.
Für Entscheidungsgremien lässt sich die Tabelle als Vier-Felder-Darstellung je Aufgabe zusammenfassen. Die Zeilen mit Abweichung werden markiert und mit dem zugehörigen Befund verlinkt.
Die Erhebung so planen, dass die Gegenüberstellung möglich ist
Die Gegenüberstellung braucht einen Fragebogenwert je Aufgabe, direkt nach der Aufgabe erhoben, mit einem kurzen Instrument. Ein Fragebogen nur am Ende der Sitzung liefert einen Gesamtwert, der sich keiner Aufgabe zuordnen lässt.
Aufgabe, Beobachtungsprotokoll und Fragebogen verwenden dieselbe Aufgabenkennung. Der Zeitpunkt der Befragung wird protokolliert. Die Erfolgsdefinition je Aufgabe steht vor der ersten Sitzung fest, damit die beobachtete Stufe nicht nachträglich an die Selbstauskunft angepasst wird.
Grenzen
Mit wenigen Sitzungen ist eine einzelne Abweichung ein Hinweis und noch kein Muster. Der Bericht weist die Anzahl der abweichenden Sitzungen aus, damit die Lesenden das Gewicht einschätzen können.
Ein Fragebogen nach jeder Aufgabe unterbricht den Ablauf. Bei Aufgaben, die aufeinander aufbauen, kann das die Effizienzwerte beeinflussen. Diese Entscheidung gehört in den Testplan und wird im Kontextblatt vermerkt.
Instrumente ohne Aufgabenbezug, etwa Sitzungsfragebögen, lassen sich nur mit dem Gesamtwert vergleichen. Die Vier-Felder-Darstellung ist dann nicht möglich.
Was danach vorliegt
Ein Bericht mit einer Zeile je Aufgabe, in der beobachtete und erfragte Werte nebeneinanderstehen, mit markierten Abweichungen und den Befunden, die sie erklären. Die Fälle gefühlter Fertigstellung sind ausgewiesen und mit Schweregrad versehen. Die nächste Erhebung nutzt dasselbe Format, so dass sich neben den einzelnen Werten auch die Zahl der Abweichungen über Releases hinweg verfolgen lässt.