Wenn ein Team zum ersten Mal bei einem Usability-Test mitschaut, entstehen im Nebenraum Gespräche über die Testperson, über das eigene Produkt und über die Frage, was man jetzt ändern sollte. Notizen entstehen selten. Dieser Beitrag beschreibt, wie Beobachtungsrollen verteilt werden, welche Notationsform sich in unseren Tests bewährt hat und wie die Pausen zwischen den Sessions strukturiert werden, damit aus dem Mitschauen Beobachtungen werden.
Voraussetzungen
Die Sessions sind für das Team zugänglich, im Nebenraum oder per Stream. Der Testplan mit den Aufgaben liegt allen Beobachtenden vor dem ersten Termin vor. Eine Person moderiert die Beobachtung: Sie verteilt die Rollen, leitet die Pausen und sammelt die Notizen ein. Diese Rolle liegt bei der Research-Rolle oder bei uns, wenn wir den Test durchführen. Und die Teilnehmenden wissen, dass beobachtet wird; das gehört in die Einwilligung.
Schritt 1: Beobachtungsaufträge verteilen
Was: Jede beobachtende Person erhält vor der ersten Session einen Auftrag. Der Auftrag bezieht sich entweder auf eine Aufgabe des Testplans, etwa das Anlegen eines Vorgangs, oder auf einen Aspekt über alle Aufgaben hinweg, etwa die Orientierung in der Navigation oder das Verständnis der Begriffe.
Warum: Ohne Auftrag beobachtet jede Person das, was sie ohnehin interessiert, meistens das eigene Arbeitsgebiet. Mit Auftrag ist sichergestellt, dass jede Aufgabe und jeder Aspekt von mindestens einer Person gesehen wird, und die Person weiß, worauf sie achtet.
Ergebnis: Eine Liste, wer was beobachtet, für alle sichtbar im Nebenraum.
Schritt 2: Notationsform vorgeben
Was: Alle Beobachtenden nutzen dasselbe Blatt, auf Papier oder digital. Es hat je Beobachtung eine Zeile mit vier Feldern: Zeitpunkt oder Aufgabe, was die Testperson getan hat, was sie gesagt hat, und ein getrenntes Feld für die eigene Deutung. Die ersten drei Felder sind Beobachtung, das vierte ist Interpretation.
Warum: Die Trennung von Beobachtung und Interpretation ist die wichtigste Regel des Mitschauens. „Die Testperson hat den Button mehrfach gesucht" ist eine Beobachtung. „Der Button ist zu klein" ist eine Deutung. Beide dürfen aufs Blatt, aber in verschiedene Felder. In der Auswertung zählen die Beobachtungen; die Deutungen sind Hypothesen, die geprüft werden.
Ergebnis: Vergleichbare Notizen aller Beobachtenden, die sich nach der Session zusammenführen lassen.
Schritt 3: Während der Session notieren
Was: Während der Session wird notiert und nicht gesprochen. Fragen an die Moderation werden aufgeschrieben und in der Pause übergeben. Kommentare über die Testperson unterbleiben; im Testraum sitzt eine Person, die dem Team ihre Zeit gibt.
Warum: Gespräche im Nebenraum verdrängen die Beobachtung. Wer über den letzten Abbruch diskutiert, verpasst die nächste Aufgabe. Und Kommentare über Teilnehmende verändern die Haltung des Teams gegenüber den Menschen, für die es das Produkt baut.
Ergebnis: Vollständige Notizen je Session.
Schritt 4: Pausen strukturieren
Was: Nach jeder Session gibt es eine kurze Runde, die die Moderation der Beobachtung leitet. Jede Person nennt eine Beobachtung aus ihrem Auftrag, ohne Deutung. Die Moderation sammelt die Blätter ein oder lässt sie ablegen. Danach werden Fragen für die nächste Session an die Testmoderation übergeben. Diskussionen über Lösungen werden auf den Auswertungstermin verschoben.
Warum: Die Runde macht sichtbar, was gesehen wurde, bevor es überlagert wird. Die Vertagung der Lösungsdiskussion verhindert, dass nach der ersten Session bereits feststeht, was geändert wird, und die übrigen Sessions nur noch Bestätigung suchen.
Ergebnis: Je Session ein Satz gesammelter Notizen und eine Liste offener Fragen.
Schritt 5: An die Auswertung übergeben
Was: Nach der letzten Session gehen alle Notizen an die Research-Rolle, die sie mit den eigenen Aufzeichnungen zusammenführt und zu Befunden verdichtet. Die Beobachtenden nehmen am Auswertungstermin teil.
Warum: Die Notizen des Teams sind Rohmaterial. Die Verdichtung zu Befunden braucht Methode, und sie braucht die Aufzeichnung, um Beobachtungen zu prüfen.
Ergebnis: Ein Befundkatalog, an dem das Team mitgearbeitet hat.
Typische Fehler
Zu viele Beobachtende im Raum. Ab einer gewissen Größe entsteht Publikum. Wer keinen Auftrag hat, schaut die Aufzeichnung später an.
Der Auftrag fehlt bei Gästen aus der Führung. Gerade für sie ist er wichtig, weil ihre Deutungen sonst besonderes Gewicht bekommen.
Die Pausenrunde wird zur Lösungsdiskussion. Die Moderation bricht ab und vertagt.
Die Deutungen werden als Befunde in den Bericht übernommen. Dann steht im Bericht, was das Team vorher dachte.
Ergebnis
Am Ende liegen Notizen aller Beobachtenden in einer Form vor, die sich auswerten lässt, und ein Team hat dieselben Sessions gesehen. Die Diskussion über Konsequenzen findet dann zwischen Menschen statt, die auf dieselben Beobachtungen zurückgreifen. Wie aus den Notizen eine Nutzungsanforderung wird, beschreibt der Methodenartikel zum Weg von der Beobachtung zur Anforderung.