Wenn Produktmanagement, Fachabteilung und Entwicklung eine Testsitzung live mitverfolgen, entfällt später die Diskussion darüber, ob die Befunde stimmen. Damit das gelingt, braucht die Beobachtung ein Setup: einen Stream oder einen Nebenraum, ausgewählte Zuschauende mit klaren Rollen, die Regel, dass niemand eingreift, und eine Einwilligung der Testpersonen, die das Mitschauen abdeckt. Diese Anleitung geht die Organisation Schritt für Schritt durch, für Teams, die zum ersten Mal Stakeholder in einen Usability-Test einladen. Wie die Zuschauenden während der Sitzung notieren, beschreibt ein eigener Beitrag; hier geht es um alles, was vorher geklärt wird.
Voraussetzungen
Ein Usability-Test ist geplant, mit Testplan, Aufgaben und rekrutierten Testpersonen. Eine Person moderiert die Sitzungen und eine zweite protokolliert; beide sind während der Sitzung mit der Testperson beschäftigt. Für die Organisation der Beobachtung brauchen wir deshalb eine dritte Person, die den Beobachtungsraum betreut. Und wir brauchen eine Ansprechperson beim Kunden, die die Zuschauenden benennt und interne Abstimmungen übernimmt.
Schritt 1: Einwilligung und Datenschutz klären
Was: Die Testpersonen müssen vor der Sitzung wissen, dass zugeschaut wird, wer zuschaut, was übertragen wird (Bild, Ton, Bildschirm) und ob aufgezeichnet wird. Das steht in der Einwilligung, die sie vor Beginn unterschreiben. Legen Sie mit dem Datenschutz des Kunden fest, ob der Stream aufgezeichnet werden darf, wo die Aufzeichnung liegt, wer Zugriff hat und wann sie gelöscht wird. Für die Zuschauenden gilt: keine eigenen Mitschnitte, keine Screenshots, keine Weitergabe von Namen der Testpersonen. Wenn die Testpersonen Mitarbeitende des Kunden sind, kommt der Betriebsrat hinzu.
Warum: Eine Testperson, die erst im Raum erfährt, dass mehrere Personen zuschauen, verhält sich anders oder bricht ab. Und eine Übertragung ohne geklärte Grundlage kann die Ergebnisse unbrauchbar machen. Welche Regeln im Einzelnen gelten, klärt die Organisation mit ihrem Datenschutz; diese Anleitung nennt die Themen, keine Rechtsauskunft.
Ergebnis: eine Einwilligung, die das Mitschauen und die Übertragung abdeckt, und eine dokumentierte Abstimmung mit Datenschutz und gegebenenfalls Betriebsrat.
Schritt 2: Das technische Setup festlegen
Was: Entscheiden Sie, ob die Zuschauenden in einem Nebenraum vor Ort sitzen oder per Stream zuschauen. In beiden Fällen braucht die Übertragung drei Quellen: den Bildschirm oder das Gerät der Testperson; ihr Gesicht und ihre Hände, wenn ein physisches Produkt getestet wird; den Ton von Testperson und Moderation. Beim Stream kommt eine Plattform hinzu, die der Datenschutz des Kunden freigegeben hat, mit Zugang nur für eingeladene Personen. Planen Sie eine Technikprobe am Vortag mit denselben Geräten und demselben Raum. Legen Sie fest, was passiert, wenn der Stream ausfällt: Die Sitzung läuft weiter, die Aufzeichnung wird später gezeigt.
Warum: Die Zuschauenden sehen nur, was übertragen wird. Fehlt das Gesicht, fehlt das Zögern. Fehlt der Ton der Moderation, fehlt der Kontext der Aufgabe.
Ergebnis: ein Setup-Plan mit Quellen, Plattform, Zugängen, Technikprobe und Ausfallregel.
Schritt 3: Zuschauende auswählen und einladen
Was: Bitten Sie die Ansprechperson beim Kunden, die Personen zu benennen, die nach dem Test über Prioritäten entscheiden: Produktmanagement, Fachabteilung, Entwicklungsleitung. Halten Sie die Gruppe klein. Planen Sie die Besetzung so, dass jede dieser Personen mehrere Sitzungen sieht statt einer einzigen. Schicken Sie mit der Einladung den Testplan mit den Aufgaben, den Ablauf des Testtags und die Regeln aus Schritt 4.
Warum: Wer später entscheidet und die Sitzungen gesehen hat, diskutiert über Konsequenzen statt über die Datenlage. Wer nur eine Sitzung gesehen hat, hält diese für den Normalfall.
Ergebnis: eine Liste der Zuschauenden je Sitzung, mit Testplan und Regeln verschickt.
Schritt 4: Rollen und Regeln festlegen
Was: Eine Person aus dem Testteam moderiert den Beobachtungsraum. Sie begrüßt die Zuschauenden, erklärt den Ablauf, verteilt Beobachtungsbögen, leitet die Pausen und sammelt die Notizen ein. Für die Zuschauenden gelten vier Regeln, die vor der ersten Sitzung ausgesprochen werden: Niemand greift in die Sitzung ein, weder durch Zuruf noch durch Nachrichten an die Moderation im Testraum. Fragen an die Testperson werden aufgeschrieben und in der Pause an die Moderation übergeben, die entscheidet, ob sie gestellt werden. Während der Sitzung wird notiert und nicht diskutiert. Über die Testperson wird nicht geurteilt; sie gibt dem Team ihre Zeit.
Warum: Ein Zuruf oder eine Nachricht während der Sitzung verändert die Sitzung, und die Beobachtung ist danach nicht mehr verwertbar. Urteile über Testpersonen verändern die Haltung des Teams gegenüber den Menschen, für die es das Produkt baut.
Ergebnis: eine benannte Moderation für den Beobachtungsraum und ein Regelblatt, das mit der Einladung verschickt und vor der ersten Sitzung wiederholt wird.
Schritt 5: Den Testtag ablaufen lassen
Was: Vor der ersten Sitzung gibt es ein kurzes Briefing im Beobachtungsraum: Ablauf, Aufgaben, Regeln, Beobachtungsbögen. Zwischen den Sitzungen leitet die Moderation eine kurze Runde, in der jede Person eine Beobachtung nennt, und übergibt die gesammelten Fragen an die Testmoderation. Lösungsvorschläge werden notiert und auf den Auswertungstermin verschoben. Nach der letzten Sitzung gibt es ein Debriefing: Was wurde gesehen, welche Befunde traten in mehreren Sitzungen auf, was bleibt offen.
Warum: Das Briefing verhindert, dass die erste Sitzung zum Kennenlernen des Formats verbraucht wird. Die Pausenrunden halten fest, was gesehen wurde, bevor es von der nächsten Sitzung überlagert wird. Und das Verschieben der Lösungsdiskussion verhindert, dass nach der ersten Sitzung feststeht, was geändert wird.
Ergebnis: ein Ablaufplan für den Testtag mit Briefing, Pausenrunden und Debriefing.
Schritt 6: An die Auswertung übergeben
Was: Die Notizen der Zuschauenden gehen an das Testteam und werden getrennt von den Protokollen der Moderation ausgewertet. Die Zuschauenden erhalten eine Einladung zum Auswertungstermin. Dort liegt eine Übersicht vor, in der jeder Befund mit den Sitzungen steht, in denen er auftrat.
Warum: Die Notizen der Zuschauenden sind Rohmaterial mit Deutungen. Die Verdichtung zu Befunden braucht die Aufzeichnung und die Methode. Und die Übersicht über alle Sitzungen verhindert, dass Personen, die nur einen Teil gesehen haben, von diesem Teil auf alle schließen.
Ergebnis: ein Auswertungstermin, an dem die Zuschauenden teilnehmen, mit einer Befundübersicht über alle Sitzungen.
Typische Fehler
Die Einwilligung nennt das Mitschauen nicht, und die Testperson erfährt es im Raum. Der Stream wird ohne Technikprobe gestartet und fällt in der ersten Sitzung aus. Der Beobachtungsraum ist voll besetzt, und es entsteht Publikum; wer keine Entscheidung trifft, sieht die Aufzeichnung später. Eine Führungskraft kommt zu einer einzigen Sitzung und entscheidet danach. Niemand moderiert den Beobachtungsraum, und die Zuschauenden diskutieren während der Sitzung.
Was am Ende vorliegt
Eine Einwilligung, die das Mitschauen abdeckt, eine dokumentierte Abstimmung mit Datenschutz und gegebenenfalls Betriebsrat, ein Setup-Plan mit Technikprobe, eine Liste der Zuschauenden je Sitzung, ein Regelblatt, ein Ablaufplan für den Testtag und ein Auswertungstermin, an dem alle Beteiligten dieselben Sitzungen gesehen haben.