Ausgangslage

Für Leitstände gelten zwei Bedingungen, die sich im Studiendesign widersprechen. Die Nutzung ist nur im Nutzungskontext zu verstehen: mit der Bildschirmwand, der Anordnung der Anzeigen, der Sitzposition, dem Nebengeräusch, den Kolleginnen und Kollegen am Nachbarplatz. Und die Nutzung soll vergleichbar gemessen werden, etwa ob eine neue Ansicht die Zeit bis zur richtigen Entscheidung verkürzt. Die Beobachtung in der Schicht erfüllt die erste Bedingung. Die zweite erfüllt sie nicht: Kein Ereignis läuft zweimal gleich ab, sicherheitsrelevante Situationen beenden die Beobachtung sofort, und im laufenden Betrieb können wir keine Aufgabe stellen.

Der Testarbeitsplatz löst diesen Widerspruch auf, indem er die Bedingungen des Arbeitsplatzes nachbildet und die Ereignisse steuerbar macht. Bei einem Übertragungsnetzbetreiber, Spielfeld Leitstand, ist aus einem Eyetracking-Test im Kontrollraum ein eigener Service mit eigenem Testarbeitsplatz geworden; aus diesem mehrjährigen Projekt stammt das Vorgehen. Nach ISO 9241-11 gehören Arbeitsmittel und Umgebung zum Nutzungskontext, in dem Gebrauchstauglichkeit gemessen wird. Der Testarbeitsplatz überträgt so viel davon in eine wiederholbare Anordnung, wie die Fragestellung verlangt.

Bestandteil 1: Nachbau des Arbeitsplatzes

Der Nachbau beginnt mit einer Beobachtung im Kontrollraum; das Datenblatt der Anlage reicht dafür nicht. Wir erfassen Anzahl und Anordnung der Bildschirme, ihre Abstände und Winkel zur Sitzposition, die Bildschirmwand und was von ihr aus dem Sitz sichtbar ist, die Eingabegeräte, die Beleuchtung, die Sitzhöhe und die Position von Telefon und Funk. Dazu kommen die Anwendungen mit ihrer Fensteraufteilung, so wie die Schicht sie eingerichtet hat. In einer frühen Studie hatten wir die Standardkonfiguration des Herstellers übernommen; die erste Testperson richtete sich den Platz zuerst so ein, wie ihre Schicht ihn nutzt, und die Messung begann verspätet. Seitdem übernehmen wir die Konfiguration der Schicht.

Der Testarbeitsplatz steht im Kontrollraum oder in einem Raum daneben, mit denselben Geräten und derselben Anordnung. Was sich nicht nachbauen lässt, dokumentieren wir als Abweichung für die Auswertung: die Bildschirmwand, wenn sie fehlt, das Nebengeräusch, die Nachbarplätze. Ein Testarbeitsplatz, der von einem Büroarbeitsplatz mit zwei Monitoren nicht zu unterscheiden ist, misst etwas anderes als die Nutzung im Leitstand.

Bestandteil 2: Szenarien aus dem Betrieb

Die Aufgaben am Testarbeitsplatz stammen aus dem Betrieb. Quellen sind Störungsprotokolle, Schichtbücher, Beobachtungen aus der Schicht und Gespräche mit erfahrenen Leitstandfahrerinnen und Leitstandfahrern. Ein Szenario beschreibt die Ausgangslage im Netz oder in der Anlage, das auslösende Ereignis, die erwartete Entscheidung und die Handlung, mit der die Person das Szenario abschließt, dazu, welche Informationen zu welchem Zeitpunkt auf welchem Bildschirm erscheinen.

Wir spielen die Szenarien über eine Simulation oder ein aufgezeichnetes Datenbild ein, damit jede Person dieselbe Abfolge sieht. Ausgewählt werden sie nach ihrer Bedeutung für die Fragestellung: Situationen mit Zeitdruck, mit mehreren gleichzeitigen Meldungen, mit einer Ansicht, die anders informiert als die alte. Die Auswahl stimmen wir mit Leitung und Schicht ab, damit kein Szenario an der Praxis vorbeigeht. Der Einwand aus der Schicht, dass ein nachgebauter Arbeitsplatz die Anspannung des Betriebs nicht erzeugt, trifft zu. Deshalb dient der Testarbeitsplatz dem Vergleich zwischen Versionen; die Belastung im Betrieb erheben wir in der Schichtbeobachtung.

Bestandteil 3: Wiederholbarkeit für Vergleiche über Releases

Der Nutzen des Testarbeitsplatzes liegt in der Wiederholung. Dieselben Szenarien durchlaufen mehrere Personen aus verschiedenen Schichten, und nach dem nächsten Release durchlaufen sie sie erneut. Damit die Ergebnisse vergleichbar sind, halten wir fest: die Version der Anwendung, die Konfiguration der Fenster, die Reihenfolge der Szenarien, die Messgrößen und das Protokollraster.

Die Messgrößen folgen ISO 9241-11: Effektivität als Anteil der richtigen Entscheidungen, Effizienz als Zeit vom Ereignis bis zur Handlung, Zufriedenstellung als Einschätzung der Person nach dem Szenario. Ein Eyetracking, also die Aufzeichnung des Blickverlaufs mit einer Kamera, ergänzt die Messung: wo die Person zuerst hinsieht, wie oft der Blick zwischen Bildschirmen wechselt, wie lange sie sucht. Diese Daten sind über Releases vergleichbar, weil Szenario und Arbeitsplatz gleich geblieben sind. Das Messverfahren beschreibt das Themengebiet zur Evaluation, den Eyetracking-Pilot für einen Leitstand der Beitrag zu Aufbau, Ablauf und Ergebnis.

Die Beobachtung im laufenden Betrieb bleibt

Der Testarbeitsplatz ersetzt die Beobachtung in der Schicht nicht. Drei Dinge zeigt er nicht. Keine Unterbrechungen: den Anruf, die Rückfrage vom Nachbarplatz, die Meldung, die während einer anderen Aufgabe eintrifft. Keine Schichtbedingungen: Müdigkeit in der Nachtschicht, Übergabe, Personalstand am Wochenende. Und keine Umwege aus dem Betrieb: die Tabelle neben dem System, den Zettel mit Telefonnummern, die zweite Anwendung, die geöffnet bleibt, weil die erste eine Information nicht liefert.

Deshalb gehören beide Formen in ein Studiendesign für Leitstände. Die Beobachtung in der Schicht liefert den Nutzungskontext, die Szenarien und die Umwege; der Testarbeitsplatz liefert die Vergleichbarkeit. Was wir in der Schicht beobachtet haben, wird zum Szenario; was wir am Testarbeitsplatz gemessen haben, prüfen wir in der nächsten Schichtbeobachtung daraufhin, ob es im Betrieb so vorkommt. Die Abstimmung mit Betriebsrat, Leitung und Schichtplan beschreibt die Anleitung zu Studien in der Schicht.

Grenzen

Ein Testarbeitsplatz ist an einen Kontrollraum gebunden. Ein anderer Leitstand mit anderer Bildschirmwand und anderer Anwendungskonfiguration braucht einen eigenen Nachbau oder eine dokumentierte Abweichung. Szenarien veralten, wenn sich Netz, Anlage oder Vorschriften ändern; wir prüfen sie mit der Leitung regelmäßig. Und die Wiederholbarkeit gilt für die Messung, nicht für die Personen: Wer ein Szenario zum zweiten Mal durchläuft, kennt es. Für Vergleiche über Releases verteilen wir Personen und Szenarien deshalb so, dass Lerneffekte in der Auswertung erkennbar bleiben.

Was danach vorliegt

Eine Dokumentation des Testarbeitsplatzes mit Geräten, Anordnung und Abweichungen zum Betrieb; ein Szenarienkatalog mit Quelle, Ablauf und Datenbild je Szenario; ein Messplan mit Messgrößen, Protokollraster und Versionsstand; die Ergebnisse je Durchlauf, vergleichbar über Releases. Der Testarbeitsplatz bleibt nach der ersten Studie bestehen und wird zur Einrichtung, an der jedes Release vor dem Ausrollen in den Leitstand geprüft wird.