Befunde verändern Roadmaps erst, wenn der Schweregrad nach dokumentierten Kriterien vergeben wird und nicht nach Diskussionslage im Auswertungsworkshop. Der Beitrag beschreibt die drei Kriterien, aus denen sich ein Schweregrad zusammensetzt: Auswirkung auf die Zielerreichung, Häufigkeit über die Sitzungen und Aufwand für die Umgehung. Mit dokumentierten Kriterien wird die Einstufung zwischen Auswertenden und zwischen Projekten nachvollziehbar.
Ausgangslage: Schweregrad nach Lautstärke
Im Auswertungsworkshop liegen die Befunde auf dem Tisch. Der Befund, den die Produktleitung selbst in einer Sitzung gesehen hat, wird kritisch. Der Befund, der in jeder Sitzung auftrat, aber unauffällig aussah, wird mittel. Ein Befund, für den ein Entwickler sofort eine Lösung hatte, wird niedrig, weil er ja schnell behoben ist. Am Ende spiegelt die Schweregradverteilung die Diskussion und nicht die Beobachtung.
Diese Einstufung ist zwischen Projekten nicht vergleichbar und innerhalb des Projekts nicht wiederholbar. Ein anderer Workshop mit denselben Befunden käme zu einer anderen Verteilung.
Kriterium 1: Auswirkung auf die Zielerreichung
Das erste Kriterium fragt, was der Befund mit dem Nutzungsziel gemacht hat. Die Stufen folgen der Erfolgsdefinition: Der Befund hat zum Abbruch geführt, zu einem Teilerfolg, zu einem Umweg oder zu keiner messbaren Auswirkung auf das Ergebnis. Ein eigener Fall ist die gefühlte Fertigstellung: Die Teilnehmenden halten das Ziel für erreicht, obwohl es verfehlt wurde. Dieser Fall wird wie ein Abbruch gewertet, weil er im Betrieb ohne Rückmeldung bleibt.
Die Auswirkung wird je Sitzung festgehalten, in der der Befund auftrat. Für den Schweregrad zählt die schwerste beobachtete Auswirkung.
Kriterium 2: Häufigkeit über die Sitzungen
Das zweite Kriterium fragt, in wie vielen Sitzungen der Befund auftrat, bezogen auf die Sitzungen, in denen die Aufgabe bearbeitet wurde. Ein Befund, der in jeder Sitzung auftrat, wiegt schwerer als einer, der einmal auftrat, auch wenn die Auswirkung gleich war. Die Häufigkeit wird als Anteil dokumentiert, mit Zähler und Nenner, damit der Wert bei wenigen Sitzungen nicht mehr Sicherheit vortäuscht, als er hat.
Kriterium 3: Aufwand für die Umgehung
Das dritte Kriterium fragt, ob Nutzende den Befund umgehen können. Es gibt einen Weg, den Teilnehmende selbst gefunden haben. Es gibt einen Weg, der nur mit Hilfe gefunden wurde. Oder es gibt keinen Weg. Ein Befund ohne Umgehung wiegt schwerer als einer mit einem Weg, den Nutzende selbst finden, weil er im Betrieb den Vorgang blockiert.
Aus drei Kriterien wird eine Stufe
Die Regel für die Stufe wird vor der Auswertung aufgeschrieben. In unserem Verfahren führt die Auswirkung: Ein Befund mit Abbruch oder gefühlter Fertigstellung startet in der höchsten Stufe. Die Häufigkeit hält ihn dort oder senkt ihn, wenn er selten auftrat. Die Umgehung senkt ihn weiter, wenn Nutzende selbst einen Weg gefunden haben. Ein Befund ohne Auswirkung auf das Ergebnis startet in der niedrigsten Stufe und steigt, wenn er in vielen Sitzungen auftrat.
Die Regel steht als Tabelle im Testplan. Jede Abweichung von der Regel wird am Befund begründet, etwa weil in einem sicherheitskritischen Kontext eine seltene Fehlbedienung mit hohen Folgen anders zu bewerten ist als im Kundenportal. Die Begründung ist Teil des Befunds und wird mit ihm ins Backlog übernommen.
Kalibrierung und Qualitätsprüfung
Jeder Befund erhält eine stabile ID, die über Auswertung, Bericht, Backlog und Nachtest gleich bleibt. Vor der Auswertung stufen zwei Personen dieselben Befunde unabhängig ein und gleichen ab. Die Zweifelsfälle und ihre Entscheidung gehen in die Regel ein.
Eine automatische Prüfung stellt am Ende sicher, dass jeder Befund die drei Kriterien mit Wert enthält, dass die Stufe der Regel folgt oder eine Begründung hat, dass der Sitzungsbezug vorhanden ist und dass die Häufigkeit Zähler und Nenner nennt. Befunde, die die Prüfung nicht bestehen, gehen zurück in die Auswertung. So sieht das Verfahren aus, mit dem wir moderierte Usability-Tests auswerten.
Grenzen
Der Schweregrad ist keine Priorität. Die Priorität im Backlog entsteht aus Schweregrad, Umsetzungsaufwand und Produktstrategie. Der Schweregrad liefert den Beitrag aus der Beobachtung; die anderen beiden kommen aus Entwicklung und Produktmanagement.
Vergleichbarkeit zwischen Projekten setzt dieselben Kriterien und dieselbe Regel voraus. Wer die Regel je Projekt anpasst, dokumentiert das im Testplan und vergleicht nur innerhalb des Projekts.
In sicherheitskritischen Kontexten reichen die drei Kriterien für sich nicht aus. Die Folgen einer Fehlbedienung für Anlage und Personen kommen als eigenes Kriterium hinzu und werden mit den Fachleuten des Betriebs festgelegt.
Was danach vorliegt
Ein Befundkatalog, in dem jeder Befund eine stabile ID, drei dokumentierte Kriterien mit Werten, eine Stufe nach Regel oder mit Begründung und den Sitzungsbezug hat. Die Einstufung lässt sich von einer dritten Person nachvollziehen und in der nächsten Erhebung wiederholen. Mit dieser Grundlage wird aus dem Katalog eine Entscheidungsvorlage, die der Beitrag `vom-befundkatalog-zur-entscheidungsvorlage` beschreibt, und ein Backlog, das der Beitrag `befundkatalog-ins-backlog` beschreibt.