Eine Investition in Nutzerzentrierung lässt sich gegenüber Geschäftsleitung und Controlling darstellen, wenn ihre Wirkung in Kennzahlen erscheint, die dort gelesen werden. Das KPI-Modell aus unserer Strategieberatung arbeitet mit drei Kategorien: Nutzer- und Produkt-KPIs, Effizienz-KPIs und Reifegrad-KPIs. Der Beitrag beschreibt je Kategorie, was gemessen wird und woher die Werte kommen.
Ausgangslage
Usability-Ergebnisse liegen in Projektberichten. Sie beschreiben Befunde, Schweregrade und Empfehlungen und richten sich an das Team, das das Produkt weiterentwickelt. Geschäftsleitung und Controlling lesen andere Dokumente: Quartalsberichte und Planungsvorlagen. Damit die Wirkung von HCRD dort ankommt, braucht sie eine Form, die in diese Dokumente passt.
ISO 9241-11 definiert Gebrauchstauglichkeit über Effektivität, Effizienz und Zufriedenstellung und gibt damit die Messgrößen für die erste Kategorie vor. Die beiden anderen Kategorien übersetzen in Geschäftsbegriffe und in den Reifegrad der Organisation. Jede Kategorie beantwortet eine andere Frage, und ein Bericht, der nur eine davon enthält, lässt die beiden anderen offen.
Kategorie 1: Nutzer- und Produkt-KPIs
Diese Kategorie misst die Nutzungsqualität des Produkts. Typische Messgrößen: Aufgabenerfolg (Anteil der Nutzenden, die eine definierte Aufgabe abschließen), Bearbeitungszeit je Aufgabe, Fehlerrate, Zufriedenstellung über standardisierte Fragebögen, Adoption (Anteil der Zielgruppe, der das Produkt nutzt) und Nutzungshäufigkeit. Aufgabenerfolg und Fehlerrate entsprechen der Effektivität nach ISO 9241-11, die Bearbeitungszeit der Effizienz, die Zufriedenstellung ist die dritte Komponente der Norm.
Woher die Werte kommen: Aufgabenerfolg, Bearbeitungszeit und Fehlerrate aus Usability-Tests mit definierten Aufgaben oder aus Nutzungsdaten des Produkts; Zufriedenstellung aus Befragungen; Adoption und Nutzungshäufigkeit aus den Nutzungsdaten. Wichtig ist, dass dieselbe Aufgabe mit derselben Definition und derselben Nutzendengruppe wiederholt gemessen wird, sonst lässt sich kein Verlauf zeigen.
Kategorie 2: Effizienz-KPIs
Diese Kategorie misst, was Nutzerzentrierung im Entwicklungsprozess verändert. Typische Messgrößen: Dauer von Entwicklungszyklen, Anteil von Nacharbeit nach Release, Zeitpunkt, an dem Bedienprobleme im Prozess erkannt werden (vor oder nach der Implementierung), Anzahl der Änderungsanforderungen nach Marktstart und Support-Aufkommen zu Bedienproblemen.
Woher die Werte kommen: aus Entwicklungs- und Ticketsystemen sowie aus dem Support. Diese Kategorie spricht die Sprache des Controllings, weil sich die Werte in Aufwand und Kosten übersetzen lassen. Sie braucht eine Ausgangsmessung, weil ein Zyklus ohne Vergleichswert nichts über die Veränderung sagt, und sie braucht den Kontext der übrigen Veränderungen im Zeitraum, weil Entwicklungszyklen auf viele Einflüsse reagieren.
Kategorie 3: Reifegrad-KPIs
Diese Kategorie misst den Fortschritt der Organisation entlang der vier Reifedimensionen. Typische Messgrößen: der Anteil der Vorhaben, die den vorgesehenen Entscheidungspunkt mit Artefakt passiert haben (Prozesse); die Anzahl besetzter Rollen mit dokumentierter Verantwortung für Nutzungsanforderungen (Strukturen); der Anteil der Rollen, die eine Methode im laufenden Vorhaben angewendet haben (Kompetenzen); die Anzahl der Sessions mit Teilnahme der Führung und der Entscheidungen mit zitierter Beobachtung (Kultur).
Woher die Werte kommen: aus dem Assessment als Ausgangsmessung und aus Wiederholungen entlang der Meilensteine des Fahrplans. Diese Kategorie beantwortet die Frage, ob die Organisation Nutzungsevidenz dauerhaft ohne externe Hilfe erheben und nutzen kann. Sie wird an der Organisation gemessen, die beiden anderen am Produkt und am Entwicklungsprozess. Deshalb verändert sie sich langsamer und wird seltener erhoben, meist an den Meilensteinen des Fahrplans.
Die drei Kategorien im Bericht
Ein Bericht an die Geschäftsleitung braucht aus jeder Kategorie wenige Werte, die über mehrere Berichtszeiträume gleich erhoben werden. Die Nutzer- und Produkt-KPIs zeigen, ob das Produkt für die Menschen funktioniert, die es benutzen. Die Effizienz-KPIs zeigen, was das im Entwicklungsaufwand verändert. Die Reifegrad-KPIs zeigen, ob die Organisation das dauerhaft selbst kann. Zusammen beantworten sie die Frage, die ein Planungsgremium stellt: Was hat die Investition verändert, und bleibt die Wirkung erhalten?
Für jeden Wert im Bericht gehört die Definition in eine Fußnote oder ein Messblatt: Aufgabe, Nutzendengruppe, Quelle, Erhebungszeitraum. Wer den Bericht liest, kann dann nachvollziehen, was gemessen wurde, und wer ihn fortschreibt, misst dasselbe.
Grenzen
Das Modell nennt Kategorien und Messgrößen, keine Zielwerte. Welche Werte für eine Organisation angemessen sind, ergibt sich aus der Ausgangsmessung und dem Fahrplan. Vergleichswerte aus Kundenprojekten liegen bei uns nicht freigegeben vor; wir nennen deshalb keine typischen Verläufe. Effizienz-KPIs sind außerdem von anderen Einflüssen abhängig, etwa Teamgröße oder Technologiewechsel; die Zuordnung zu HCRD-Maßnahmen braucht eine Ausgangsmessung und eine Beschreibung der übrigen Veränderungen im Zeitraum.
Was danach vorliegt
Ein Kennzahlenset mit je Kategorie wenigen Messgrößen, deren Definition, Quelle und Erhebungsrhythmus dokumentiert sind, dazu die Ausgangswerte. Es ist die Grundlage für die Erfolgsmessung als sechste Stufe des Vorgehensmodells und für die Aufnahme in den regulären Management-Report.