Ausgangslage

Eine Produktleitung legt in der Budgetrunde einen Zufriedenheitswert aus einem standardisierten Fragebogen vor, der seit dem letzten Release gestiegen ist. Das Controlling fragt, was das in Personentagen bedeutet. Die Geschäftsführung fragt, ob das nächste Produkt wieder externe Unterstützung braucht. Auf beide Fragen hat der Zufriedenheitswert keine Antwort, und die Runde endet mit der Bitte um eine bessere Aufstellung. Wir haben diese Szene in ähnlicher Form mehrfach erlebt, auf beiden Seiten des Tischs.

Der Wert ist in Ordnung. Ein Zufriedenheitswert ist eine brauchbare Kennzahl für die Frage, die er beantwortet. Er sagt nichts über die Entwicklungskosten und nichts darüber, ob die Organisation beim nächsten Produkt ohne externe Hilfe auskommt. Deshalb arbeiten wir mit einem Set aus drei Kategorien. Die Messlogik stammt aus unserem Angebot zu KPIs und Erfolgsmessung. Die drei Kategorien sind die vollständige Menge: Wirkung beim Menschen, Wirkung in der Entwicklung, Wirkung in der Organisation.

Nutzer- und Produkt-KPIs beantworten die Frage nach der Wirkung beim Menschen

Diese Kategorie misst, ob das Produkt für die Menschen funktioniert, die es benutzen. Die Größen kommen aus ISO 9241-11: Effektivität (wurde die Aufgabe erledigt), Effizienz (mit welchem Aufwand) und Zufriedenstellung (wie bewerten Nutzende die Nutzung). Dazu kommen Adoption und die Werte standardisierter Fragebögen.

Jede dieser Größen gilt nur für einen dokumentierten Nutzungskontext: dieselbe Nutzergruppe, dieselbe Aufgabe, dieselben Arbeitsmittel, dieselbe Umgebung. Ohne diese Angabe sind zwei Werte aus verschiedenen Erhebungen nicht vergleichbar, und die Kennzahl verliert ihre Aussage über Verbesserung. Wir haben das in eigenen Projekten gelernt: Eine Aufgabenerfolgsquote aus einem Labortest und eine aus dem Feld lagen für dieselbe Aufgabe weit auseinander, und beide waren richtig, weil sie unter verschiedenen Bedingungen erhoben waren.

Adressat ist das Produktmanagement mit der Entwicklungsleitung. Diese Ebene entscheidet, was in das nächste Release kommt und ob ein Rollout stattfindet. Für sie gilt die Zeile von unserer Website: „Bevor Sie ausrollen, wissen Sie, ob es funktioniert."

Effizienz-KPIs beantworten die Frage nach den Kosten der Entwicklung

Die zweite Kategorie misst, was HCRD im Entwicklungsprozess verändert: die Zahl der Änderungsanforderungen nach Release, den Anteil nachgearbeiteter Stories, den Zeitpunkt, an dem ein Fehler entdeckt wird, und die Länge eines Entwicklungszyklus. Viele dieser Daten liegen bereits im Ticketsystem und im Support-Backlog. Die Arbeit besteht darin, sie mit einem Nutzungsbezug zu versehen: Welche der Änderungen wären in einem Usability-Test vor Release aufgefallen? Diese Zuordnung ist eine Einschätzung, und wir dokumentieren sie als solche, je Ticket mit einem Satz Begründung, damit das Controlling sie anfechten kann.

Adressat sind Controlling und Entwicklungsleitung. Diese Kategorie spricht die Sprache, in der über Budgets entschieden wird, weil sie Aufwand in Tickets und Personentagen ausdrückt. Eine Aussage über Kosten wird daraus erst mit den eigenen Kostensätzen der Organisation.

Reifegrad-KPIs beantworten die Frage nach der Organisation

Die dritte Kategorie misst die Organisation: ihren Fortschritt in Prozessen, Strukturen, Kompetenzen und Kultur. Prozesse: Ist HCRD im Entwicklungsprozess verankert, welche Gates und Artefakte existieren? Strukturen: Gibt es Rollen, Verantwortlichkeiten und Eskalationswege für Fragen der Gebrauchstauglichkeit? Kompetenzen: Sind die Fähigkeiten in Research, Design, Testing und Management intern vorhanden und entwickelbar? Kultur: Wird Nutzerzentrierung auf Leitungsebene, im mittleren Management und in den Teams praktiziert?

Der Fortschritt zeigt sich in der wiederholten Bewertung mit demselben Raster. Ein Reifegrad-KPI ist deshalb ein Verlaufswert, kein Momentwert. Die Bewertung stützt sich auf Artefakte aus dem Entwicklungsprozess (Rollenbeschreibungen, Gate-Kriterien, Testberichte, Anforderungsdokumente) und auf Interviews mit den beteiligten Rollen. So wird aus einer Selbsteinschätzung eine dokumentierte Standortbestimmung.

Adressat sind Executive Leadership und Transformationsverantwortliche. Diese Ebene entscheidet über Sponsorship und darüber, ob HCRD als Einzelprojekt oder als Fähigkeit der Organisation behandelt wird.

Die drei Kategorien gehören zusammen

Jede Kategorie allein hat eine Lücke. Ein guter Produkt-KPI ohne Effizienz-KPI zeigt Wirkung ohne Kosten. Ein Effizienz-KPI ohne Produkt-KPI zeigt Einsparung ohne Aussage über Gebrauchstauglichkeit. Beide ohne Reifegrad-KPI zeigen ein Projekt und keine Fähigkeit. Erst zusammen ergeben sie das Bild, mit dem sich die Budgetrunde vom Anfang führen lässt: Die Produktleitung hat ihren Wert, das Controlling seine Personentage, die Geschäftsführung eine Standortbestimmung.

Der stärkste Einwand gegen das Set lautet, drei Kategorien seien zu viel für eine Budgetrunde. Ich verstehe ihn, und die Antwort darauf ist eine Regel für die Vorlage: aus jeder Kategorie mindestens eine Kennzahl, mit Baseline, aktuellem Wert und der Entscheidung, die daran hängt. Mehr Kennzahlen je Kategorie sind erlaubt, wenn jede einen benannten Adressaten hat.

Auf unserer Website steht über unsere Kunden: „Diese Unternehmen entscheiden heute mit Evidenz statt mit Bauchgefühl". Die drei Kategorien sind die Form, in der diese Evidenz in ein Gremium gelangt.

Grenzen

Das Set ersetzt keine Wirtschaftlichkeitsrechnung. Für einen Business Case braucht es kundenseitige Kostensätze für Nacharbeit und Änderungsaufwand, die je Organisation erhoben werden. Die Kategorien geben außerdem keine Zielwerte vor. Ein Zielwert entsteht aus der Baseline der ersten Messung und aus der Entscheidung, die an der Kennzahl hängt. Reifegrad-KPIs zeigen Fortschritt nur, wenn das Bewertungsraster zwischen zwei Messungen unverändert bleibt.

Was danach vorliegt

Nach der Auswahl liegt ein Kennzahlenset vor, in dem jede Kennzahl einer Kategorie, einem Gremium und einer Entscheidung zugeordnet ist. Dazu steht je Kennzahl, aus welcher Quelle der Wert stammt (Usability-Test, Ticketsystem, Assessment) und in welchem Rhythmus er berichtet wird. Damit lässt sich die Erhebung planen, bevor die erste Budgetrunde ansteht.