Eine Product Ownerin fragt nach dem KI-Rollout das neue Werkzeug, was das Haus über die Servicetechniker weiß. Die Antwort fasst einen Testbericht und eine Workshop-Präsentation in einem Absatz zusammen; was davon beobachtet wurde, ist nicht erkennbar. Die Antwort ist so gut wie die Ablage, aus der sie stammt. Wir beschreiben den Aufbau eines Repositorys für Erkenntnisse aus Research und Rollout: die Einheit, die Metadaten, die Herkunftsangabe je Erkenntnis und den Zugriff nach Rollen. Er richtet sich an Knowledge-Management, Research-Verantwortliche und CIOs mit einem Repository- oder Suchprojekt.
Ausgangslage
Wissen über Nutzende, Aufgaben und Produkte liegt in Organisationen verteilt: in Studienberichten, Präsentationen, Tickets, Chatverläufen und in den Köpfen derer, die dabei waren. Nach einem Rollout kommt eine Suche über eigene Dokumente hinzu, und die erste Erfahrung damit haben wir in mehreren Häusern gleich erlebt. Das Werkzeug findet Dokumente. Es findet die Annahme aus dem Workshop neben dem Befund aus dem Usability-Test und fasst beides in einem Absatz zusammen. Wer die Antwort liest, kann nicht erkennen, was davon beobachtet wurde und was vermutet.
ISO 9241-210 verlangt, dass Ergebnisse des menschzentrierten Gestaltungsprozesses dokumentiert und weitergegeben werden, damit spätere Entscheidungen darauf zugreifen können. Ein Repository ist die Form, in der diese Weitergabe über Projekte und Teams hinweg funktioniert. Es unterscheidet sich von einer Dokumentablage durch vier Eigenschaften: Es speichert Erkenntnisse als Einheiten, versieht sie mit Metadaten, nennt je Einheit die Herkunft und regelt den Zugriff nach Rollen. Wir haben Repositorys in dieser Form mit zwei Kunden aufgebaut.
Bestandteil 1: Die Einheit
Die Einheit ist die einzelne Erkenntnis, nicht der Bericht. Ein Bericht aus einem Usability-Test enthält Befunde, Beobachtungen, Zitate und Empfehlungen; im Repository wird jeder Befund zu einer eigenen Einheit mit einer Aussage, die für sich lesbar ist. „Servicetechniker fotografieren die Auftragsnummer vom Bildschirm, weil sie in der Halle nicht abgeschrieben werden kann" ist eine Einheit. „Bericht Usability-Test Serviceanwendung, Q2" ist keine.
Legen Sie für jede Einheit drei Angaben fest: eine Aussage, einen Typ (Beobachtung, Befund, Anforderung, Annahme, Entscheidung) und einen Status (offen, geprüft, überholt). Der Typ trennt, was gesehen wurde, von dem, was daraus gefolgert wurde. Der Status sagt, ob die Einheit noch gilt. Ohne beides liest ein Werkzeug eine Annahme aus einem Workshop mit demselben Gewicht wie einen Befund aus dem Feld.
Bestandteil 2: Metadaten
Jede Einheit trägt Angaben, über die sie gefunden und eingeordnet wird: Produkt oder Vorhaben, Nutzergruppe, Aufgabe, Nutzungskontext, Methode der Erhebung, Datum, verantwortliche Person, Projekt. Die Liste ist je Organisation anders, und sie ist kurz; ein Feld, das niemand ausfüllt, wird gestrichen. Werte kommen aus festen Listen, damit dieselbe Nutzergruppe in allen Einheiten gleich heißt. Freitext bleibt der Aussage vorbehalten.
Metadaten sind das, worüber Rollen fragen. Eine Product Ownerin fragt nach dem Produkt und der Aufgabe, eine Führungskraft nach dem Vorhaben und dem Datum, eine Researcherin nach der Methode und der Nutzergruppe. Wenn diese Angaben in der Einheit stehen, kann ein Werkzeug die Frage beantworten, ohne die Aussage zu deuten.
Bestandteil 3: Die Herkunft je Erkenntnis
Die Herkunft nennt, woher eine Einheit stammt: die Studie, die Sitzung, die Stelle im Protokoll, das Zitat, die Zahl der Beobachtungen, aus denen sie entstanden ist, und den Nutzungskontext, in dem sie erhoben wurde. Für eine Annahme nennt sie den Workshop und die Person, die sie eingebracht hat. Für eine Entscheidung nennt sie das Gremium und das Datum.
An der Herkunft steht oder fällt die Verwendung mit KI-Werkzeugen. Ein Werkzeug, das eine Einheit mit Herkunft findet, kann die Quelle mit ausgeben, und die Person, die fragt, kann prüfen, ob die Erkenntnis für ihre Entscheidung ausreicht: eine Beobachtung an einem Arbeitsplatz oder ein Muster aus mehreren Studien. Ein Werkzeug, das Einheiten ohne Herkunft findet, gibt eine Aussage aus, die nach Wissen klingt und sich nicht prüfen lässt. Das Wiederfinden scheitert dann daran, dass niemand beurteilen kann, was gefunden wurde.
Bestandteil 4: Zugriff nach Rollen
Der Zugriff regelt, wer Einheiten liest, wer sie anlegt, wer sie prüft und den Status setzt, und wer die Rohdaten sieht. Rohdaten wie Aufzeichnungen, Transkripte und personenbezogene Angaben liegen getrennt vom Repository und sind für die Rollen zugänglich, die sie für die Auswertung brauchen; die Einheit verweist auf die Stelle, ohne sie zu enthalten. Welche Regeln für Rohdaten gelten, klärt die Organisation mit dem Datenschutz.
Für KI-Werkzeuge folgt daraus, dass die Suche denselben Zugriffsregeln unterliegt wie die Person, die fragt. Ein Werkzeug, das über alle Einheiten sucht und jedem alles ausgibt, hebt die Rollen auf. Ein Werkzeug, das die Rollen kennt, zeigt einer Führungskraft die Befunde und einer Researcherin zusätzlich die Protokollstellen.
Der Anschluss an KI-gestütztes Wiederfinden
Ein Repository mit diesen vier Bestandteilen ist die Grundlage für jede Suche über eigenes Wissen, ob als Volltextsuche, als Frage an ein Sprachmodell oder später als Wissensgraph, der Einheiten über Produkte, Nutzergruppen und Aufgaben verbindet. Der Wissensgraph ist der Ausbaupfad; er setzt gepflegte Einheiten mit Herkunft voraus und entsteht aus keiner Dokumentablage. Erkenntnisse aus dem Rollout selbst gehören in dieselbe Struktur: geprüfte Prompts, Übergabepunkte je Rolle, Messwerte aus der Baseline und der Wiederholungsmessung, jeweils mit Datum und Herkunft.
Grenzen
Der Einwand, dass die Pflege der Einheiten Zeit kostet, die im Projekt niemand hat, trifft zu. Deshalb ist das Anlegen der Einheiten bei uns der letzte Schritt jeder Auswertung, und die Metadatenliste bleibt kurz. In einem unserer Projekte füllte nach einigen Wochen niemand mehr die hinteren Felder aus; wir haben die Liste auf die Felder gekürzt, nach denen jemand gefragt hatte.
Einheiten, deren Status niemand setzt, veralten unbemerkt, und ein Werkzeug findet sie mit demselben Gewicht wie aktuelle. Die Metadaten müssen mit der Organisation mitwachsen; ein neues Produkt ohne Eintrag in der Liste erzeugt Einheiten, die niemand findet. Und das Repository ersetzt keine Erhebung. Es macht auffindbar, was erhoben wurde, und es zeigt, was fehlt.
Was danach vorliegt
Ein Repository mit Einheiten, die für sich lesbar sind, mit Metadaten aus festen Listen, mit Herkunft je Einheit und mit Zugriff nach Rollen. Jede Antwort, die ein KI-Werkzeug daraus erzeugt, lässt sich auf die Einheit und von dort auf die Quelle zurückführen. Haben Sie ein Repository, prüfen Sie als nächsten Schritt, ob die vier Bestandteile vollständig sind. Haben Sie keines, beginnen Sie mit einer Einheitendefinition und einer kurzen Metadatenliste.