Funktionen, die Text erzeugen, Fälle zuordnen oder Vorschläge machen, unterscheiden sich in vier Eigenschaften von den Funktionen, für die Teams bisher gestaltet haben. Jede Eigenschaft erzeugt eine Gestaltungsaufgabe. Der Beitrag benennt beide, damit die Aufgabe vor der Implementierung beantwortet ist.
Ausgangslage
In Usability-Tests von Fachanwendungen mit generierten Ausgaben beobachten wir Situationen, die in Tests deterministischer Funktionen nicht vorkommen. Eine Testperson bekommt beim zweiten Versuch ein anderes Ergebnis und hält das für einen Bedienfehler. Eine Testperson übernimmt eine Ausgabe, die falsch ist, weil sie überzeugend formuliert ist. Eine Testperson fragt, woher das System eine Angabe hat, und findet keine Antwort in der Oberfläche. Die Ursachen liegen in Eigenschaften der Funktion selbst. Sie lassen sich vor der Implementierung in Gestaltungsaufgaben übersetzen.
Die vier Eigenschaften gelten für die Funktion aus Sicht der Nutzenden. Über das technische Verfahren dahinter, über einzelne Modelle oder Anbieter sagen sie nichts. Die Reihenfolge folgt dem Ablauf im Test: Die Schwankung fällt beim Wiederholen auf, der Fehlerfall beim Prüfen, die Datenherkunft beim Nachfragen und die Überzeugungskraft beim Übernehmen.
Eigenschaft 1: Die Ausgabe schwankt bei gleicher Eingabe
Zwei Durchläufe mit derselben Eingabe liefern verschiedene Ergebnisse. Nutzende, die eine Funktion als Werkzeug gelernt haben, erwarten Wiederholbarkeit; ausbleibende Wiederholbarkeit deuten sie als eigenen Fehler oder als Defekt.
Gestaltungsaufgabe: Die Anforderung nennt einen Toleranzbereich statt eines exakten Sollwerts, und die Oberfläche macht die Schwankung erkennbar. Ausgaben sind als Vorschlag gekennzeichnet, ein erneuter Durchlauf ist als Handlung vorgesehen, frühere Ausgaben bleiben erreichbar. Die Frage, die vor der Implementierung beantwortet ist: Welche Abweichungen zwischen zwei Durchläufen sind für die Aufgabe zulässig, welche nicht?
Eigenschaft 2: Der Fehlerfall ist nicht vorhersagbar
Bei einer deterministischen Funktion lassen sich Fehlerzustände aufzählen und abfangen. Bei einer generierten Ausgabe tritt der Fehler an Stellen auf, die vorher niemand benennen kann, und er sieht aus wie ein korrektes Ergebnis.
Gestaltungsaufgabe: Erkennbarkeit, Korrekturweg und Eskalation werden spezifiziert, weil der Fehlerfall ein erwartbarer Betriebszustand ist. Die Oberfläche bietet der Person Anhaltspunkte, um eine Ausgabe zu prüfen (Quelle, Vergleich mit der Eingabe, Kennzeichnung unsicherer Stellen), einen Weg, sie zu korrigieren, und einen Punkt, an dem sie die Aufgabe ohne die Funktion abschließen kann. Die Grundsätze Steuerbarkeit und Fehlertoleranz nach ISO 9241-110 liefern das Vokabular. Die Frage: Was tut die Person, wenn die Ausgabe falsch ist, und woran erkennt sie das?
Eigenschaft 3: Die Datenherkunft ist unklar
Nutzende können bei einer generierten Ausgabe nicht sehen, welche Eingaben, Dokumente oder Regeln in sie eingeflossen sind. In Fachanwendungen ist das eine Arbeitsfrage: Eine Sachbearbeiterin muss wissen, ob die Zusammenfassung den Anhang berücksichtigt hat.
Gestaltungsaufgabe: Die Ausgabe zeigt, was sie verarbeitet hat und was nicht. Quellenangaben je Aussage, ein Verweis auf den Stand der Daten und eine Liste der ausgelassenen Eingaben gehören zur Funktion. Die Frage: Welche Herkunftsangabe braucht die Person, um die Ausgabe in ihrer Aufgabe verwenden zu dürfen?
Eigenschaft 4: Die Ausgabe wirkt überzeugend, auch wenn sie falsch ist
Generierter Text ist flüssig, vollständig formuliert und ohne die Unsicherheitsmarker, die ein Mensch setzen würde. Im Test übernehmen Testpersonen solche Ausgaben, auch wenn eine Angabe fehlt oder falsch ist.
Gestaltungsaufgabe: Die Darstellung stützt das Prüfen. Unsichere Stellen sind markiert, die Ausgabe steht neben dem Original, Pflichtangaben sind als Prüfliste sichtbar. Der Usability-Test enthält Aufgaben mit bekannten Fehlern in der Ausgabe, und das Erfolgskriterium lautet: Aufgabe erledigt und Fehler erkannt. Die Frage: An welcher Stelle im Ablauf prüft die Person, und was sieht sie dort?
Grenzen
Die vier Eigenschaften ordnen Beobachtungen aus Tests; sie sind keine technische Klassifikation und keine Risikoeinstufung im Sinne einer Regulierung. Ob und wie der AI Act für Ihr Angebot gilt, klärt die Rechtsabteilung. Die abgeleiteten Gestaltungsaufgaben sind Fragen an das Team; die Antwort hängt vom Nutzungskontext ab und wird in der Erhebung und im Test geprüft.
Was danach vorliegt
Je Eigenschaft eine beantwortete Frage, dokumentiert als Nutzungsanforderung mit Toleranzbereich und Fehlerfall, als Gestaltungsentscheidung in der Oberfläche und als Testaufgabe mit Erfolgskriterium. Das Team hat vor der Implementierung festgelegt, was die Funktion aus Sicht der Nutzenden leisten muss, und kann es nach der Implementierung prüfen. Die Antworten stammen von den Nutzenden: Welche Abweichung zulässig ist, welche Herkunftsangabe ausreicht und wo geprüft wird, wissen die Menschen, die die Aufgabe heute erledigen. Das Team erhebt die Antworten in Kontextinterviews und prüft sie im Usability-Test.