Vergabestelle und Fachbereich sitzen über der Leistungsbeschreibung, und der Abschnitt zum Usability-Test ist einen Satz lang. Wenn Usability-Tests als Abnahmeleistung ausgeschrieben werden, entscheidet diese Unterlage darüber, ob die Angebote vergleichbar sind und ob der Test später etwas prüft, das im Betrieb zählt. Die Checkliste nennt die Angaben, die in die Unterlage gehören, und je Punkt, was ohne diese Angabe im Projekt offen bleibt. Sie richtet sich an Vergabestellen und Fachbereiche.
Einordnung
Ein Usability-Test nach ISO 9241-11 prüft, ob bestimmte Nutzende in einem bestimmten Nutzungskontext bestimmte Ziele effektiv, effizient und zufriedenstellend erreichen. Jedes dieser Elemente muss in der Ausschreibung stehen. Wir haben als Anbieter auf Ausschreibungen geantwortet, in denen sie fehlten, und wissen, was dann passiert: Jeder Anbieter füllt die Lücke mit eigenen Annahmen, und die Vergabestelle vergleicht Preise für unterschiedliche Leistungen. Die folgenden Punkte gliedern sich nach den Elementen der Definition und nach dem, was für die Durchführung festgelegt sein muss. Gehen Sie sie mit dem Fachbereich durch, bevor die Unterlage in die Vergabe geht; je Punkt steht, woran Sie erkennen, ob die Angabe vollständig ist.
Checkliste
Der Nutzungskontext ist beschrieben: Nutzergruppen, ihre Aufgaben, Häufigkeit und Bedingungen der Nutzung. Vollständig ist die Angabe, wenn sie aus einer Erhebung stammt und die Quelle nennt. Ohne sie legt der Anbieter die Aufgaben selbst fest, und der Test prüft, was der Anbieter für wichtig hält.
Die Nutzungsanforderungen liegen als nummerierte Liste mit Quelle bei oder werden als Vorleistung des Auftragnehmers ausgeschrieben. Ohne sie gibt es keinen Maßstab, gegen den der Test prüft; die Befunde bleiben Meinungen über die Oberfläche.
Die Testaufgaben oder die Regel, nach der sie aus dem Nutzungskontext abgeleitet werden, sind benannt. Ohne diese Angabe sind die Angebote nicht vergleichbar, weil ein Test mit drei Aufgaben und einer mit zwölf denselben Namen tragen.
Die Teilnehmendenprofile sind festgelegt: Nutzergruppe, Erfahrung mit der Aufgabe, gegebenenfalls Nutzung assistiver Technologien. Ohne Profile rekrutiert der Anbieter, wen er erreicht, und die Ergebnisse gelten für eine Gruppe, die im Betrieb nicht vorkommt.
Die Anzahl der Teilnehmenden je Nutzergruppe ist genannt oder als zu begründender Bestandteil des Angebots gefordert. Ohne diese Angabe unterscheiden sich die Angebote im Preis, ohne dass die Vergabestelle sieht, warum.
Die Rekrutierung ist geregelt: Stellt der Auftraggeber Teilnehmende aus dem eigenen Haus, oder rekrutiert der Anbieter, und wer trägt den Aufwand? Ohne diese Regelung scheitern Tests am Zugang zu den Nutzenden, besonders bei internen Fachanwendungen und Zielgruppen, die kein Standard-Panel erreicht.
Die Testzeitpunkte im Projektverlauf sind benannt, mit dem Entwicklungsstand, an dem getestet wird (Prototyp, Vorabversion, Auslieferungsstand). Ohne Zeitpunkt findet der Test nach der Auslieferung statt, wenn Befunde nichts mehr ändern.
Die Abnahmekriterien je Nutzungsanforderung sind formuliert, nach Effektivität, Effizienz und Zufriedenstellung, mit Endzustand, Aufwandsmaß oder Instrument. Ohne Kriterien liefert der Test Befunde, aber keine Entscheidung darüber, ob abgenommen wird.
Das Berichtsformat ist festgelegt: je Anforderung das Ergebnis des Kriteriums, die beobachteten Abweichungen mit Schweregrad, die Empfehlung. Ohne Format erhält der Fachbereich einen Bericht, den er nicht mit seinen Anforderungen abgleichen kann.
Der Umgang mit Befunden ist geregelt: Wer entscheidet über Nachbesserung, gibt es eine Nachprüfung, und wer bezahlt sie? Ohne diese Regelung ist die Nachprüfung der Punkt, an dem der Streit zwischen Auftraggeber und Auftragnehmer beginnt.
Die Rolle des Auftraggebers im Test ist benannt: Beobachtung der Sitzungen, Freigabe der Aufgaben, Teilnahme an der Auswertung. Ohne diese Rolle bekommt der Fachbereich einen Bericht und keine eigene Anschauung, und die Befunde lassen sich im Haus schwerer vertreten.
Datenschutz und Aufzeichnung sind geregelt: Einwilligung, Aufbewahrung, Zugriff auf Aufzeichnungen. Ohne Regelung verzögern sich Tests mit internen Nutzenden, bis der Datenschutz nachträglich geklärt ist.
Die Zuständigkeit für die Pflege der Nutzungsanforderungen bis zur Abnahme ist benannt. Ohne sie prüft der Abnahmetest gegen einen Stand, der im Projektverlauf überholt wurde.
Was ohne diese Angaben fehlt
Ohne Nutzungskontext, Nutzungsanforderungen und Teilnehmendenprofile prüft der Test etwas, das der Anbieter festgelegt hat. Ohne Zeitpunkt, Kriterien und Berichtsformat liefert er Befunde ohne Abnahmeentscheidung. Ohne Regelung von Rekrutierung, Nachprüfung und Datenschutz verzögert er sich oder findet nicht statt. Die Angebote, die auf eine Ausschreibung ohne diese Angaben eingehen, sind im Preis vergleichbar und in der Leistung nicht.
Wenn Sie die Punkte abgearbeitet haben, liegt eine Leistungsbeschreibung vor, aus der Anbieter dieselbe Leistung herauslesen und die der Fachbereich nach dem Test mit seinen Anforderungen abgleichen kann. Ob und wie rechtliche Vorgaben zur Barrierefreiheit für Ihr Vorhaben gelten, klärt die Rechtsabteilung; diese Checkliste behandelt sie nicht.