Mensch und Computer 2026 · Duisburg · 31. August 2026 · UP Praktiker Track

1983hat angerufen.

Ironies of Automation in der HCD-Praxis 2026

Name: Wenn Automatisierung entlastet UND Probleme verschärft: Ironies of Automation in der HCD-Praxis 2026
Start: 2026-08-31
Location: Duisburg

Lisanne Bainbridge beschrieb 1983 auf fünf Seiten, was mit Menschen passiert, die im Leitstand nur noch zuschauen. Kate Devitt ergänzte 2018 drei kognitive Faktoren aus der Agrarrobotik. Dieser Beitrag überträgt beide auf KI-gestützte Arbeit und formuliert das Kompetenz-Gap-Muster. Er ist die Langfassung eines Vortrags im UP Praktiker Track der Mensch und Computer 2026.

Lesezeitetwa 14 MinutenAutorCarsten GörsStand7. September 2026

Auf dieser Seite

Kurzfassung

Kurzfassung in fünf Aussagen

Automatisierung verlagert die Probleme mit dem Menschen und verschärft sie. Das ist die Kernthese von Lisanne Bainbridge (1983): Wer den Operateur ersetzen will, überlässt ihm die Aufgaben, die er nicht automatisieren kann, und entzieht ihm zugleich die Übung, die er dafür braucht.
Fünf dieser Ironien lassen sich auf KI-gestützte Arbeit 2026 übertragen: Fehler der Systemgestalter, Übrig bleibt das Schwierigste, Skill Decay und Vigilanz, Retrofit, Competence Shift. Die Übertragung ist eine Analogie.
Kate Devitt (2018) ergänzt drei kognitive Faktoren, die Bainbridge noch nicht stellen konnte: Vertrauen aus Kompetenz und Integrität, situiertes und multimodales Wissen, soziale Kognition.
Kernhypothese (Görs 2026, Kompetenz-Gap-Muster): Je höher der KI-Anteil an einer Aufgabe, desto geringer die Nutzungsqualität, wenn zwischen der Kompetenz, die die Aufgabe verlangt, und der Kompetenz, die die Person noch hat, eine Lücke besteht.
Folgerung für HCD-Engineers: Die Rolle verschiebt sich von Ausführen zu Prüfen, Entscheiden und Verantworten. Nachvollziehbarkeit, kontinuierliche Kalibrierung und explizite Gestaltungsprinzipien gehören in den methodischen Werkzeugkasten.

Zitierfähige Fassung und Quellen am Ende der Seite. Empirischer Status: Bainbridge ist in den Jahrzehnten danach vielfach empirisch untersucht worden, Devitt ist ein Policy-Paper, die Hypothese von Görs stammt aus Projektpraxis.

Drei Szenen, drei Jahrzehnte

Dieselbe Situation in drei Leitständen

Ein Regler 1983, ein Feldroboter 2018, ein agentischer Workflow 2026. Die Technik ist jeweils eine andere, das Muster dahinter ist dasselbe.

1983

University College London, zuvor Konferenz in Baden-Baden, 1982

Eine Psychologin schreibt fünf Seiten über Operateure, die im Leitstand nur noch zuschauen.

Die Kognitionspsychologin Lisanne Bainbridge stellt ihre Überlegungen 1982 auf einer IFAC-Konferenz zu Mensch-Maschine-Systemen in Baden-Baden vor. 1983 erscheinen sie als Brief Paper in der Zeitschrift Automatica. Der Text hat fünf Seiten, enthält keine eigenen Daten und versteht sich als Denkangebot.

Bainbridge, L. (1983). Ironies of Automation. Automatica 19(6), 775-779. Nach Google Scholar über 3.000 Mal zitiert (Stand 2026).

2018

Queensland University of Technology, Centre for Robotics

Eine Philosophin schreibt zwölf Seiten darüber, warum Landwirte autonome Maschinen nicht annehmen.

S. Kate Devitt, heute unter dem Namen Kate Conroy, arbeitet zu Trust, Assurance und Entscheidungsunterstützung für autonome Systeme. Ihr Beitrag für das Farm Policy Journal benennt drei kognitive Faktoren, die bei der Einführung unsichtbar bleiben und erst im Dauerbetrieb wirken: fehlendes Vertrauen, Verlust von Wissen, Verlust sozialer Kognition.

Devitt, S. K. (2018). Cognitive factors that affect the adoption of autonomous agriculture. Farm Policy Journal 15(2), 49-60. Policy-Paper ohne eigene Empirie, rund 40 Zitationen (Stand 2026).

9:14

2026, ein Research-Arbeitsplatz bei leefs

Eine Researcherin lässt sich von einem agentischen Workflow zehn Interview-Auswertungen generieren. Die sechste prüft sie nicht mehr so intensiv wie die ersten vier.

Die zehn Auswertungen sind gut. Die erste liest sie ganz, die zweite überfliegt sie, ab der sechsten sinkt die Konzentration, weil die ersten gut waren. Die Vigilanz lässt nach, wie bei Bainbridges Operateur im Leitstand.

Aggregierte Beobachtung aus leefs-Projekten, darunter Studien zu Operateuren im Netzbetrieb, KI-gestützten Entscheidungen in der Landwirtschaft und KI-basierten Workflows im Finanzbereich.

Von 1983 nach 2026

Ironies of Automation werden zu Ironies of Agentonomation

Bainbridge schrieb über Regler und Autopiloten: gleicher Input, gleicher Output. 2026 delegieren Menschen drei verschiedene Dinge an Systeme. Sortiert danach, was jeweils abgegeben wird, ergeben sich drei Stufen.

Stufe 1

Automation

delegierte Regelausführung · deterministisch

Beispiele sind Prozessindustrie und Cockpit. Das System tut, was programmiert ist. Der Mensch hat die Regel vorgegeben und weiß vorher, welche Struktur das Ergebnis hat.

Delegiert wird die Regel.

Stufe 2

Autonomy

delegierte Entscheidung · zielgeführt

Teilautonome Maschinen, etwa in der Landwirtschaft. Das System wählt Wege zu einem vorgegebenen Ziel. Der Mensch hat das Ziel vorgegeben.

Delegiert wird die Entscheidung.

Stufe 3

Agentic

delegierte Zielverfolgung · generativ

Agentische Workflows. Der Mensch beschreibt Eigenschaften des Ziels, das System plant und handelt über mehrere Schritte. Ein agentischer Workflow erzeugt nicht zweimal dasselbe.

Delegiert wird das Ziel.

Die Ironien gelten auf jeder Stufeund werden nach rechts härter

Agentonomation: Arbeitsbegriff von Carsten Görs für alle drei Stufen zusammen: Automatisierung, Autonomie und agentische Workflows. Der Begriff fasst zusammen, was der Mensch jeweils delegiert: die Regel, die Entscheidung, das Ziel. Er dient als Rahmen, um Bainbridges Ironien auf probabilistische, generative Systeme zu übertragen.

Erwartungsmanagement

Drei Dinge vorab

Konfidenz: hoch

Die Übertragung ist eine Analogie

Bainbridge beschreibt regelungstechnische Automation mit deterministischem Verhalten. Ein Regler arbeitet anders als ein Sprachmodell. Übertragen wird die Struktur der Ironie.

Konfidenz: mittel

Empirie gibt es, aus späteren Jahrzehnten

Vigilanz, Skill Decay und Complacency sind seit 1983 von anderen untersucht worden, unter anderem von Parasuraman und Riley (1997), Endsley und Kiris (1995) und Strauch (2017). Devitts Beitrag ist ein Positionspapier für ein Agrarjournal ohne eigene Empirie.

Konfidenz: Praxis

Ein Denkangebot aus Projekten

Die Hypothesen stammen aus leefs-Projekten und aus der eigenen Arbeit mit agentischen Workflows. Die drei Thesen am Ende stellen sie zur Diskussion.

Die Leitfrage

Was passiert mit der Nutzungsqualität, wenn der KI-Anteil in unserer Arbeit oder im Produkt ansteigt und wir oder die Nutzenden die Aufgabe nicht mehr selbst beherrschen?

Die Diagnose · Bainbridge 1983

Fünf Ironien, gelesen für die HCD-Praxis 2026

Bainbridge nummeriert nicht. Sie schreibt von two ironies, a more serious irony und the final irony. Die fünf hier sind eine Auswahl für die HCD-Praxis. Jede Ironie folgt demselben Rhythmus: ein Satz von 1983, eine Szene von 2026, eine Konsequenz.

Ironie 1: HCD-Engineers machen selbst Fehler

Wer den Menschen ersetzen will, schreibt seine eigenen Annahmen und blinden Flecken ins System. Diese Fehler bleiben oft jahrelang verborgen.

„The designer's view of the human operator may be that the operator is unreliable and inefficient, so should be eliminated from the system. There are two ironies of this attitude. One is that designer errors can be a major source of operating problems.“
Bainbridge 1983, S. 775

1983

Fehler der Systemgestalter sind eine Hauptquelle von Betriebsproblemen. Je schlechter der Konstrukteur das Problem verstanden hat, desto größer die Wirkung, weil sich der Fehler in jeder Wiederholung fortsetzt und auf den ersten Blick nicht auffällt.

2026

Wer eine Prompt-Vorlage für die Interview-Synthese schreibt, kodiert darin, was eine relevante Aussage ist. Kontext-Bias, Annahmen in Systemprompts und im Harness-Engineering, das „vernünftige Verhalten“ eines Modells als implizite Wertesetzung: Das läuft dann hundertmal, ohne dass jemand die Annahme noch sieht.

Konsequenz

Wir sind jetzt die Systemgestalter. Unsere impliziten Vorgaben, Defaults und Agenten tragen unsere Annahmen weiter.

Gilt in der HCD-Arbeit, im Entwicklungsprozess und im Produkt.

Ironie 2: Übrig bleibt das Schwierigste

Automatisiert wird, was die Systemgestalter sicher beherrschen. Der Mensch bekommt die Ausnahmen, die Edge Cases und die Übernahmesituationen.

„By taking away the easy parts of his task, automation can make the difficult parts of the human operator's task more difficult.“
Bainbridge 1983, S. 777

1983

Der Operateur soll eingreifen, wenn die Regelung versagt. Er greift also ein, wenn die Situation schlagartig komplex wird und er die wenigste Übung in routinierten Reflexen hat. Bainbridge nennt das die unmögliche Aufgabe des menschlichen Monitors.

2026

Der Coding-Assistent schreibt den Code, den er sicher kann. Das Review im Unsicherheitsbereich des Modells bleibt beim Menschen, der den Kontext in diesem Moment selbst nicht parat hat. In der Research-Praxis: KI-generierte Insights validieren heißt, die heikelsten Aussagen zu prüfen, ohne die Interviews selbst geführt zu haben.

Konsequenz

Die verbleibende Aufgabe ist die schwierigste, die Vorbereitung darauf die geringste.

Gilt im Produktentwicklungsprozess.

Ironie 3: Skill Decay und Vigilanz

Was nicht geübt wird, verkümmert und wird im Notfall gebraucht. Zugleich sind Menschen schlechte Monitore für seltene Ereignisse.

„Unfortunately, physical skills deteriorate when they are not used [...]. This means that a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one.“
Bainbridge 1983, S. 775

1983

Nach etwa einer halben Stunde ohne Ereignis sinkt die Aufmerksamkeit auch bei hoch motivierten Menschen (Mackworth 1950). Ein Logbuch hilft nicht: Man schreibt Zahlen ab, ohne sie wahrzunehmen.

2026

Human-in-the-Loop-Architekturen lassen die Verantwortung beim Menschen, ohne die Bedingungen für gute Aufsicht zu schaffen. Die sechste Synthese um 9:14 Uhr wird geprüft wie das Logbuch bei Bainbridge: abgezeichnet, aber nicht gelesen. Und der Junior ohne Assistent kann die Aufgabe womöglich nicht mehr allein lösen.

Konsequenz

Aufsicht ohne Übung und ohne Ereignis erfüllt ihren Zweck nicht.

Gilt im Produkt.

Ironie 4: Retrofit erhöht die Komplexität

Wird Automation nachträglich auf bestehende Systeme gesetzt, entstehen Modusprobleme, undurchsichtige Zustandswechsel und Bedienlogiken, die sich gegenseitig stören.

„The human being must know which tasks the computer is dealing with and how. Otherwise the same problems arise as in human teams in which there is no clear allocation of responsibility.“
Bainbridge 1983, S. 778, nach Enstrom und Rouse

1983

Neue Automatik auf alter Anlage: Der Operateur weiß nicht mehr, in welchem Modus das System gerade ist. Eine Schnittstelle, die für den Normalbetrieb ideal ist, kann die Entwicklung abnormaler Zustände verdecken.

2026

Ein KI-Layer in Word, Excel, Figma oder im CRM. Statt eines neuen Werkzeugs entsteht ein zweischichtiges System mit unklarem Verantwortlichkeitsmodell. Ein Beispiel aus dem Alltag: Der Rückfahrassistent löst beim langsamen Rangieren mit dem Fuß auf der Bremse eine Vollbremsung aus, weil hinten auf dem Parkplatz jemand eine Tür öffnet. Die Schutzschicht arbeitet gegen den Menschen, der gerade selbst aufpasst.

Konsequenz

Nutzerinnen und Nutzer müssen in jedem Moment wissen, wer gerade entscheidet.

Gilt im Produkt.

Hinweis zur Quelle: Bainbridge formuliert keine eigene Retrofit-Ironie. Drei Einzelstellen (Modus- und Verantwortungsunklarheit, Displays, die im Notfall fehlen, Tarnung des Abnormalen) werden hier als Retrofit-Ironie zusammengefasst.

Ironie 5: Competence Shift: andere Kompetenzen zählen

Mit der Automatisierung verschiebt sich, welche Fähigkeiten zählen. Entscheiden, Kommunizieren und Kalibrieren werden zentral und selten entwickelt.

„It is ironic to train operators in following instructions and then put them in the system to provide intelligence.“ Und: „Perhaps the final irony is that it is the most successful automated systems, with rare need for manual intervention, which may need the greatest investment in human operator training.“
Bainbridge 1983, S. 777

1983

Der Operateur braucht plötzlich Diagnosefähigkeit statt Handfertigkeit. Ausgebildet wurde er für Letzteres. Die Tätigkeit wird, so Bainbridge, sehr langweilig und sehr verantwortungsvoll zugleich, ohne Gelegenheit, die geforderten Qualitäten zu erwerben.

2026

Prompting statt Methodenkompetenz, Output-Bewertung statt eigener Recherche, Modellwahl statt Architekturwissen. Die kognitive Last sinkt dabei nicht, sie verschiebt sich. Gefragt sind andere Kompetenzen als ohne KI.

Konsequenz

Die neue Kernkompetenz heißt Bewerten, und sie steht bisher in keinem Curriculum.

Gilt in der HCD-Arbeit.

Die Verschärfung · Devitt 2018

Drei kognitive Faktoren nach Devitt (2018)

Ein Regler war nachvollziehbar, der Operateur stand in der Anlage, und in der Schicht saß ein Kollege. 2026 sehen wir ein Dashboard und eine KI-Persona, und der Agent antwortet schneller als der Kollege. Kate Devitt hat 2018 für die Agrarrobotik drei kognitive Faktoren systematisiert, die diese Lücke beschreiben.

Ironie 6: Trust: Kompetenz plus Integrität

Vertrauen entsteht, wenn ich glaube, dass das System mir hilft. Es bricht, wenn ich nicht mehr weiß, für wen es arbeitet.

Devitt unterscheidet zwei Komponenten von Vertrauen: Competency (Fähigkeiten, Zuverlässigkeit) und Integrity (Motive, Ehrlichkeit). Ein Kompetenzfehler wird verziehen, ein Integritätsbruch beendet das Vertrauen.
Devitt 2018, Abschnitt „Inability to generate trust“

2018

Landwirte kalibrieren Vertrauen durch Übung und Einsicht. Ein Pflückroboter, der im Schlamm stecken bleibt, ist ärgerlich. Ein System, dessen Entscheidungen undurchschaubar sind oder dessen Felddaten beim Hersteller liegen, wird abgelehnt.

2026

Betriebsleiter Klaus, Erntezeit, 21 Uhr. Das Terminal hat Fahrspur und Ausbringmenge selbst festgelegt. Klaus fragt, woher die Daten für diese Entscheidung kommen und warum er das nicht sieht. Ab da fährt er manuell. (Szene aus der Projektpraxis, anonymisiert.)

Konsequenz

Nachvollziehbarkeit und Datenhoheit sind Bedingungen für Vertrauen und gehören in die Produktanforderungen.

Gilt im Produkt.

Ironie 7: Wissen ist multimodal und situiert

Wer aus dem physischen Loop genommen wird, verliert zuerst die Grundlage, aus Information Bedeutung zu machen, und erst danach die Skills.

„The more autonomous a system is, the less a human needs to know to operate it and the less the cognitive load, but it also means farmers have less situational awareness about on farm activities.“
Devitt 2018, Abstract

2018

Der Landwirt, der nicht mehr über das Feld geht, sieht die Bodenfeuchte im Dashboard. Er sieht nicht mehr, dass die Nordecke anders riecht. Dieses Wissen entsteht gar nicht erst.

2026

Netzführerin Sabine, Leitwarte, Nachtschicht. Die Prognose zeigt grün. Früher der Anruf im Umspannwerk und der Kollege, der sagt „passt“. Heute das Dashboard. Das Wissen, was grün bedeutet, wenn es nicht stimmt, konnte sie nie aufbauen. Beim Researcher: Nach dem zehnten Sprint mit KI-Personas weiß er nicht mehr, wie Nutzerinnen und Nutzer reden. (Szene aus der Projektpraxis, anonymisiert.)

Konsequenz

Feldgedächtnis lässt sich nicht generieren. Wer nie beim Nutzer war, kann die Synthese nicht bewerten.

Gilt in der HCD-Arbeit.

Ironie 8: Kognition ist sozial

Reale Entscheidungen entstehen im Gespräch mit einer zweiten Person, die widerspricht. KI-Assistenten verdrängen dieses Gespräch, ohne es zu ersetzen.

Devitt beschreibt landwirtschaftliche Kognition als geteilten Prozess zwischen Landwirt, Agronom, Geschäftspartnern und Familie, ein „shared system of care and consideration“. Die Dyade soll erhalten bleiben, auch wenn sich ihre Arbeit verändert.
Devitt 2018, Abschnitt „Social cognition“

2018

Landwirte treffen Entscheidungen in einem Netzwerk aus Beratern, Nachbarn und Mitarbeitenden. Sie haben, so ein Spruch aus dem Berufsstand, 40 Versuche im Arbeitsleben, um eine Hypothese zu prüfen: Mais oder Weizen, anderer Dünger, Direktsaat statt Pflug. Fällt die zweite Instanz weg, fällt die Reflexion weg.

2026

Pair-Programming mit dem Sprachmodell statt mit der Kollegin, KI-Beratung statt Kollegialgespräch. Der Agent ist immer da, widerspricht selten und ist nie beleidigt. Also fragt man ihn zuerst. Das Kollegialgespräch findet dann seltener statt, ohne dass jemand es abgeschafft hat.

Konsequenz

Welches Gespräch ersetzt Ihre KI, und ist das eine Entscheidung oder ein Nebeneffekt?

Gilt im Produktentwicklungsprozess.

Luftholen

Fünf Ironien von 1983, drei Verschärfungen von 2018

Ironien

Bainbridge, 1983. Automation im Leitstand.

Verschärfungen

Devitt, 2018. Teilautonome Maschinen auf dem Feld.

Nutzungsqualität

mit KI, 2026. Bis hierhin war alles Diagnose. Jetzt folgt die Antwort, als Hypothese etikettiert.

Kernhypothese

Das Kompetenz-Gap-Muster

Je höher der KI-Anteil, desto geringer die Nutzungsqualität, wenn bei der bedienenden oder nutzenden Person eine Lücke zwischen Kompetenz und Aufgabe besteht.

Kompetenz deckt die Aufgabe

KI ergänzt, der Mensch bleibt befähigt im Loop. Die Nutzungsqualität steigt und bleibt hoch.

Kompetenz-Gap zur Aufgabe

KI ersetzt, der Mensch bekommt das Schwierigste. Bis zum Kipppunkt sieht alles gut aus, danach wird Aufsicht zum Alibi.

Ironie-Zone

Die Fläche zwischen den Kurven: die Lücke zwischen dem, was die Aufgabe verlangt, und dem, was die Person noch kann. Entlastung und Verschärfung zugleich, vor und nach dem Kipppunkt.

Achsen

X: KI-Anteil an der Aufgabe in den drei Stufen der Agentonomation. Y: Nutzungsqualität nach ISO 9241-11 (Effektivität, Effizienz, Zufriedenstellung), hier vor allem Effektivität im Nicht-Normalfall, wenn der Mensch übernehmen muss.

Schematische Darstellung, keine Messkurve. Hypothese aus Projektpraxis, angelehnt an Bainbridge (1983) und Devitt (2018).

Kompetenz-Gap-Muster: Hypothese von Carsten Görs (leefs, 2026): Zwischen der Intensität des KI-Einsatzes und der Lücke zwischen Aufgabe und Kompetenz der Person besteht eine Beziehung. Besteht die Lücke, sinkt die Nutzungsqualität mit steigendem KI-Anteil, auch wenn die eingesetzte KI gut ist. Jede weitere Automatisierung vergrößert die Lücke.

Die Gegenposition

„Das ist Kulturpessimismus.“

Die Gegenposition ist gut, und sie stimmt in drei Beispielen: Dreimal wurde Kompetenz verlagert.

Werkzeug	Vorher	Wurde zu
Taschenrechner	Kopfrechnen	Größenordnungen schätzen
Navigationsgerät	Kartenlesen	Routen bewerten
Autopilot	Handfliegen	Systemzustand überwachen

Geplante Verlagerung

Jemand hat entschieden, was der Mensch weiterhin können muss

Der Pilot übt den manuellen Landeanflug im Simulator, regelmäßig und verpflichtend.
Die alte Kompetenz wird zur neuen: bewerten statt ausführen.

Ungeplante Verlagerung

Die Aufgabe bleibt beim Menschen, die Kompetenz dafür wandert ab

Niemand hat entschieden, dass das so sein soll.
Die Researcherin um 9:14 Uhr hat keinen Simulator.

Der Unterschied liegt darin, ob jemand den Kompetenz-Gap gestaltet hat oder ob er entstanden ist.

Was aus der Hypothese folgt

Drei Ebenen, eine Verschiebung

KI in der eigenen HCD-Arbeit, KI im Entwicklungsprozess der Kunden, KI als Eigenschaft des Produkts. Auf allen drei Ebenen dieselbe Bewegung: von einmaliger Validierung statischer Artefakte zu kontinuierlicher Kalibrierung dynamischer Systeme.

Ebene	Bisher	Ab jetzt
KI durchdringt die HCD-Aktivitäten selbst	Research und Design als Handwerk, Ergebnisse werden einmal validiert.	Kuration und kritische Prüfung von KI-Ausgaben, kontinuierlich kalibriert.
KI durchdringt den Produktentwicklungsprozess	Artefakte sind statisch, Übergaben punktuell, Verantwortung klar.	Systeme sind dynamisch, Nachvollziehbarkeit wird zur Prozesseigenschaft, Verantwortung muss neu geklärt werden.
KI wird selbst zur Produkteigenschaft	Usability-Test der Initial-Use-Phase, dann Release.	Kognitive Langzeitfolgen gestalten: Trust, Fehlertoleranz, Transparenz als Produktanforderung.

Kernaussage

Die Rolle der HCD-Engineers verschiebt sich von Ausführen zu Prüfen, Entscheiden und Verantworten: menschzentrierte Souveränität herstellen statt Artefakte liefern.

Menschzentrierte Souveränität ist der Hausbegriff von leefs dafür, dass der Mensch in der Lage bleibt, das System zu verstehen, zu übersteuern und zu verantworten.

Methodische Konsequenz

Drei Werkzeuge für die HCD-Praxis mit KI

Nachvollziehbarkeit

Jede KI-Ausgabe, die in Research oder Produkt einfließt, erhält ein Etikett mit Herkunft, Konfidenz und Prüfstatus. Ohne dieses Etikett lässt sich eine Kuration nicht nachvollziehen.

Kontinuität

Kalibrieren statt validieren: Der Usability-Test der ersten Nutzung sieht den Gap nicht, weil er erst nach Wochen entsteht. Also Feldbeobachtung, Längsschnitt und Situation-Awareness-Checks nach Endsley, als Dauerpraxis statt als Meilenstein.

Explizite Prinzipien

Vertrauen, Fehlertoleranz und Transparenz als formulierte Gestaltungsprinzipien im Projekt, gegen die jede Designentscheidung geprüft wird.

Zum Mitnehmen

Acht Fragen an Ihr KI-Produkt

Eine Frage pro Ironie, als Prüfliste für die eigene Lösung, ob KI in der HCD-Arbeit, im Entwicklungsprozess oder als Produktfeature steckt. Wer eine Frage nicht beantworten kann, hat die Ironie geerbt und noch nicht gestaltet. Markieren Sie, welche Fragen Sie heute beantworten können.

Bainbridge · Designer machen FehlerWelche Annahmen haben Sie in Prompts, Defaults und Trainingsdaten eingeschrieben, und wer prüft sie, nachdem das System läuft?
Bainbridge · Übrig bleibt das SchwierigsteWelche Aufgaben bleiben beim Menschen, weil die KI sie nicht sicher kann, und sind das gerade die, für die er am wenigsten vorbereitet ist?
Bainbridge · Skill Decay und VigilanzWas muss der Mensch noch selbst können, wenn die KI ausfällt oder danebenliegt, und wann hat er es zuletzt geübt?
Bainbridge · RetrofitLäuft Ihre KI als zweite Schicht auf einem bestehenden System, und wissen Nutzerinnen und Nutzer in jedem Moment, wer gerade entscheidet?
Bainbridge · Competence ShiftWelche neuen Fähigkeiten brauchen Nutzerinnen und Nutzer jetzt (Bewerten, Kalibrieren, Delegieren), und wo lernen sie die?
Devitt · Trust: Kompetenz und IntegritätKönnen Nutzerinnen und Nutzer nachvollziehen, warum das System entschieden hat, und wem die Daten gehören, oder verlangen Sie Vertrauen ohne Einsicht?
Devitt · Situiertes WissenWas sehen, hören und erleben Nutzerinnen und Nutzer nicht mehr, seit die KI dazwischen sitzt, und welche Intuition geht damit leise verloren?
Devitt · Soziale KognitionWelches Gespräch mit einem Menschen ersetzt Ihre KI, und ist das eine Entscheidung oder ein Nebeneffekt?

Noch keine Frage markiert.

Ihre Markierungen bleiben in diesem Browser gespeichert und werden nicht übertragen.

Die Frage hinter den acht Fragen

Besteht zwischen der Aufgabe, die Ihr System dem Menschen lässt, und der Kompetenz, die er dafür noch hat, eine Lücke? Wenn ja, vergrößert jede weitere Automatisierung sie.

Kontroverse

Drei Thesen zur Diskussion

Drei Thesen mit den Argumenten beider Seiten. Widerspruch per E-Mail oder auf LinkedIn ist erwünscht.

These 1

„Reibung ist die neue Usability.“

Bewusst weniger bequeme Interfaces, damit Menschen kompetent bleiben?

DafürWer nie eingreift, kann nicht eingreifen. Reibung ist Übung.

DagegenReibung ist eine Zumutung, die Nutzerinnen und Nutzer umgehen. Der Gap wird nicht kleiner, nur die Akzeptanz.

These 2

„Human-in-the-Loop ist meistens Alibi.“

Wann ist Beteiligung substanziell, wann juristisches Feigenblatt?

DafürIronie 3: Zahlen abschreiben, ohne sie zu sehen. Verantwortung ohne Aufsichtsbedingungen.

DagegenEs gibt gute Loops, etwa den Piloten-Simulator und das Vier-Augen-Prinzip. Das Problem ist das Design des Loops.

These 3

„Wer Verantwortung verlangt, muss Kompetenz ermöglichen.“

Kann der Mensch verantwortlich sein, wenn das System ihn entkompetenziert?

DafürVerantwortung ohne Kompetenz ist Haftung.

DagegenKompetenz ist auch Bringschuld der Person. Organisationen können nicht jede Fähigkeit vorhalten.

Offenes Ende

Zurück zu 9:14 Uhr

Die Szene vom Anfang betrifft bei leefs auch erfahrene Researcherinnen und Researcher.

Was müsste anders sein, damit alle zehn Synthesen gleich intensiv und sorgfältig geprüft werden?

Je weniger Aufgabe beim Menschen übrig bleibt, desto höher ist der notwendige Invest in Ausbildung und Training. Für Kompetenz und Übung dieser Person muss eine Organisation gezielt sorgen.

Was leefs gerade ausprobiert

Herkunft und Prüfstatus

Jede KI-Ausgabe erhält ein Etikett: woher, wie sicher, wer hat geprüft.

Feldkontakt als Pflicht

Feldkontakt ist fester Bestandteil jedes KI-gestützten Research-Sprints.

Kollegialgespräch im Kalender

Das Gespräch mit einer Kollegin oder einem Kollegen steht als Termin im Kalender.

Ob das reicht, wissen wir noch nicht. Ob es der Markt bezahlt, auch nicht.

Vortrag und Sprecher

Vortrag auf der Mensch und Computer 2026

Titel: Wenn Automatisierung entlastet UND Probleme verschärft: „Ironies of Automation“ in der HCD-Praxis 2026
Konferenz: Mensch und Computer 2026 (MuC 2026), UP Praktiker Track
Ort und Datum: Duisburg, 31. August 2026
Format: 25 Minuten mit anschließender Diskussion
Grundlagen: Bainbridge (1983), Devitt (2018), Projektpraxis von leefs in Energie, Landwirtschaft und Finance
Folien: Auf Anfrage per E-Mail an hello@leefs.digital

Carsten Görs

Gründer von leefs, Beratung für Human-Centered Research & Design in Köln. leefs erhebt Nutzungsanforderungen, gestaltet und evaluiert Lösungen nach ISO 9241 und entwickelt KI-gestützte HCRD-Workflows für das eigene Team und für Kunden.

LinkedIn: carstengoers · leefs.digital

Literatur

Quellen

Bainbridge, L. (1983). Ironies of Automation. Automatica, 19(6), 775-779. doi:10.1016/0005-1098(83)90046-8. Vorgetragen 1982 auf der IFAC/IFIP/IFORS/IEA-Konferenz „Analysis, Design and Evaluation of Man-Machine Systems“ in Baden-Baden.
Devitt, S. K. (2018). Cognitive factors that affect the adoption of autonomous agriculture. Farm Policy Journal, 15(2), 49-60. Preprint: arXiv:2111.14092.
Mackworth, N. H. (1950). Researches on the measurement of human performance. Medical Research Council Special Report 268. London: HMSO. Quelle der Vigilanzgrenze von etwa einer halben Stunde.
Parasuraman, R. und Riley, V. (1997). Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors, 39(2), 230-253.
Endsley, M. R. und Kiris, E. O. (1995). The Out-of-the-Loop Performance Problem and Level of Control in Automation. Human Factors, 37(2), 381-394.
Strauch, B. (2017). Ironies of Automation: Still Unresolved After All These Years. IEEE Transactions on Human-Machine Systems, 48(5), 419-433.
ISO 9241-11:2018. Ergonomics of human-system interaction, Part 11: Usability, Definitions and concepts. ISO 9241-210:2019. Part 210: Human-centred design for interactive systems.

Zitieren

So zitieren Sie diese Seite

Die Begriffe Agentonomation und Kompetenz-Gap-Muster sowie die acht Fragen stammen aus diesem Beitrag und dürfen mit Quellenangabe verwendet werden.

Literaturangabe

Görs, C. (2026). Ironies of Automation in der HCD-Praxis 2026: Wenn Automatisierung entlastet und Probleme verschärft. Vortrag, Mensch und Computer 2026, UP Praktiker Track, Duisburg, 31. August 2026. leefs, Köln. https://leefs.digital/wissen/ironies-of-automation

BibTeX

@misc{goers2026ironies,
  author       = {Görs, Carsten},
  title        = {Ironies of Automation in der HCD-Praxis 2026: Wenn Automatisierung entlastet und Probleme verschärft},
  howpublished = {Vortrag, Mensch und Computer 2026, UP Praktiker Track, Duisburg},
  year         = {2026},
  month        = {8},
  day          = {31},
  publisher    = {leefs, Köln},
  url          = {https://leefs.digital/wissen/ironies-of-automation}
}

Erstgespräch

Die acht Fragen für Ihr KI-Produkt im Erstgespräch

Im Erstgespräch gehen wir die acht Fragen für Ihre Lösung durch, ob KI in Ihrer Research-Arbeit, im Entwicklungsprozess oder im Produkt steckt. Das Gespräch ist unverbindlich. Sie erhalten eine Einschätzung, wo eine Lücke zwischen Aufgabe und Kompetenz besteht und welches Vorgehen dazu passt.

Erstgespräch anfragen

hello@leefs.digital · +49 221 98655743 · Köln

Aus dem Leistungsangebot

Aus den Ironien wird eine Gestaltungsaufgabe

Die Ironien sprechen nicht gegen Automatisierung. Sie beschreiben, was ihre Gestaltung leisten muss: Menschen brauchen Übung, Kontext und die Möglichkeit einzugreifen, auch wenn das System die Regel übernimmt.

Genau daran arbeiten wir, wenn Organisationen KI einführen: am Nutzungskontext, an den Anforderungen und an der Frage, wer wann entscheidet.

Human-centered AI ansehen