Wer schaut wirklich hin? Was "Human in the Loop" in der Verwaltungspraxis bedeutet

In der Gemeinde Petersberg in Nordhessen stand ein Ingenieur im Bereich Wasser- und Bodenbau zunächst skeptisch vor der Frage, wozu er KI eigentlich brauchen sollte. Auf Einladung der Digitalisierungsbeauftragten versuchte er, Ayunis Core für eine hydraulische Berechnung zu nutzen, die er zuvor regelmäßig an ein externes Ingenieurbüro vergeben hatte. Das System lieferte ein Ergebnis mit Formel und Zwischenschritten. Er verglich es sorgfältig mit dem, was das Büro geliefert hatte. Die Ergebnisse stimmten überein, der Weg war schneller und günstiger, und er hatte das Ergebnis selbst beurteilen können. Was diesen Fall trägt, ist genau das: Er hatte die Fachkompetenz, die Ausgabe einzuschätzen. Er war tatsächlich in der Schleife.

Genau dieses "tatsächlich" ist das Thema dieses Artikels. Denn wenn Verwaltungen über den Einsatz von KI diskutieren, fällt früh ein Begriff: Human in the Loop. Zu Deutsch: Der Mensch bleibt in der Schleife. Er gibt Anleitung, korrigiert Fehler, trifft die finale Entscheidung. Das Stanford-Institut für Human-Centered Artificial Intelligence beschreibt es genau so, und die Anforderung klingt vernünftig. Das Problem liegt darin, was in der Praxis daraus wird.

Wenn die Schleife zur Gewohnheitsgeste wird

Eine Sachbearbeiterin bekommt einen KI-generierten Bescheidentwurf, liest ihn durch, sieht nichts Offensichtliches und gibt ihn frei. Beim nächsten Mal geht das schneller, beim übernächsten Mal auch. Irgendwann ist das Durchlesen eine Gewohnheitsgeste, die fachliche Prüfung findet nicht mehr statt. Der Mensch ist formal in der Schleife, inhaltlich hat das System übernommen. Das Artificiality Institute bezeichnet diesen Modus als "Outsourcer": Die Person delegiert dabei nicht nur eine Aufgabe, sondern die Aufmerksamkeit selbst. Sie ist physisch anwesend, aber nicht mehr Urheberin der Entscheidung.

In der KI-Debatte hat sich für dieses Verhältnis ein anschauliches Bild etabliert: der Reverse Centaur. Ein Centaur, aus der Schachsprache entlehnt, bezeichnet die Kombination aus menschlichem Spieler und Computeranalyse, bei der der Mensch das Werkzeug führt und dadurch stärker wird als beide allein. Der Reverse Centaur dreht dieses Verhältnis um: Der Algorithmus gibt Tempo und Struktur vor, der Mensch liefert nur noch die Handarbeit, Entscheidungsfreiheit und fachliche Einschätzung treten in den Hintergrund. In der Verwaltung entsteht das oft unbewusst und gut gemeint.

Kobi Leins und Anja Kaspersen vom Carnegie Council haben 2021 beschrieben, warum "Human in the Loop" als Beruhigungsformel gefährlich werden kann. Menschen ermüden bei der Überwachung autonomer Systeme, verlieren Kontext, wenn Prozesse schneller laufen als ihr Urteilsvermögen mithalten kann, und neigen dazu, Systemen zu vertrauen, die bisher keine Fehler gezeigt haben. Der Begriff beschreibt also eine Absicht, er schafft aber keine Aufsicht.

Was auf dem Spiel steht

Die Haftungsfrage ist in der öffentlichen Verwaltung keine abstrakte Diskussion. Ein Bescheid, der auf Basis eines KI-Outputs ergeht und angefochten wird, muss begründet werden. Diese Begründung muss von einer Person verantwortet werden, die die Entscheidung inhaltlich nachvollziehen kann. "Die KI hat das so vorgeschlagen" hält einer rechtlichen Prüfung nicht stand.

Dazu kommt das Risiko des schleichenden Kompetenzverlusts. Fachkompetenz, die nicht mehr gebraucht wird, verkümmert. Das gilt für juristische Einschätzungen genauso wie für technische Berechnungen. Wer KI-Outputs dauerhaft durchwinkt, verliert die Fähigkeit, sie zu prüfen. Das fällt selten sofort auf, sondern dann, wenn das System einen Fehler macht und niemand mehr in der Lage ist, ihn zu erkennen.

Das zeigt sich auch im Großen: Im September 2026 wurde bekannt, dass OpenAI bei einem internen Evaluierungstest kein Monitoring aktiv hatte. Ein KI-System brach dabei in die Infrastruktur eines Drittanbieters ein und wurde erst durch externe Beobachtung gestoppt. Ed Zitron analysierte den Vorfall in seinem Newsletter "Where's Your Ed At" und hielt fest: Das System tat genau das, wozu es gebaut worden war. Niemand hatte hingeschaut. Das ist kein Problem der KI-Technologie, das ist ein Aufsichtsproblem.

Was echte Aufsicht braucht

Wer KI in der Verwaltung verantwortlich einsetzen will, braucht mehr als eine Person, die auf "Bestätigen" klickt. Drei Dinge sind dafür grundlegend:

• Nachvollziehbarkeit: Wer welche Eingabe gemacht hat, welches Modell welchen Output geliefert hat, welche menschliche Entscheidung darauf gefolgt ist. Das ist die Grundlage für Revision, Lernen und Verantwortung.
• Fachkompetenz: Mitarbeitende müssen die Fähigkeit behalten, Outputs inhaltlich zu prüfen. Das bedeutet, KI so einzusetzen, dass sie Arbeit vorbereitet und beschleunigt, das Urteil aber beim Menschen lässt. Zu wissen, welche Aufgaben sich dafür eignen und welche nicht, ist selbst eine Kompetenz.
• Klare Zuständigkeiten: Wer trägt die Verantwortung für einen Bescheid, eine Auskunft, eine Berechnung? Diese Frage muss beantwortet sein, bevor KI in den Prozess eingebunden wird.

Ayunis Core ist mit Blick auf diese Anforderungen gebaut. Prozesse sind dokumentiert und nachvollziehbar, Modelle werden durch Administratoren freigegeben, Outputs sind revisionssicher gespeichert. Das ersetzt keine Aufsichtskultur im Team, es gibt den Menschen aber die Werkzeuge, die echte Aufsicht überhaupt erst möglich machen.

Der Begriff "Human in the Loop" beschreibt eine richtige Anforderung. Die entscheidende Frage ist, was der Mensch in dieser Schleife tatsächlich tut. Ob er das Werkzeug führt, ob er die Grundlage hat, Outputs zu beurteilen, ob er im Zweifelsfall auch nein sagen kann. Der Petersberger Ingenieur hat genau das getan. Das ist das Modell, das trägt.

Quellen: Stanford HAI, "What is Human-in-the-Loop?" (hai.stanford.edu) | Kobi Leins & Anja Kaspersen, "Seven Myths of Using the Term Human on the Loop", Carnegie Council, November 2021 (carnegiecouncil.org) | Artificiality Institute, "The Roles We Give AI: Trust, Presence, and Culture in a Symbiotic Age", Oktober 2025 (journal.artificialityinstitute.org) | Ed Zitron, "AI Is Already In Dangerous Hands", Where's Your Ed At, September 2026 (wheresyoured.at) | Ayunis Community-Treffen Replay, Gemeinde Petersberg, 16.07.2026 (intern)

‍