KI-Agenten: welche Schritte ein Mensch freigibt

01Agenten handeln, damit ändert sich die Frage

Bei einem Chat-Assistenten bleibt es beim Text; was damit geschieht, entscheidet ein Mensch. Ein Agent greift dagegen selbst in Systeme ein: Er pflegt Daten in der Fachsoftware, bucht Termine, verteilt Dossiers, schreibt an Kunden oder bereitet Überweisungen vor. Damit verschiebt sich die Frage. Ob der Text gut ist, reicht nicht mehr. Wer steht für diesen Eingriff gerade, und wann wurde er genehmigt?

Sicherheitsfachleute kennen das Risiko unter dem Stichwort Excessive Agency (öffnet externe Website): Ein Agent darf mehr, sieht mehr oder entscheidet selbständiger, als seine Aufgabe es erfordert. OWASP zählt das zu den Kernrisiken von LLM-Anwendungen. Eine Freigabe durch einen Menschen hilft dagegen, aber nur gezielt. Wer jeden Schritt bestätigen lässt, verlangsamt den Betrieb und erzieht zum gedankenlosen Klicken. Wer nie bestätigen lässt, bekommt Ergebnisse, für die niemand einsteht. Es kommt also auf die Platzierung an.

02Bei den Aktionen anfangen, nicht beim Modell

Listen Sie alle Werkzeuge auf, die dem Agenten zur Verfügung stehen. Jedes davon durchläuft vier Fragen, die sich bewusst um Wirkung und Folgen drehen und nicht um die Technik dahinter.

1. 01Wie leicht ist sie umkehrbar? Reicht ein Klick, oder braucht es ein Berichtigungsschreiben, eine Erstattung, gar ein Gerichtsverfahren?
2. 02Wen betrifft sie? Einen internen Entwurf, eine Kollegin, einen Kunden, eine Bürgerin, Geld, einen Dritten?
3. 03Bindet sie Ihre Organisation rechtlich? Ein Bescheid über eine Person, eine Überweisung, ein Vertragsabschluss, ein Schreiben mit Ihrem Briefkopf.
4. 04Welche Menge, welches Tempo? Was täglich tausendmal passiert, verlangt andere Kontrollen als ein Vorgang, der zweimal pro Woche ansteht.

Aus den Antworten ergibt sich für jede Aktion eine von vier Stufen. In fast jeder Organisation konzentriert sich das Risiko auf wenige Aktionen. Das erleichtert die Sache: Dort und nur dort lohnt sich der Aufwand menschlicher Prüfung.

Zwei illustrative Beispiele aus Luxemburg. Ein Agent bei einem Fondsverwalter liest eingehende Anlegerdokumente, gleicht sie mit dem Register ab und bereitet Rückfragen vor. Lesen und Zusammenfassen sind unkritisch; eine Nachricht an den Anleger, eine Änderung der Stammdaten oder eine Auszahlung sind es nicht. Bei einem Arbeitgeber mit vielen Grenzgängerinnen und Grenzgängern stellt der Agent die Unterlagen für mehrere Sozialsysteme zusammen, über den Vorgang selbst entscheidet die Personalabteilung.

Diese Einteilung hilft beim Entwerfen, sie ersetzt keine juristische Prüfung. Gleichen Sie sie mit dem Recht ab, das auf Sie anwendbar ist. Artikel 22 DSGVO schützt Menschen vor rein automatisierten Einzelentscheidungen (öffnet externe Website) mit rechtlicher oder vergleichbar erheblicher Wirkung; Aufsichtsbehörde in Luxemburg ist die CNPD (Commission nationale pour la protection des données). Artikel 14 der KI-Verordnung verlangt für Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht (öffnet externe Website). Beide Anforderungen landen meist in Stufe 4.

03Wann ein Fall immer bei einem Menschen landet

Bestimmte Umstände verschieben eine Aktion nach oben, auch wenn sie normalerweise ohne Prüfung läuft. Diese Regeln gehören fest in den Workflow; der Agent soll sie nicht erst selbst erkennen müssen.

• Etwas Unbekanntes kommt herein: ein Dokumenttyp ohne Testfälle, eine Sprache, die im Test fehlte (bei drei Verwaltungssprachen in Luxemburg kein Randfall), leere oder widersprüchliche Felder.
• Quellen, die der Agent gefunden hat, sagen Unterschiedliches, oder sein Vorschlag beruht auf einer Annahme ohne Beleg.
• Betrag, Umfang oder Zahl der betroffenen Datensätze liegen über einem von Ihnen festgelegten Schwellenwert.
• Es geht um Heikles: Gesundheitsdaten, Kinder und Jugendliche, eine Beschwerde, eine Auseinandersetzung oder ein offenes Widerspruchs- oder Gerichtsverfahren.
• Ein erster Anlauf ist gescheitert, oder ein angebundenes System meldet einen Fehler.

Bewusst nicht auf der Liste: wie sicher sich das Modell selbst ist. Auch Unsinn klingt aus einem Sprachmodell überzeugend. Das amerikanische NIST spricht in seinem Profil zu generativer KI von Konfabulation (öffnet externe Website). Einen Konfidenzwert können Sie mitlesen, entscheidend bleiben aber Prüfungen von außen: Plausibilitätsregeln und der Vergleich mit dem System, das die Daten führt.

04Eine Freigabe, die Menschen wirklich erteilen können

Wer ständig „Freigeben?“ gefragt wird, gibt irgendwann alles frei. Die KI-Verordnung spricht diese Gefahr offen an: Wer ein Hochrisiko-System beaufsichtigt, soll sich des sogenannten Automatisierungsbias bewusst bleiben können.

Vier Gestaltungsentscheidungen machen dieses Bewusstsein im Alltag möglich.

Belege zeigen, nicht nur das Ergebnis

Die Prüfansicht beschreibt den Vorschlag in einfachen Sätzen, verlinkt jede Quelle direkt auf die betreffende Passage, nennt die herangezogene Regel und zeigt, welche Felder sich in welchem System ändern. Bei einem Versicherer kann die Regel eine Klausel der Vertragsbedingungen sein, bei einer Gemeinde ein Artikel eines Gemeindereglements. Wer für eine Prüfung drei Anwendungen öffnen muss, hört unter Zeitdruck auf zu prüfen.

„Nein“ so einfach machen wie „Ja“

Korrigieren und Zurückweisen gehören zum Alltag. Beide Optionen stehen gleichrangig neben der Zustimmung. Wer zurückweist, nennt in einem Satz den Grund, und diese Gründe werden ausgewertet. Kostet das Nachbessern mehr Mühe als ein Neuanfang, rutschen unausgereifte Vorschläge durch.

Freigeben darf eine Rolle mit Befugnis

Zuständig ist eine konkret benannte Funktion, deren Inhaberin oder Inhaber fachlich geschult ist und das System auch überstimmen darf. Bei Hochrisiko-KI-Systemen ist das eine Betreiberpflicht (öffnet externe Website) nach Artikel 26 Absatz 2 der KI-Verordnung. Bestimmen Sie außerdem, wer bei Abwesenheit einspringt und wohin ein strittiger Fall eskaliert, und beobachten Sie die Wartezeiten. Gehört eine Warteschlange niemandem, staut sie sich, und irgendwann suchen Teams einen Weg an der Freigabe vorbei.

Welche Behörde in Luxemburg die KI-Verordnung beaufsichtigen soll, ist Gegenstand des Gesetzentwurfs Nr. 8476. Er sieht die CNPD als horizontale Marktüberwachungsbehörde und zentrale Anlaufstelle vor, ergänzt um Fachbehörden für einzelne Sektoren. Eine Verabschiedung war bei unserer letzten Prüfung nicht bestätigt. Für die Gestaltung der Freigabe ändert das wenig: Artikel 14 und 26 gelten unmittelbar aus der Verordnung, für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027.

Sammelprüfung nur bei wirklich geringem Risiko

Wer vierzig nahezu identische Vorgänge nacheinander bestätigt, wird dabei nicht aufmerksamer. In Stufe 2 genügt oft ein gebündelter Blick mit zufälligen Stichproben. Ab Stufe 3 wird jeder Fall für sich geprüft.

05Die Freigabe im System erzwingen, nicht im Prompt

Was im Prompt steht, schützt nichts. Jede E-Mail, jedes PDF und jede Webseite, die der Agent verarbeitet, kann versteckte Befehle mitbringen, ein Angriffsmuster, das OWASP unter dem Begriff Prompt Injection (öffnet externe Website) führt. Wenn also allein eine Zeile in den Instruktionen verhindert, dass ein Schreiben an eine Kundin hinausgeht oder eine Überweisung startet, rechnen Sie damit, dass diese Zeile früher oder später umgangen wird.

• Der Agent bekommt ein eigenes technisches Konto mit minimalen Rechten pro Werkzeug; wo die Plattform es unterstützt, arbeitet er zusätzlich nur mit den Rechten der Person, für die er handelt.
• Erzwingen Sie Freigaben in der Integrationsschicht: Der Dienst, der ein Schreiben versendet, verweigert den Aufruf, solange für genau diese Aktion kein gültiger Freigabedatensatz vorliegt.
• Begrenzen Sie Beträge, Mengen und Aufrufraten der Werkzeuge unabhängig vom Agenten.
• Lese- und Schreibwerkzeuge bleiben getrennt. Dann können Sie dem Agenten mehr Einblick geben, ohne seinen Handlungsspielraum zu vergrößern.

06Protokollieren, was Sie später erklären müssen

Pro Durchlauf gehören ins Protokoll: die ursprüngliche Anfrage, die herangezogenen Quellen, sämtliche Werkzeugaufrufe samt Parametern, der Vorschlag, wer ihn geprüft hat, mit welchem Ergebnis, welche Korrekturen es gab und wann was geschah. Für Hochrisiko-KI-Systeme schreibt die KI-Verordnung eine Aufbewahrung von mindestens sechs Monaten (öffnet externe Website) für die automatisch erzeugten Logs vor, soweit anderes Recht keine abweichende Frist setzt (Artikel 26 Absatz 6). Führen Sie das Protokoll auch dort, wo niemand es verlangt. Es ist Ihre wichtigste Lernquelle.

Schauen Sie regelmäßig, etwa monatlich, in diese Daten. Was immer ohne Korrektur durchgeht, ist ein Kandidat für eine leichtere Stufe. Was oft nachgebessert wird, zeigt eine Schwäche des Agenten oder gehört strenger kontrolliert. Und wenn sich Ablehnungen um ein bestimmtes Formular, eine Quelle oder ein Team ballen, liegt das Problem meist im Prozess selbst. Das behebt kein Modell.

07Eng beginnen, dann Stufe um Stufe lockern

Zum Start stehen alle Aktionen mit spürbaren Folgen in Stufe 3 oder 4. Bevor der Agent live geht, klären Sie mit dem Fachbereich, woran Sie Erfolg erkennen: was als richtig gilt, welche Fehler hinnehmbar sind und welche auf keinen Fall passieren dürfen. Daran messen Sie danach. Als Gerüst eignet sich der Bereich „Measure“ im AI Risk Management Framework des NIST (öffnet externe Website).

Herabgestuft wird eine Aktion erst, wenn drei Dinge vorliegen: eine Phase, in der Prüfende kaum etwas korrigieren mussten, nachgestellte Tests mit den früheren Fehlfällen und das Einverständnis der Person, der der Prozess gehört. Halten Sie diesen Schritt fest wie jede Änderung am System. Eine Rückstufung muss jederzeit möglich bleiben.

Auch ein guter Agent liegt manchmal daneben. Daraus folgt nicht, ihn von produktiver Arbeit fernzuhalten, sondern die Stellen sorgfältig zu wählen, an denen Menschen das letzte Wort haben. Sein Nutzen liegt gerade darin, dass er handelt. Gut gesetzte Freigaben sind die Voraussetzung, ihm Schritt für Schritt mehr zu überlassen.