Wann KI-Agenten eine menschliche Freigabe brauchen

01Agenten handeln, und damit ändert sich die Frage

Bei einem Chat-Assistenten bleibt die Entscheidung beim Menschen: Das System formuliert, die Person übernimmt oder verwirft. Agenten dagegen bedienen Werkzeuge. Sie tragen etwas in einen Datensatz ein, vergeben einen Termin, schicken einen Akt an die nächste Stelle, versenden Nachrichten oder legen eine Zahlung an. Wenn Software auf diese Weise tätig wird, genügt die Frage nach der Qualität der Antwort nicht mehr. Wichtiger wird: Wer steht für diese Aktion gerade, und zu welchem Zeitpunkt hat diese Person zugestimmt?

Für das Risiko gibt es einen Fachbegriff. OWASP, das Projekt für Anwendungssicherheit, zählt in seiner Top-10-Liste für Sprachmodell-Anwendungen „Excessive Agency“ (öffnet externe Website) zu den Kernrisiken: Ein Agent darf mehr, kann mehr oder entscheidet selbständiger, als seine Aufgabe erfordert. Menschliche Freigaben wirken dagegen, aber nur gezielt. Wer sie flächendeckend einbaut, verlangsamt Abläufe und erzieht zum gedankenlosen Bestätigen. Wer ganz darauf verzichtet, bekommt Aktionen, für die niemand eine Entscheidung getroffen hat. Es kommt also darauf an, wo sie sitzen.

02Bei den Aktionen ansetzen, nicht beim Modell

Listen Sie alle Werkzeuge auf, die der Agent aufrufen kann, und stellen Sie zu jedem vier Fragen. Sie betreffen bewusst die Aktion und ihre Wirkung, nicht das Modell.

1. 01Lässt sie sich rückgängig machen? Und was kostet das: einen Klick, ein Berichtigungsschreiben, eine Rückzahlung, ein Verfahren vor Gericht?
2. 02Wen betrifft sie? Einen internen Entwurf, Kolleginnen und Kollegen, Kundschaft oder Bürgerinnen und Bürger, Geld, Dritte?
3. 03Entsteht eine Verpflichtung oder Rechtswirkung? Eine Entscheidung über eine Person, eine Zahlung, ein Vertrag, ein Schreiben im Namen Ihrer Organisation.
4. 04Wie oft und wie schnell? Was tausendmal am Tag passiert, braucht eine andere Kontrolle als etwas, das zweimal pro Woche vorkommt.

Mit den Antworten landet jede Aktion in einer von vier Stufen. Meist zeigt sich, dass wenige Aktionen fast das gesamte Risiko tragen. Das ist eine gute Nachricht, denn genau dort gehört der Aufwand für Freigaben hin.

Rechtlich ist mit dieser Einteilung noch nichts entschieden; sie hilft beim Entwurf und muss mit Ihren Vorgaben abgeglichen werden. Zwei Rechtsakte sind fast immer im Spiel. Art. 22 DSGVO schützt Menschen vor Entscheidungen, die ausschließlich automatisiert fallen (öffnet externe Website) und sie rechtlich oder in ähnlich erheblicher Weise betreffen. Art. 14 der KI-Verordnung verlangt für Hochrisiko-Systeme eine wirksame Aufsicht durch Menschen (öffnet externe Website). Beides betrifft in der Regel die Stufe 4.

03Signale, die immer bei einem Menschen landen sollten

Manche Situationen heben eine Aktion eine Stufe höher, egal wo sie sonst steht. Bauen Sie diese Prüfungen ausdrücklich in den Ablauf ein, statt darauf zu hoffen, dass der Agent sie bemerkt.

• Die Eingabe liegt außerhalb dessen, womit der Agent getestet wurde: eine neue Dokumentart, eine ungewohnte Sprache, fehlende oder widersprüchliche Angaben.
• Die abgerufenen Quellen passen nicht zusammen, oder für die geplante Aktion fehlt ein belegbarer Grund.
• Betrag, Umfang oder Zahl der betroffenen Datensätze überschreiten einen festgelegten Wert.
• Der Fall berührt eine sensible Kategorie: Gesundheitsdaten, Minderjährige, eine Beschwerde, einen Streitfall oder ein laufendes Rechtsmittelverfahren.
• Der Agent hat schon einen zweiten Anlauf genommen, oder ein nachgelagertes System hat einen Fehler gemeldet.

Bewusst nicht auf der Liste steht, wie sicher sich das Modell selbst ist. Ein Sprachmodell kann Unzutreffendes ebenso glatt formulieren wie Zutreffendes. Das NIST, die US-Normungsbehörde, führt dieses Verhalten in seinem Risikoprofil für generative KI (öffnet externe Website) als „Confabulation“. Eine vom Modell selbst gelieferte Kennzahl darf in die Bewertung einfließen, ersetzt aber keine unabhängige Kontrolle wie Plausibilitätsregeln oder den Vergleich mit dem führenden System.

04Freigaben so gestalten, dass sie wirklich geprüft werden

Wer ständig „Genehmigen?“ gefragt wird, lernt zu genehmigen. Die KI-Verordnung spricht das Risiko direkt an: Personen, die ein Hochrisiko-System beaufsichtigen, müssen sich der Neigung bewusst bleiben, sich automatisch oder zu sehr auf dessen Ergebnisse zu verlassen, den sogenannten Automatisierungsbias (Art. 14 Abs. 4 lit. b).

Mit vier Gestaltungsentscheidungen wird dieses Bewusstsein alltagstauglich.

Belege zeigen, nicht nur das Ergebnis

In die Freigabemaske gehören: eine verständliche Beschreibung der geplanten Aktion, die herangezogenen Quellen mit Links direkt auf die relevante Passage, die Regel oder Richtlinie, nach der der Agent vorgegangen ist, und die konkrete Änderung im Zielsystem. Muss jemand erst mehrere Programme öffnen, um einen Vorschlag nachzuvollziehen, lässt die Kontrolle nach, sobald es eilt.

Nein so einfach machen wie Ja

Ablehnen und Ändern sind gewöhnliche Ergebnisse, keine Ausnahme. Platzieren Sie beide direkt neben „Genehmigen“, fragen Sie bei einer Ablehnung nach einer kurzen Begründung und nutzen Sie diese Begründungen in der Auswertung. Ist das Überarbeiten eines Vorschlags mühsamer als das Neuschreiben, werden unvollkommene Vorschläge durchgewunken.

Freigabe an eine Rolle mit Befugnis

Die Freigabe liegt bei einer festgelegten Rolle, die fachlich und von ihrer Ausbildung her dazu in der Lage ist und das System auch übersteuern darf. Für Hochrisiko-Systeme schreibt Art. 26 Abs. 2 (öffnet externe Website) der KI-Verordnung den Betreibern genau das vor. Sorgen Sie für eine Stellvertretung und einen Weg zur Eskalation, und beobachten Sie die Wartezeiten. Fühlt sich niemand für die Warteschlange zuständig, staut es sich, und früher oder später wird der Freigabepunkt umgangen.

Sammelfreigaben nur bei geringem Risiko

Wer vierzig beinahe identische Vorgänge nacheinander bestätigt, wird dadurch nicht genauer. Bei Stufe 2 sind Sammelprüfungen mit Stichproben daher vertretbar. Was in Stufe 3 oder 4 liegt, wird einzeln geprüft.

05Die Freigabe im System durchsetzen, nicht im Prompt

Was im Prompt steht, schützt nichts. Inhalte, die der Agent verarbeitet, also Mails, Dateien oder Webseiten, können selbst Befehle enthalten; OWASP nennt das „Prompt Injection“ (öffnet externe Website). Hängt die Sicherheit einer endgültigen Aktion allein an einer Formulierung in den Systemanweisungen, rechnen Sie damit, dass sie irgendwann umgangen wird.

• Geben Sie dem Agenten eine eigene Identität mit den minimalen Rechten, die jedes Werkzeug braucht, und lassen Sie ihn, wo die Plattform es erlaubt, mit den Rechten der anfragenden Person arbeiten.
• Setzen Sie Freigaben in der Integrationsschicht durch: Der Dienst, der ein Schreiben verschickt, verweigert den Aufruf, solange für genau diese Aktion keine gültige Freigabe vorliegt.
• Begrenzen Sie Beträge, Mengen und Aufrufraten der Werkzeuge, unabhängig vom Agenten.
• Halten Sie Lese- und Schreibwerkzeuge getrennt. So lässt sich der Blick des Agenten auf mehr Daten ausweiten, ohne seinen Handlungsspielraum mitzuvergrößern.

06Protokollieren, was Sie später erklären müssen

Pro Durchlauf gehören ins Protokoll: Anfrage, abgerufene Quellen, alle Werkzeugaufrufe samt Parametern, der Vorschlag, wer entschieden hat und wie, allfällige Korrekturen und sämtliche Zeitstempel. Betreiber von Hochrisiko-Systemen müssen die automatisch erzeugten Protokolle nach Art. 26 Abs. 6 (öffnet externe Website) KI-Verordnung zumindest sechs Monate aufbewahren, wenn andere Vorschriften nichts anderes bestimmen. Auch wo keine Pflicht besteht, lohnt es sich: Ohne Protokoll keine Verbesserung.

Schauen Sie sich die Protokolle regelmäßig an, etwa monatlich. Wird eine Aktion immer ohne Korrektur freigegeben, kann sie vermutlich eine Stufe hinunter. Wird sie oft korrigiert, liegt eine Schwäche im Agenten vor, oder sie gehört eine Stufe hinauf. Konzentrieren sich Ablehnungen auf eine bestimmte Quelle, ein Formular oder eine Abteilung, ist meist der Prozess das Problem, und das behebt kein Modell.

07Eng beginnen, dann Aktionen herabstufen

Zum Start liegen die Aktionen mit spürbaren Folgen in Stufe 3 oder 4. Legen Sie vorab fest, woran Sie Qualität erkennen: was als richtiges Ergebnis zählt, welche Fehler tolerierbar sind und welche keinesfalls. Diese Kriterien sind dann der Maßstab; als Prüfliste eignen sich etwa die Messfunktionen im AI Risk Management Framework (öffnet externe Website) des NIST.

Eine leichtere Stufe gibt es nur mit Belegen: ein Zeitraum, in dem Freigaben ohne wesentliche Änderungen auskamen, Tests mit den Fällen, die schiefgegangen sind, und die Zustimmung der prozessverantwortlichen Stelle. Dokumentieren Sie diese Entscheidung wie jede andere Systemänderung und behalten Sie sich vor, sie zurückzunehmen.

KI-Ergebnisse können falsch sein. Das spricht nicht dagegen, Agenten echte Arbeit zu übertragen, sondern dafür, bewusst festzulegen, wo Menschen die Kontrolle behalten. Nützlich sind Agenten, weil sie handeln können. Gut gesetzte Freigabepunkte sind die Voraussetzung, ihnen mit der Zeit mehr anzuvertrauen.