Wo KI-Agenten menschliche Freigabe brauchen

01Agenten handeln, und damit ändert sich die Frage

Ein Chat-Assistent entwirft Text, und ein Mensch entscheidet, was damit geschieht. Ein Agent geht weiter: Er ruft Werkzeuge auf. Er aktualisiert einen Datensatz, bucht einen Termin, leitet einen Vorgang weiter, versendet eine Nachricht oder bereitet eine Zahlung vor. Sobald Software handelt, lautet die entscheidende Frage nicht mehr nur „Ist diese Antwort gut?“, sondern „Wer verantwortet diese Aktion, und wann wurde ihr zugestimmt?“

In der Security-Community hat dieser Fehler einen Namen. Die OWASP Top 10 für Anwendungen mit großen Sprachmodellen führen übermäßige Handlungsfreiheit (öffnet externe Website) („Excessive Agency“) als zentrales Risiko: einen Agenten mit mehr Funktionen, mehr Berechtigungen oder mehr Autonomie, als seine Aufgabe erfordert. Menschliche Freigabe ist eine der Gegenmaßnahmen. Überall eingesetzt, bremst sie die Arbeit und gewöhnt Menschen daran, reflexhaft auf „Freigeben“ zu klicken. Nirgends eingesetzt, bleiben Aktionen übrig, über die niemand entschieden hat. Die eigentliche Arbeit liegt darin, sie an die richtigen Stellen zu setzen.

02Bei den Aktionen ansetzen, nicht beim Modell

Erfassen Sie jedes Werkzeug, das der Agent aufrufen kann. Beantworten Sie für jedes vier Fragen. Sie zielen bewusst auf die Aktion und ihre Wirkung, nicht auf das Modell.

1. 01Lässt sie sich rückgängig machen? Und zu welchem Preis: ein Klick, ein Korrekturschreiben, eine Erstattung, ein Gerichtsverfahren?
2. 02Wer ist betroffen? Ein interner Entwurf, Kolleginnen und Kollegen, Kundschaft oder Bürgerinnen und Bürger, Geld, Dritte?
3. 03Begründet sie eine Verpflichtung oder eine Rechtswirkung? Eine Entscheidung über eine Person, eine Zahlung, ein Vertrag, eine Nachricht im Namen Ihrer Organisation.
4. 04Wie oft und wie schnell? Eine Aktion, die tausendfach am Tag anfällt, braucht eine andere Kontrolle als eine, die zweimal pro Woche vorkommt.

Aus den Antworten ergibt sich für jede Aktion eine von vier Stufen. Die meisten Organisationen stellen fest, dass eine Handvoll Aktionen nahezu das gesamte Risiko trägt. Das ist eine gute Nachricht: Genau dorthin gehört der Aufwand für Freigaben.

Die Stufen sind ein Gestaltungswerkzeug, keine rechtliche Einstufung. Gleichen Sie sie mit den Regeln ab, die für Sie gelten. Die DSGVO gibt Menschen besondere Rechte bei Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung beruhen (öffnet externe Website) und ihnen gegenüber rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen (Artikel 22). Für Hochrisiko-Systeme verlangt die KI-Verordnung der EU, dass sie von Menschen wirksam beaufsichtigt werden können (öffnet externe Website) (Artikel 14). In Stufe 4 landen diese Pflichten in der Regel.

03Signale, die immer bei einem Menschen ankommen sollten

Manche Situationen sollten eine Aktion eine Stufe höher heben, unabhängig von ihrer üblichen Einordnung. Bauen Sie diese Signale als ausdrückliche Prüfungen in den Workflow ein, damit sie nicht davon abhängen, dass der Agent sie bemerkt.

• Die Eingabe liegt außerhalb dessen, womit der Agent getestet wurde: ein neuer Dokumenttyp, eine ungewöhnliche Sprache, fehlende oder widersprüchliche Felder.
• Die abgerufenen Quellen widersprechen sich, oder die vorgeschlagene Aktion stützt sich auf etwas, das der Agent nicht belegen kann.
• Betrag, Umfang oder Zahl der betroffenen Datensätze liegen über einem Schwellenwert, den Sie festgelegt haben.
• Der Vorgang berührt einen sensiblen Bereich: Gesundheitsdaten, Minderjährige, eine Beschwerde, eine Streitigkeit oder ein laufendes Widerspruchsverfahren.
• Der Agent hat bereits einen erneuten Versuch unternommen, oder ein nachgelagertes System hat einen Fehler gemeldet.

Ein Signal fehlt in dieser Liste mit Absicht: die Selbsteinschätzung des Modells. Sprachmodelle können Falsches flüssig formulieren; das US-amerikanische National Institute of Standards and Technology bezeichnet dies in seinem Risikoprofil für generative KI als Konfabulation (öffnet externe Website). Ein selbst gemeldeter Konfidenzwert kann ein Signal unter mehreren sein. Er gehört neben externe Prüfungen wie Validierungsregeln und den Abgleich mit dem führenden System und darf sie nie ersetzen.

04Freigaben so gestalten, dass Menschen sie wirklich geben können

Ein Strom von „Freigeben?“-Abfragen erzieht Menschen zum Freigeben. Die KI-Verordnung benennt das Risiko direkt: Wer ein Hochrisiko-System beaufsichtigt, muss sich des Automatisierungsbias bewusst bleiben können.

Vier Gestaltungsentscheidungen machen dieses Bewusstsein im Alltag möglich.

Belege zeigen, nicht nur die Antwort

Stellen Sie die vorgeschlagene Aktion in klaren Worten dar, dazu die Quellen, auf die sie sich stützt (mit Links, die an der richtigen Stelle öffnen), die angewandte Regel oder Richtlinie und genau das, was sich in welchem System ändern wird. Wer drei Anwendungen öffnen muss, um einen Vorschlag zu prüfen, hört unter Zeitdruck auf zu prüfen.

„Nein“ so einfach machen wie „Ja“

Ablehnen und Bearbeiten sind normale Ergebnisse, keine Ausnahmen. Platzieren Sie beide Optionen direkt neben „Freigeben“, verlangen Sie bei einer Ablehnung eine kurze Begründung und nutzen Sie diese Begründungen für die Evaluierung. Ist das Bearbeiten eines Vorschlags aufwendiger, als ihn neu zu schreiben, geben Menschen stattdessen unvollkommene Vorschläge frei.

Die Freigabe einer Rolle mit Befugnis übertragen

Freigaben gehören zu einer benannten Rolle mit der Kompetenz, Ausbildung und Befugnis, das System zu übersteuern; für Hochrisiko-KI-Systeme verlangt die KI-Verordnung genau das von Betreibern (Artikel 26 Absatz 2 (öffnet externe Website)). Legen Sie eine Vertretung und einen Eskalationsweg fest und messen Sie, wie lange Vorgänge warten. Eine Warteschlange, für die niemand zuständig ist, wird zum Engpass, der Teams dazu bringt, den Freigabepunkt zu umgehen.

Nur wirklich Risikoarmes gebündelt prüfen

Vierzig nahezu identische Vorgänge einzeln zu prüfen, macht niemanden sorgfältiger. Für Aktionen der Stufe 2 können Sie Sammelprüfungen mit Zufallsstichproben zulassen. Vorgänge der Stufen 3 und 4 bleiben Einzelprüfungen.

05Den Freigabepunkt im System erzwingen, nicht im Prompt

Eine Anweisung im Prompt ist keine Zugriffskontrolle. Texte, die der Agent liest, etwa eine E-Mail, ein Dokument oder eine Webseite, können eigene Anweisungen enthalten; OWASP beschreibt das als Prompt Injection (öffnet externe Website). Wenn zwischen einem Agenten und einer unumkehrbaren Aktion nur ein Satz in seinen Anweisungen steht, gehen Sie davon aus, dass dieser Satz eines Tages ausgehebelt wird.

• Geben Sie dem Agenten eine eigene Identität mit den geringsten Rechten, die jedes Werkzeug benötigt, und lassen Sie ihn im Rahmen der Rechte der anfragenden Person handeln, wo die Plattform das unterstützt.
• Erzwingen Sie Freigaben in der Integrationsschicht: Der Dienst, der den Brief versendet, verweigert den Aufruf, solange kein gültiger Freigabedatensatz für genau diese Aktion vorliegt.
• Begrenzen Sie Werkzeuge nach Wert, Menge und Aufrufrate, unabhängig vom Agenten.
• Trennen Sie lesende und schreibende Werkzeuge, damit Sie erweitern können, was der Agent sehen darf, ohne zu erweitern, was er tun darf.

06Protokollieren, was Sie später erklären müssen

Halten Sie für jeden Agentenlauf fest: die Anfrage, die abgerufenen Quellen, jeden Werkzeugaufruf mit seinen Parametern, die vorgeschlagene Aktion, die freigebende Person, die Entscheidung, etwaige Änderungen und die Zeitstempel. Betreiber von Hochrisiko-KI-Systemen müssen die automatisch erzeugten Protokolle mindestens sechs Monate aufbewahren, sofern anderes Recht nichts anderes bestimmt (Artikel 26 Absatz 6 (öffnet externe Website)). Wo keine Regel es verlangt, bewahren Sie sie trotzdem auf: Aus dem Protokoll lernen Sie.

Werten Sie die Protokolle in einem festen Rhythmus aus. Aktionen, die stets unverändert freigegeben werden, sind Kandidaten für eine niedrigere Stufe. Aktionen, die oft bearbeitet werden, deuten auf eine Schwäche des Agenten hin oder gehören eine Stufe höher. Häufen sich Ablehnungen bei einer Quelle, einem Formular oder einem Team, zeigt das meist ein Prozessproblem, das kein Modell lösen wird.

07Eng beginnen, dann Aktionen herabstufen

Ordnen Sie zum Livegang die meisten folgenreichen Aktionen den Stufen 3 und 4 zu. Legen Sie vorab fest, was „gut“ bedeutet: welche Ergebnisse als korrekt gelten, welche Fehler akzeptabel sind und welche nicht. Messen Sie dann an diesen Kriterien, zum Beispiel mit den Messfunktionen des NIST AI Risk Management Framework (öffnet externe Website) als Checkliste.

Stufen Sie eine Aktion nur mit Belegen herab: ein Zeitraum, in dem Freigaben keine wesentlichen Änderungen erforderten, Tests mit den Fällen, die schiefgingen, und die Zustimmung der für den Prozess verantwortlichen Person. Dokumentieren Sie diese Entscheidung wie jede andere Änderung am System, und behalten Sie die Möglichkeit, sie zurückzunehmen.

KI-Ausgaben können falsch sein. Das ist kein Grund, Agenten von echter Arbeit fernzuhalten, sondern der Grund, bewusst zu gestalten, wo Menschen die Kontrolle behalten. Agenten sind nützlich, weil sie handeln können. Wer Freigabepunkte gezielt setzt, kann ihnen mit der Zeit mehr übertragen.