Kde AI agenti potřebují schválení člověkem

01Agenti jednají, a tím se mění otázka

Chatovací asistent napíše text a člověk rozhodne, co s ním udělá. Agent jde dál: volá nástroje. Aktualizuje záznam, zarezervuje termín, přidělí spis, odešle zprávu nebo připraví platbu. Jakmile software jedná, užitečná otázka už nezní jen „je tahle odpověď dobrá?“, ale „kdo za tento krok odpovídá a kdy s ním souhlasil?“

Bezpečnostní komunita má pro chybu v tomto bodě název. Přehled OWASP Top 10 pro aplikace s velkými jazykovými modely uvádí nadměrnou autonomii (excessive agency) (otevře externí web) jako jedno z hlavních rizik: agent má víc funkcí, víc oprávnění nebo víc samostatnosti, než jeho úkol vyžaduje. Schválení člověkem je jedním z opatření. Pokud ho použijete všude, zpomalí práci a naučí lidi mechanicky klikat na „schválit“. Pokud nikde, zůstanou vám kroky, o kterých nikdo nerozhodl. Práce spočívá v tom, kam ho umístit.

02Začněte u kroků, ne u modelu

Sepište všechny nástroje, které agent může volat. U každého odpovězte na čtyři otázky. Záměrně se týkají kroku a jeho dopadu, ne modelu.

1. 01Dá se vrátit? A za jakou cenu: kliknutím, opravným dopisem, vrácením peněz, soudním sporem?
2. 02Koho se týká? Interního konceptu, kolegy, zákazníka nebo občana, peněz, třetí strany?
3. 03Vzniká závazek nebo právní účinek? Rozhodnutí o člověku, platba, smlouva, zpráva odeslaná jménem vaší organizace.
4. 04Jak často a jak rychle? Krok, který proběhne tisíckrát denně, potřebuje jiné opatření než krok, který proběhne dvakrát týdně.

Odpovědi zařadí každý krok do jedné ze čtyř úrovní. Většina organizací zjistí, že téměř všechno riziko nese jen několik kroků. To je dobrá zpráva: právě tam patří úsilí věnované schvalování.

Ilustrativní příklad: na odboru dotací krajského úřadu může agent zkontrolovat, zda má žádost o dotaci všechny přílohy, a připravit výzvu k doplnění (úroveň 3: referent ji schválí, nebo upraví). O přidělení dotace rozhodují lidé, agent jim jen připraví podklady (úroveň 4). Přesunutí termínu návštěvy na magistrátu v rámci pevných pravidel může patřit do úrovně 2: agent termín přesune a klient i pracovník úřadu mohou změnu vrátit. U došlých faktur distributora může agent připravit zaúčtování sám, platbu nad stanovený limit ale schvaluje člověk.

Úrovně jsou pomůcka pro návrh, ne právní klasifikace. Ověřte je podle pravidel, která pro vás platí. GDPR dává lidem zvláštní práva u rozhodnutí založených výhradně na automatizovaném zpracování (otevře externí web), která mají právní nebo obdobně významné účinky (článek 22). U vysoce rizikových systémů vyžaduje akt o umělé inteligenci (AI Act), aby nad nimi lidé mohli vykonávat účinný dohled (otevře externí web) (článek 14). Právě do úrovně 4 tyto povinnosti obvykle dopadají.

03Signály, které musí vždy dojít k člověku

Některé situace by měly krok posunout o úroveň výš bez ohledu na jeho obvyklé zařazení. Zabudujte je do pracovního postupu jako výslovné kontroly, aby nezávisely na tom, zda si jich agent všimne.

• Vstup je mimo to, na čem byl agent testován: nový typ dokumentu, neobvyklý jazyk, chybějící nebo protichůdné údaje.
• Zdroje, které agent našel, si odporují, nebo navržený krok stojí na něčem, co agent nedokáže doložit.
• Částka, rozsah nebo počet dotčených záznamů překročí limit, který jste stanovili.
• Případ se týká citlivé oblasti: zdravotních údajů, nezletilých, stížnosti, sporu nebo probíhajícího odvolání.
• Agent už krok opakoval, nebo navazující systém vrátil chybu.

Jeden signál v seznamu záměrně chybí: sebedůvěra samotného modelu. Jazykové modely umějí plynule tvrdit nepravdivé věci; americký Národní institut pro standardy a technologie (NIST) to ve svém profilu rizik generativní AI nazývá konfabulací (otevře externí web). Skóre, které model uvádí sám o sobě, může být jedním ze vstupů, ale musí stát vedle vnějších kontrol, jako jsou validační pravidla a porovnání s evidenčním systémem, nikdy místo nich.

04Schválení, které lidé dokážou skutečně dát

Proud dotazů „schválit?“ naučí lidi schvalovat. Akt o umělé inteligenci toto riziko pojmenovává přímo: lidé, kteří dohlížejí na vysoce rizikový systém, musejí mít podle nařízení (EU) 2024/1689 (otevře externí web) možnost uvědomovat si zkreslení způsobené automatizací.

Díky čtyřem rozhodnutím v návrhu se toto povědomí dá udržet i v praxi.

Ukažte podklady, nejen odpověď

Navržený krok popište srozumitelně, uveďte zdroje, o které se opírá (s odkazy, které se otevřou na správném místě), pravidlo nebo předpis, který uplatnil, a přesně to, co se ve kterém systému změní. Posuzovatel, který musí kvůli jednomu návrhu otevřít tři aplikace, pod časovým tlakem kontrolovat přestane.

Ať je „ne“ stejně snadné jako „ano“

Zamítnutí a úprava jsou běžné výsledky, ne výjimky. Dejte je hned vedle schválení, při zamítnutí žádejte krátký důvod a tyto důvody využívejte při vyhodnocování. Pokud je úprava návrhu pracnější než jeho napsání od začátku, lidé budou schvalovat nedokonalé návrhy.

Schvalování svěřte roli s pravomocí

Schválení patří určené roli, která má odbornost, školení a pravomoc systém přehlasovat; u vysoce rizikových systémů AI to akt o umělé inteligenci od zavádějících subjektů přímo požaduje (čl. 26 odst. 2 (otevře externí web)). Určete zástupce a postup eskalace a měřte, jak dlouho položky čekají. Fronta, kterou nikdo nevlastní, se stane úzkým hrdlem, kvůli kterému týmy začnou bod schválení obcházet.

Hromadně schvalujte jen to, co je opravdu málo rizikové

Procházet čtyřicet téměř stejných položek jednu po druhé nikoho neudělá pozornějším. U kroků úrovně 2 povolte hromadnou kontrolu s náhodnými vzorky. Položky úrovní 3 a 4 posuzujte jednotlivě.

05Bod schválení vynucujte v systému, ne v promptu

Pokyn v promptu není řízení přístupu. Text, který agent čte, například e-mail, dokument nebo webová stránka, může obsahovat vlastní pokyny; OWASP to popisuje jako prompt injection (otevře externí web), tedy podvržení pokynů. Pokud mezi agentem a nevratným krokem stojí jen věta v jeho instrukcích, počítejte s tím, že ji jednou něco přebije.

• Dejte agentovi vlastní identitu s nejmenšími oprávněními, která každý nástroj potřebuje, a tam, kde to platforma umožňuje, ať jedná v rámci oprávnění uživatele, který o krok žádá.
• Schválení vynucujte v integrační vrstvě: služba, která odesílá dopis, volání odmítne, pokud pro přesně tento krok neexistuje platný záznam o schválení.
• Na nástroje nastavte limity hodnoty, objemu a četnosti nezávisle na agentovi.
• Nástroje pro čtení a pro zápis držte odděleně, abyste mohli rozšířit, co agent smí vidět, aniž byste rozšířili, co smí dělat.

06Zaznamenávejte, co budete později potřebovat vysvětlit

U každého běhu agenta uchovejte žádost, nalezené zdroje, každé volání nástroje s parametry, navržený krok, schvalovatele, rozhodnutí, případné úpravy a časové údaje. U vysoce rizikových systémů AI musí zavádějící subjekty uchovávat automaticky generované protokoly nejméně šest měsíců, pokud jiný předpis nestanoví jinak (čl. 26 odst. 6 (otevře externí web)). Kde to žádné pravidlo nevyžaduje, uchovávejte je stejně: záznam je způsob, jak se učit.

Záznamy procházejte v pravidelném rytmu. Kroky, které se vždy schválí beze změny, jsou kandidáty na přesun o úroveň níž. Kroky, které se často upravují, ukazují na slabinu agenta, nebo patří o úroveň výš. Zamítnutí, která se kupí kolem jednoho zdroje, jednoho formuláře nebo jednoho týmu, obvykle odhalí problém v procesu, který žádný model nevyřeší.

07Začněte úzce, pak kroky posouvejte o úroveň níž

Na začátku zařaďte nejzávažnější kroky do úrovní 3 a 4. Předem se dohodněte, co znamená dobrý výsledek: které výstupy jsou správné, které chyby jsou přijatelné a které ne. Pak měřte podle těchto kritérií, například s měřicími postupy rámce NIST AI Risk Management Framework (otevře externí web) jako kontrolním seznamem.

Do lehčí úrovně krok přesuňte jen na základě důkazů: období, kdy schválení nevyžadovala podstatné úpravy, testy na případech, které se nepovedly, a souhlas vlastníka procesu. Toto rozhodnutí zaznamenejte jako kteroukoli jinou změnu systému a ponechte si možnost krok vrátit zpět.

Výstup AI může být chybný. To není důvod držet agenty dál od skutečné práce; je to důvod navrhnout, kde mají lidé kontrolu. Agenti jsou užiteční, protože umějí jednat. Promyšleně umístěné body schválení vám umožní svěřovat jim postupně víc.