Kde AI agenti potrebujú schválenie človekom

01Agenti konajú, a tým sa mení otázka

Chatovací asistent napíše text a človek rozhodne, čo s ním urobí. Agent ide ďalej: volá nástroje. Aktualizuje záznam, rezervuje termín, pridelí spis, odošle správu alebo pripraví platbu. Keď softvér koná, užitočná otázka už neznie len „je táto odpoveď dobrá?“, ale aj „kto zodpovedá za tento krok a kedy s ním súhlasil?“

Bezpečnostná komunita má pre zlé nastavenie vlastný názov. Zoznam OWASP Top 10 pre aplikácie s veľkými jazykovými modelmi uvádza nadmernú autonómiu (otvorí externú stránku) (excessive agency) ako jedno zo základných rizík: agent má viac funkcií, viac oprávnení alebo viac samostatnosti, než jeho úloha potrebuje. Schválenie človekom je jedna z kontrol. Ak ho použijete všade, spomalí prácu a naučí ľudí klikať na „schváliť“. Ak ho nepoužijete nikde, zostanú vám kroky, o ktorých nikto nerozhodol. Podstatné je, kam ho umiestnite.

02Začnite pri krokoch, nie pri modeli

Spíšte všetky nástroje, ktoré agent môže volať. Pri každom odpovedzte na štyri otázky. Zámerne sa týkajú kroku a jeho účinku, nie modelu.

1. 01Dá sa krok vrátiť? A za akú cenu: kliknutie, opravný list, vrátenie peňazí, súdny spor?
2. 02Koho sa týka? Interného konceptu, kolegu, zákazníka alebo občana, peňazí, tretej strany?
3. 03Vzniká záväzok alebo právny účinok? Rozhodnutie o človeku, platba, zmluva, správa odoslaná v mene vašej organizácie.
4. 04Ako často a ako rýchlo? Krok, ktorý sa opakuje tisíckrát denne, potrebuje inú kontrolu než krok, ktorý sa stane dvakrát do týždňa.

Podľa odpovedí zaradíte každý krok do jednej zo štyroch úrovní. Väčšina organizácií zistí, že takmer celé riziko nesie niekoľko málo krokov. To je dobrá správa: práve tam patrí úsilie na schvaľovanie.

Dva príklady. Odbor samosprávneho kraja, ktorý spracúva žiadosti o dotáciu, môže nechať agenta skontrolovať úplnosť príloh a pripraviť podklady na posúdenie, o dotácii však rozhoduje referent. Firma, ktorá od 1. januára 2027 prijíma štruktúrované e-faktúry cez sieť Peppol, môže nechať agenta spárovať faktúru s objednávkou a príjemkou, úhradu nad stanovený limit však schvaľuje človek.

Úrovne sú pomôcka pri návrhu, nie právna klasifikácia. Overte ich podľa pravidiel, ktoré sa na vás vzťahujú. GDPR dáva ľuďom osobitné práva pri rozhodnutiach založených výlučne na automatizovanom spracúvaní (otvorí externú stránku), ktoré majú právne účinky alebo ich podobne významne ovplyvňujú (článok 22). Pri vysokorizikových systémoch AI akt o umelej inteligencii vyžaduje, aby na ne mohli ľudia účinne dohliadať (otvorí externú stránku) (článok 14). Úroveň 4 je miesto, kde tieto povinnosti zvyčajne dopadajú.

03Situácie, ktoré vždy patria človeku

Niektoré situácie by mali krok posunúť o úroveň vyššie, nech je jeho bežné zaradenie akékoľvek. Zabudujte ich do pracovného postupu ako výslovné kontroly, aby nezáviseli od toho, či si ich agent všimne.

• Vstup je mimo toho, na čom bol agent testovaný: nový typ dokumentu, nezvyčajný jazyk, chýbajúce alebo protichodné polia.
• Zdroje, ktoré agent našiel, si odporujú, alebo navrhovaný krok stojí na niečom, čo agent nevie doložiť zdrojom.
• Suma, rozsah alebo počet dotknutých záznamov prekračuje limit, ktorý ste stanovili.
• Prípad sa týka citlivej oblasti: zdravotných údajov, maloletých, sťažnosti, sporu alebo prebiehajúceho odvolania.
• Agent už pokus opakoval alebo nadväzujúci systém vrátil chybu.

Jeden signál v zozname zámerne chýba: istota samotného modelu. Jazykové modely dokážu plynulo tvrdiť nesprávne veci. Americký National Institute of Standards and Technology to vo svojom rizikovom profile generatívnej AI nazýva konfabuláciou (otvorí externú stránku). Skóre, ktoré model uvedie sám o sebe, môže byť jedným zo vstupov, ale má stáť vedľa vonkajších kontrol, napríklad validačných pravidiel a porovnania so systémom, ktorý vedie záväznú evidenciu. Nikdy ich nenahrádza.

04Schválenie, ktoré ľudia naozaj dokážu dať

Prúd výziev „schváliť?“ naučí ľudí schvaľovať. Akt o umelej inteligencii toto riziko pomenúva priamo: ľudia, ktorí dohliadajú na vysokorizikový systém AI, si majú byť neustále vedomí možnej tendencie automaticky alebo nadmerne sa spoliehať na jeho výstupy, ktorú nariadenie nazýva „náchylnosť k automatizácii“ (článok 14 ods. 4 písm. b) (otvorí externú stránku) nariadenia (EÚ) 2024/1689).

Aby takéto uvedomenie fungovalo aj v praxi, pomôžu štyri rozhodnutia pri návrhu.

Ukážte podklady, nielen odpoveď

Navrhovaný krok opíšte jednoduchými slovami spolu so zdrojmi, o ktoré sa opiera (s odkazmi, ktoré sa otvoria na správnom mieste), s pravidlom alebo internou smernicou, ktorú agent uplatnil, a s presným opisom, čo sa v ktorom systéme zmení. Schvaľovateľ, ktorý musí na kontrolu návrhu otvoriť tri aplikácie, pod časovým tlakom kontrolovať prestane.

„Nie“ musí byť rovnako ľahké ako „áno“

Zamietnutie a úprava sú bežné výsledky, nie výnimky. Umiestnite ich vedľa schválenia, pri zamietnutí si vyžiadajte krátky dôvod a tieto dôvody využite pri vyhodnocovaní. Ak je úprava návrhu náročnejšia než jeho napísanie od začiatku, ľudia budú radšej schvaľovať nedokonalé návrhy.

Schválenie patrí role s právomocou

Schvaľuje určená rola s odbornou spôsobilosťou, zaškolením a právomocou rozhodnúť inak ako systém; pri vysokorizikových systémoch AI presne toto akt o umelej inteligencii požaduje od nasadzujúcich subjektov (článok 26 ods. 2 (otvorí externú stránku)). Určte zástupcu a postup eskalácie a merajte, ako dlho položky čakajú. Front, za ktorý nikto nezodpovedá, sa stane úzkym miestom, pre ktoré tímy začnú schvaľovací bod obchádzať.

Hromadne len to, čo je naozaj málo rizikové

Keď niekto posudzuje štyridsať takmer rovnakých položiek jednu po druhej, nebude preto pozornejší. Pri krokoch úrovne 2 povoľte hromadné posúdenie s náhodnou kontrolou vzoriek. Položky úrovne 3 a 4 posudzujte jednotlivo.

05Schvaľovací bod vynucuje systém, nie prompt

Pokyn v prompte nie je riadenie prístupu. Text, ktorý agent číta, napríklad e-mail, dokument alebo webová stránka, môže obsahovať vlastné pokyny; OWASP to opisuje ako prompt injection (otvorí externú stránku). Ak medzi agentom a nevratným krokom stojí len veta v jeho pokynoch, počítajte s tým, že ju raz niečo prebije.

• Agentovi dajte vlastnú identitu s najmenšími oprávneniami, aké každý nástroj potrebuje, a kde to platforma umožňuje, nech koná v rámci práv používateľa, ktorý požiadavku zadal.
• Schválenia vynucujte v integračnej vrstve: služba, ktorá odosiela list, volanie odmietne, ak pre presne tento krok neexistuje platný záznam o schválení.
• Na nástroje nastavte limity hodnoty, objemu a frekvencie nezávisle od agenta.
• Nástroje na čítanie a na zápis oddeľte, aby ste mohli rozšíriť, čo agent smie vidieť, bez toho, aby ste rozšírili, čo smie robiť.

06Zaznamenajte, čo budete neskôr vysvetľovať

Pri každom behu agenta uchovajte požiadavku, nájdené zdroje, každé volanie nástroja s parametrami, navrhovaný krok, schvaľovateľa, rozhodnutie, prípadné úpravy a časové údaje. Pri vysokorizikových systémoch AI musia nasadzujúce subjekty automaticky generované záznamy uchovávať najmenej šesť mesiacov, ak iný predpis neustanovuje inak (článok 26 ods. 6 (otvorí externú stránku)). Kde to žiadne pravidlo nevyžaduje, uchovajte ich aj tak: záznamy sú spôsob, ako sa učiť.

Záznamy pravidelne prechádzajte. Kroky, ktoré sa vždy schvália bez zmeny, sú kandidátmi na presun o úroveň nižšie. Kroky, ktoré sa často upravujú, ukazujú na slabinu agenta alebo patria o úroveň vyššie. Zamietnutia, ktoré sa sústreďujú okolo jedného zdroja, jedného formulára alebo jedného tímu, zvyčajne odhalia problém v procese, ktorý žiadny model nevyrieši.

07Začnite úzko, potom posúvajte kroky nižšie

Na začiatku zaraďte väčšinu krokov so závažnými následkami do úrovne 3 a 4. Vopred sa dohodnite, čo znamená dobrý výsledok: ktoré výsledky sú správne, ktoré chyby sú prijateľné a ktoré nie. Potom merajte podľa týchto kritérií, napríklad s funkciami merania z rámca NIST na riadenie rizík AI (otvorí externú stránku) ako kontrolným zoznamom.

Krok presuňte do miernejšej úrovne len na základe dôkazov: obdobie, v ktorom schválenia nepotrebovali podstatné úpravy, testy na prípadoch, ktoré sa pokazili, a súhlas vlastníka procesu. Pri prijatých e-faktúrach to môže znamenať, že limit, nad ktorým úhradu schvaľuje človek, zvýšite až po niekoľkých mesiacoch bez podstatných opráv. Toto rozhodnutie zaznamenajte ako každú inú zmenu systému a ponechajte si možnosť vrátiť ho späť.

Výstup AI môže byť nesprávny. To nie je dôvod držať agentov ďalej od skutočnej práce; je to dôvod navrhnúť, kde zostáva kontrola v rukách ľudí. Agenti sú užitoční, pretože dokážu konať. Premyslené umiestnenie schvaľovacích bodov vám umožní zverovať im postupne viac.