Kje agenti UI potrebujejo odobritev človeka

01Agenti ukrepajo, zato se vprašanje spremeni

Klepetalni asistent pripravi besedilo, kaj bo z njim, pa odloči človek. Agent gre dlje: kliče orodja. Posodobi zapis, rezervira termin, dodeli zadevo, pošlje sporočilo ali pripravi plačilo. Ko programska oprema izvaja dejanja, ni več pomembno le vprašanje »ali je odgovor dober?«, temveč tudi »kdo odgovarja za to dejanje in kdaj se je z njim strinjal?«

Varnostna stroka ima za napačno zasnovo tudi ime. Seznam OWASP Top 10 za aplikacije z velikimi jezikovnimi modeli med ključnimi tveganji navaja prekomerno samostojnost (odpre zunanje spletno mesto) (excessive agency): agent ima več funkcij, več pravic ali več samostojnosti, kot jih potrebuje za svojo nalogo. Odobritev človeka je eden od nadzornih ukrepov. Če jo zahtevate povsod, upočasni delo in ljudi navadi, da kliknejo »odobri«. Če je ne zahtevate nikjer, ostanejo dejanja, o katerih ni odločil nihče. Bistvo je v tem, kam jo postavite.

02Začnite pri dejanjih, ne pri modelu

Popišite vsa orodja, ki jih agent lahko kliče. Za vsako odgovorite na štiri vprašanja. Namenoma se nanašajo na dejanje in njegov učinek, ne na model.

1. 01Ali ga je mogoče razveljaviti? In za kakšno ceno: en klik, popravek dopisa, vračilo denarja, sodni postopek?
2. 02Na koga vpliva? Na interni osnutek, sodelavca, stranko ali državljana, na denar, na tretjo osebo?
3. 03Ali ustvari obveznost ali pravni učinek? Odločitev o posamezniku, plačilo, pogodbo, sporočilo v imenu vaše organizacije.
4. 04Kako pogosto in kako hitro? Dejanje, ki se zgodi tisočkrat na dan, potrebuje drugačen nadzor kot dejanje, ki se zgodi dvakrat na teden.

Odgovori vsako dejanje uvrstijo v eno od štirih stopenj. Večina organizacij ugotovi, da skoraj vse tveganje nosi le nekaj dejanj. To je dobra novica: tja sodi trud za odobritve.

Stopnje so pripomoček za zasnovo, ne pravna razvrstitev. Preverite jih glede na pravila, ki veljajo za vas. Splošna uredba o varstvu podatkov (GDPR) daje posameznikom posebne pravice pri odločitvah, ki temeljijo zgolj na avtomatizirani obdelavi (odpre zunanje spletno mesto) in imajo pravne učinke ali na posameznika na podoben način znatno vplivajo (22. člen). Akt o umetni inteligenci zahteva, da ljudje visokotvegane sisteme UI lahko učinkovito nadzorujejo (odpre zunanje spletno mesto) (14. člen). Te obveznosti praviloma sodijo v 4. stopnjo.

03Signali, ki morajo vedno priti do človeka

Nekatere okoliščine morajo dejanje dvigniti za stopnjo višje, ne glede na njegovo običajno mesto. Vgradite jih v potek dela kot izrecna preverjanja, da niso odvisne od tega, ali jih agent opazi.

• Vhodni podatki so zunaj tega, na čemer je bil agent preizkušen: nova vrsta dokumenta, nenavaden jezik, manjkajoča ali protislovna polja.
• Viri, ki jih je agent našel, si nasprotujejo, ali pa se predlagano dejanje opira na nekaj, česar agent ne more navesti.
• Znesek, obseg ali število prizadetih zapisov presega prag, ki ste ga določili.
• Zadeva se dotika občutljivega področja: podatkov o zdravju, mladoletnih oseb, pritožbe, spora ali pravnega sredstva, o katerem še ni odločeno.
• Agent je poskus že ponovil ali pa je sistem v nadaljevanju verige vrnil napako.

Primer iz podjetja: od 1. januarja 2028 si bodo poslovni subjekti za dobave v Sloveniji izmenjevali samo e-račune. Agent lahko prejeti e-račun uskladi z naročilnico in prevzemom blaga ter ga pripravi za knjiženje. Račun nad dogovorjenim zneskom ali z odstopanjem pa gre v odobritev človeku.

Na seznamu signalov namenoma manjka en: zaupanje modela samega vase. Jezikovni modeli lahko tekoče navajajo napačne trditve, kar ameriški National Institute of Standards and Technology (NIST) v profilu tveganj generativne UI opisuje kot konfabulacijo (odpre zunanje spletno mesto). Ocena, ki jo model poda sam, je lahko eden od vhodnih podatkov, vendar mora stati ob zunanjih preverjanjih, kot so pravila za preverjanje podatkov in primerjava s sistemom, ki vodi uradno evidenco. Nikoli jih ne nadomesti.

04Odobritev, ki jo ljudje res lahko dajo

Nenehni pozivi »odobrite?« ljudi naučijo odobravati. Akt o umetni inteligenci to tveganje imenuje neposredno: ljudje, ki nadzorujejo visokotvegani sistem UI, se morajo zavedati pristranskosti zaradi avtomatizacije.

Štiri odločitve pri zasnovi to zavedanje prenesejo v prakso.

Pokažite dokaze, ne le odgovora

Predlagano dejanje opišite z jasnimi besedami, skupaj z viri, na katere se opira (s povezavami, ki se odprejo na pravem mestu), s pravilom, ki ga je agent upošteval, in z natančnim opisom, kaj se bo spremenilo v katerem sistemu. Pregledovalec, ki mora za preverjanje predloga odpreti tri aplikacije, bo pod časovnim pritiskom nehal preverjati.

Naj bo »ne« enako preprost kot »da«

Zavrnitev in popravek sta običajna izida, ne izjemi. Postavite ju ob gumb za odobritev, pri zavrnitvi prosite za kratek razlog in razloge uporabite pri vrednotenju. Če je popravljanje predloga težje kot pisanje od začetka, bodo ljudje raje odobrili nepopoln predlog.

Odobritev zaupajte vlogi s pooblastili

Odobritev pripada določeni vlogi s potrebnimi kompetencami, usposobljenostjo in pooblastili, da izhodne podatke sistema ovržejo. Pri visokotveganih sistemih UI Akt o umetni inteligenci prav to zahteva od uvajalcev (drugi odstavek 26. člena (odpre zunanje spletno mesto)). Določite namestnika in pot za stopnjevanje ter merite, kako dolgo zadeve čakajo. Čakalna vrsta, za katero ni odgovoren nihče, postane ozko grlo, zaradi katerega ekipe točko odobritve obidejo.

Skupinsko pregledujte le, kar je res nizko tvegano

Če štirideset skoraj enakih postavk pregledate eno za drugo, zato nihče ni bolj pazljiv. Za dejanja 2. stopnje dovolite skupinski pregled z naključnim vzorčenjem. Postavke 3. in 4. stopnje naj ostanejo posamične.

05Točko odobritve uveljavite v sistemu, ne v pozivu

Navodilo v pozivu ni nadzor dostopa. Besedilo, ki ga agent prebere, na primer e-sporočilo, dokument ali spletna stran, lahko vsebuje svoja navodila. OWASP to opisuje kot vrivanje navodil (odpre zunanje spletno mesto) (prompt injection). Če med agentom in nepovratnim dejanjem stoji le stavek v njegovih navodilih, računajte s tem, da bo ta stavek nekoč preglašen.

• Agentu dodelite lastno identiteto z najmanjšimi pravicami, ki jih potrebuje posamezno orodje, in naj deluje v okviru pravic uporabnika, ki je zahtevo podal, kjer platforma to podpira.
• Odobritve uveljavite v integracijski plasti: storitev, ki pošlje dopis, klic zavrne, razen če za prav to dejanje obstaja veljaven zapis o odobritvi.
• Za orodja določite omejitve vrednosti, obsega in pogostosti, neodvisno od agenta.
• Orodja za branje in pisanje ločite, da lahko razširite, kaj agent vidi, ne da bi razširili, kaj sme narediti.

06Beležite, kar boste pozneje morali pojasniti

Za vsak zagon agenta hranite zahtevo, najdene vire, vsak klic orodja s parametri, predlagano dejanje, odobritelja, odločitev, morebitne popravke in časovne žige. Uvajalci visokotveganih sistemov UI morajo samodejno ustvarjene dnevniške zapise hraniti najmanj šest mesecev, če drugo pravo ne določa drugače (šesti odstavek 26. člena (odpre zunanje spletno mesto)). Kjer tega ne zahteva nobeno pravilo, jih vseeno hranite: iz dnevnika se učite.

Dnevnike pregledujte v stalnem ritmu. Dejanja, ki so vedno odobrena brez sprememb, so kandidati za nižjo stopnjo. Dejanja, ki jih ljudje pogosto popravljajo, kažejo na slabost agenta ali sodijo stopnjo višje. Zavrnitve, ki se kopičijo pri enem viru, enem obrazcu ali eni ekipi, običajno razkrijejo težavo v procesu, ki je noben model ne bo odpravil.

07Začnite ozko, nato dejanja premikajte nižje

Ob uvedbi uvrstite večino dejanj z resnimi posledicami na 3. in 4. stopnjo. Vnaprej se dogovorite, kaj pomeni dober rezultat: kateri izidi štejejo za pravilne, katere napake so sprejemljive in katere ne. Nato merite glede na ta merila, na primer s funkcijami merjenja iz okvira NIST za obvladovanje tveganj UI (odpre zunanje spletno mesto) kot kontrolnim seznamom.

Dejanje premaknite na nižjo stopnjo samo na podlagi dokazov: obdobje, v katerem odobritve niso zahtevale bistvenih popravkov, testi na primerih, ki so šli narobe, in soglasje lastnika procesa. To odločitev zabeležite kot vsako drugo spremembo sistema in ohranite možnost, da jo prekličete.

Izhodni podatki UI so lahko napačni. To ni razlog, da agente držite stran od pravega dela, temveč razlog, da načrtno določite, kje odloča človek. Agenti so uporabni, ker lahko ukrepajo. Premišljeno postavljene točke odobritve vam omogočijo, da jim sčasoma zaupate več dela.