Gdje AI agenti trebaju ljudsko odobrenje

01Agenti djeluju, pa se pitanje mijenja

Asistent za razgovor temeljen na umjetnoj inteligenciji (AI) piše tekst, a osoba odlučuje što će s njim. Agent ide dalje: poziva alate. Ažurira zapis, rezervira termin, usmjerava predmet, šalje poruku ili priprema plaćanje. Čim softver poduzima radnje, korisno pitanje više nije samo „je li ovaj odgovor dobar?”, nego i „tko odgovara za ovu radnju i kada je na nju pristao?”

Stručnjaci za sigurnost imaju naziv za pogrešku u tom koraku. OWASP-ov popis deset glavnih rizika za aplikacije s velikim jezičnim modelima navodi prekomjernu autonomiju (otvara vanjsku stranicu) (excessive agency) kao jedan od ključnih rizika: agent ima više funkcija, više ovlasti ili više samostalnosti nego što mu zadatak traži. Ljudsko odobrenje jedna je od kontrola. Ako ga primijenite posvuda, usporava rad i navikava ljude da samo kliknu „odobri”. Ako ga nema nigdje, ostaju radnje o kojima nitko nije odlučio. Posao je u tome da ga postavite na pravo mjesto.

02Krenite od radnji, a ne od modela

Popišite sve alate koje agent može pozvati. Za svaki odgovorite na četiri pitanja. Namjerno se odnose na radnju i njezin učinak, a ne na model.

1. 01Može li se poništiti? I po kojoj cijeni: jednim klikom, dopisom s ispravkom, povratom novca, sudskim postupkom?
2. 02Na koga utječe? Na interni nacrt, kolegu, klijenta ili građanina, novac, treću stranu?
3. 03Stvara li obvezu ili pravni učinak? Odluku o osobi, plaćanje, ugovor, poruku poslanu u ime vaše organizacije.
4. 04Koliko često i koliko brzo? Radnja koja se događa tisućama puta dnevno traži drukčiju kontrolu od one koja se događa dvaput tjedno.

Odgovori svaku radnju smještaju u jednu od četiriju razina. Većina organizacija otkrije da nekoliko radnji nosi gotovo sav rizik, što je dobra vijest: ondje pripada trud oko odobravanja.

Dva ilustrativna primjera. Regionalna razvojna agencija prima zahtjeve za potpore s prilozima: agent provjerava jesu li prilozi potpuni i priprema dopis kojim se traži dopuna, a službenik ga pregledava prije slanja (razina 3). Odluka o potpori ostaje službeniku koji vodi predmet (razina 4). Kod veletrgovca tehničke robe agent povezuje ulazne eRačune s narudžbenicama i označava ih za knjiženje (razina 2), a račune iznad zadanog iznosa šalje na odobrenje (razina 3).

Razine su alat za dizajn, a ne pravna klasifikacija. Provjerite ih prema pravilima koja se odnose na vas. Opća uredba o zaštiti podataka (GDPR) ljudima daje posebna prava u vezi s odlukama koje se temelje isključivo na automatiziranoj obradi (otvara vanjsku stranicu), a proizvode pravne ili slično značajne učinke (članak 22.). Za visokorizične sustave Akt o umjetnoj inteligenciji zahtijeva da ih ljudi mogu djelotvorno nadzirati (otvara vanjsku stranicu) (članak 14.). Razina 4 obično je mjesto na kojem se te obveze primjenjuju.

03Signali koji uvijek moraju doći do osobe

Neke situacije trebaju podići radnju za razinu više, bez obzira na to gdje je inače. Ugradite ih kao izričite provjere u tijek rada, kako ne bi ovisile o tome hoće li ih agent primijetiti.

• Ulaz je izvan onoga na čemu je agent testiran: nova vrsta dokumenta, neuobičajen jezik, polja koja nedostaju ili si proturječe.
• Izvori koje je agent pronašao međusobno se ne slažu ili se predložena radnja oslanja na nešto što agent ne može citirati.
• Iznos, opseg ili broj zahvaćenih zapisa veći je od praga koji ste postavili.
• Predmet se tiče osjetljive kategorije: zdravstvenih podataka, maloljetnika, prigovora, spora ili žalbenog postupka u tijeku.
• Agent je već ponovio pokušaj ili je sustav u nastavku procesa vratio pogrešku.

Jedan signal namjerno nije na popisu: samopouzdanje samog modela. Jezični modeli mogu tečno iznositi netočne tvrdnje, što američki National Institute of Standards and Technology (NIST) u svojem profilu rizika generativne umjetne inteligencije naziva konfabulacijom (otvara vanjsku stranicu). Ocjena koju model sam iskaže može biti jedan od ulaza, ali mora stajati uz vanjske provjere, kao što su pravila validacije i usporedba s izvornim sustavom evidencije, i nikad ih ne smije zamijeniti.

04Odobrenje koje ljudi stvarno mogu dati

Niz upita „odobriti?” navikava ljude da odobravaju. Akt o umjetnoj inteligenciji izravno imenuje taj rizik: osobe koje nadziru visokorizični sustav moraju ostati svjesne automatizacijske pristranosti (automation bias).

Prema članku 14. stavku 4. točki (b) Uredbe (EU) 2024/1689 (otvara vanjsku stranicu) te osobe moraju moći „biti na oprezu u pogledu moguće tendencije automatskog ili pretjeranog oslanjanja na izlazne podatke visokorizičnog UI sustava (‚automatizacijska pristranost’)”. Navod je iz službenog hrvatskog teksta Uredbe na EUR-Lexu.

Četiri odluke u dizajnu tu svijest čine praktičnom.

Pokažite dokaze, a ne samo odgovor

Prikažite predloženu radnju jednostavnim riječima, izvore na koje se oslanja (s poveznicama koje se otvaraju na pravom odlomku), pravilo ili politiku koju je primijenila i što će se točno promijeniti u kojem sustavu. Osoba koja mora otvoriti tri aplikacije da bi provjerila prijedlog pod vremenskim će pritiskom prestati provjeravati.

Neka „ne” bude jednako lako kao „da”

Odbijanje i izmjena uobičajeni su ishodi, a ne iznimke. Stavite ih uz gumb za odobrenje, kod odbijanja tražite kratko obrazloženje i ta obrazloženja uključite u evaluaciju. Ako je izmjena prijedloga teža od pisanja iznova, ljudi će umjesto toga odobravati nesavršene prijedloge.

Odobrenje dajte ulozi koja ima ovlasti

Odobrenje pripada imenovanoj ulozi koja ima potrebne kompetencije, osposobljenost i ovlasti da odluči drukčije od sustava; za visokorizične AI sustave Akt o umjetnoj inteligenciji upravo to traži od subjekata koji uvode sustav (članak 26. stavak 2. (otvara vanjsku stranicu)). Odredite zamjenika i put eskalacije te mjerite koliko dugo stavke čekaju. Red čekanja koji nitko ne vodi postaje usko grlo koje timove tjera da zaobiđu točku odobrenja.

Grupno pregledavajte samo ono što je stvarno niskog rizika

Pregledavanje četrdeset gotovo jednakih stavki jednu po jednu nikoga ne čini pažljivijim. Za radnje razine 2 dopustite grupni pregled uz nasumično uzorkovanje. Stavke razina 3 i 4 pregledavajte pojedinačno.

05Točku odobrenja provodite u sustavu, a ne u uputama modelu

Uputa modelu nije kontrola pristupa. Tekst koji agent čita, primjerice e-poruka, dokument ili web-stranica, može sadržavati vlastite upute, što OWASP opisuje kao ubacivanje uputa (otvara vanjsku stranicu) (prompt injection). Ako između agenta i nepovratne radnje stoji samo rečenica u njegovim uputama, računajte s tim da će je jednoga dana nešto nadjačati.

• Dajte agentu vlastiti identitet s najmanjim ovlastima koje svaki alat treba i neka djeluje u okviru prava korisnika koji je postavio zahtjev, gdje platforma to podržava.
• Odobrenja provodite u integracijskom sloju: servis koji šalje dopis odbija poziv ako za tu točno određenu radnju ne postoji valjan zapis o odobrenju.
• Alatima postavite ograničenja vrijednosti, količine i učestalosti, neovisno o agentu.
• Alate za čitanje i alate za pisanje držite odvojeno, kako biste mogli proširiti ono što agent smije vidjeti bez proširivanja onoga što smije učiniti.

06Bilježite ono što ćete kasnije morati objasniti

Za svako pokretanje agenta čuvajte zahtjev, pronađene izvore, svaki poziv alata s parametrima, predloženu radnju, osobu koja je odobrila, odluku, eventualne izmjene i vremenske oznake. Za visokorizične AI sustave subjekti koji uvode sustav moraju automatski generirane zapise čuvati najmanje šest mjeseci, osim ako je drugim propisima određeno drukčije (članak 26. stavak 6. (otvara vanjsku stranicu)). Ako vas nijedno pravilo na to ne obvezuje, čuvajte ih svejedno: iz zapisa učite.

Zapise pregledavajte u stalnom ritmu. Radnje koje se uvijek odobravaju bez izmjena kandidati su za nižu razinu. Radnje koje se često mijenjaju upućuju na slabost agenta ili pripadaju razini više. Odbijanja koja se gomilaju oko jednog izvora, jednog obrasca ili jednog tima obično otkrivaju problem u procesu koji nijedan model neće riješiti.

07Počnite usko, a zatim radnje spuštajte za razinu niže

Sustav pokrenite tako da je većina radnji s ozbiljnim posljedicama na razinama 3 i 4. Unaprijed dogovorite što znači dobar rezultat: koji se ishodi smatraju ispravnima, koje su pogreške prihvatljive, a koje nisu. Zatim mjerite prema tim kriterijima, primjerice uz funkcije mjerenja iz NIST-ova okvira za upravljanje rizicima umjetne inteligencije (otvara vanjsku stranicu) kao kontrolni popis.

Radnju premjestite u blažu razinu samo na temelju dokaza: razdoblja u kojem odobrenja nisu trebala bitne izmjene, testova na slučajevima koji su pošli po zlu i suglasnosti vlasnika procesa. Tu odluku zabilježite kao svaku drugu promjenu sustava i zadržite mogućnost da je vratite.

Rezultat umjetne inteligencije može biti pogrešan. To nije razlog da agente držite podalje od stvarnog posla; to je razlog da osmislite gdje ljudi zadržavaju kontrolu. Agenti su korisni jer mogu djelovati. Promišljeno postavljene točke odobrenja omogućuju vam da im s vremenom povjerite više.