Hvornår AI-agenter skal have menneskelig godkendelse

01Agenter handler, og så ændrer spørgsmålet sig

En chatassistent skriver et udkast, og en person beslutter hvad der skal ske med det. En agent går videre: den kalder værktøjer. Den opdaterer en post, booker en tid, fordeler en sag, sender en besked eller forbereder en betaling. Når software udfører handlinger, er det nyttige spørgsmål ikke længere kun »er svaret godt?«, men »hvem står til ansvar for handlingen, og hvornår sagde de ja til den?«

Sikkerhedsmiljøet har et navn for at gøre det forkert. OWASP Top 10 for applikationer med store sprogmodeller nævner overdreven handlefrihed (åbner et eksternt websted) (excessive agency) som en central risiko: en agent med flere funktioner, flere rettigheder eller mere selvstændighed end opgaven kræver. Menneskelig godkendelse er en af kontrollerne. Bruger du den overalt, går arbejdet langsomt, og folk lærer at trykke »godkend«. Bruger du den ingen steder, står du med handlinger som ingen har besluttet. Arbejdet ligger i at placere den rigtigt.

02Start med handlingerne, ikke med modellen

Lav en oversigt over alle de værktøjer agenten kan kalde. Besvar fire spørgsmål for hvert af dem. De handler bevidst om handlingen og dens virkning, ikke om modellen.

1. 01Kan handlingen gøres om? Og hvad koster det: et klik, et rettelsesbrev, en tilbagebetaling, en klagesag?
2. 02Hvem bliver berørt? Et internt udkast, en kollega, en kunde eller borger, penge, en tredjepart?
3. 03Skaber handlingen en forpligtelse eller en retsvirkning? En afgørelse om en person, en betaling, en kontrakt, en besked sendt i organisationens navn.
4. 04Hvor ofte og hvor hurtigt? En handling der sker tusindvis af gange om dagen, kræver en anden kontrol end en der sker to gange om ugen.

Svarene placerer hver handling på et af fire niveauer. De fleste organisationer opdager at en håndfuld handlinger bærer næsten hele risikoen. Det er godt nyt, for det er dér godkendelsesindsatsen hører hjemme.

Niveauerne er et designværktøj, ikke en juridisk klassifikation. Hold dem op mod de regler der gælder for dig. Databeskyttelsesforordningen (GDPR) giver personer særlige rettigheder ved afgørelser der alene er baseret på automatisk behandling (åbner et eksternt websted) og har retsvirkning eller på lignende måde betydelige følger (artikel 22). For højrisiko-AI-systemer kræver AI-forordningen at de kan overvåges effektivt af mennesker (åbner et eksternt websted) (artikel 14). Det er typisk på niveau 4 de forpligtelser lander.

03Signaler der altid skal nå frem til en person

Nogle situationer bør flytte en handling et niveau op, uanset hvor den normalt ligger. Byg dem ind som faste kontroller i arbejdsgangen, så de ikke afhænger af at agenten selv opdager dem.

• Input ligger uden for det agenten er testet på: en ny dokumenttype, et usædvanligt sprog, felter der mangler eller modsiger hinanden.
• De kilder agenten har fundet, modsiger hinanden, eller den foreslåede handling bygger på noget den ikke kan henvise til.
• Beløbet, omfanget eller antallet af berørte poster ligger over en grænse du har fastsat.
• Sagen berører en følsom kategori: helbredsoplysninger, børn og unge, en klage, en tvist eller en verserende klagesag.
• Agenten har allerede prøvet igen, eller et bagvedliggende system har returneret en fejl.

Et signal mangler bevidst på listen: modellens egen sikkerhed. Sprogmodeller kan sige forkerte ting flydende, hvad det amerikanske National Institute of Standards and Technology kalder konfabulation (åbner et eksternt websted) i sin risikoprofil for generativ AI. En score som modellen selv angiver, kan være ét input, men den skal stå ved siden af eksterne kontroller som valideringsregler og en sammenligning med det autoritative system, aldrig erstatte dem.

04En godkendelse som folk reelt kan give

En lind strøm af »godkend?« lærer folk at godkende. AI-forordningen nævner risikoen direkte: de personer der fører tilsyn med et højrisikosystem, skal kunne forblive opmærksomme på tendensen til automatisk at stole på eller i for høj grad læne sig op ad systemets output, den såkaldte automatiseringsbias (artikel 14, stk. 4, litra b (åbner et eksternt websted)).

Fire designvalg gør den opmærksomhed praktisk mulig.

Vis dokumentationen, ikke kun svaret

Vis den foreslåede handling i almindeligt sprog, de kilder den bygger på (med links der åbner det rette sted), den regel eller retningslinje den har anvendt, og præcis hvad der ændres i hvilket system. En sagsbehandler der skal åbne tre fagsystemer for at kontrollere et forslag, holder op med at kontrollere, når travlheden sætter ind.

Gør »nej« lige så let som »ja«

Afvis og ret er normale udfald, ikke undtagelser. Placér dem ved siden af godkend, bed om en kort begrundelse ved en afvisning, og brug begrundelserne i evalueringen. Er det sværere at rette et forslag end at skrive det forfra, godkender folk ufuldkomne forslag i stedet.

Giv godkendelsen til en rolle med myndighed

Godkendelsen hører til en navngiven rolle med den kompetence, uddannelse og myndighed der skal til for at tilsidesætte systemet. For højrisiko-AI-systemer kræver AI-forordningen netop det af idriftsætterne (artikel 26, stk. 2 (åbner et eksternt websted)). Udpeg en stedfortræder og en eskalationsvej, og mål hvor længe sager venter. En kø som ingen ejer, bliver den flaskehals der får teams til at gå uden om godkendelsen.

Saml kun det i bunker der reelt er lav risiko

Ingen bliver mere omhyggelig af at gennemgå fyrre næsten ens sager én ad gangen. For handlinger på niveau 2 kan du tillade samlet gennemgang med tilfældige stikprøver. Hold sager på niveau 3 og 4 enkeltvis.

05Håndhæv godkendelsen i systemet, ikke i prompten

En instruks i en prompt er ikke adgangskontrol. Tekst som agenten læser, for eksempel en e-mail, et dokument eller en webside, kan indeholde sine egne instrukser, det OWASP kalder prompt injection (åbner et eksternt websted). Hvis det eneste der står mellem en agent og en uigenkaldelig handling, er en sætning i dens instrukser, så gå ud fra at sætningen en dag bliver tilsidesat.

• Giv agenten sin egen identitet med de mindste rettigheder hvert værktøj kræver, og lad den handle inden for den anmodende brugers rettigheder, hvor platformen understøtter det.
• Håndhæv godkendelser i integrationslaget: den tjeneste der sender brevet, afviser kaldet, medmindre der findes en gyldig godkendelse af præcis den handling.
• Sæt grænser for beløb, mængde og hastighed på værktøjerne, uafhængigt af agenten.
• Hold værktøjer der læser, adskilt fra værktøjer der skriver, så du kan udvide hvad agenten må se, uden at udvide hvad den må gøre.

06Log det du senere skal kunne forklare

Gem for hver kørsel af agenten henvendelsen, de fundne kilder, hvert værktøjskald med parametre, den foreslåede handling, den der godkendte, beslutningen, eventuelle rettelser og tidspunkterne. For højrisiko-AI-systemer skal idriftsætterne opbevare de automatisk genererede logfiler i mindst seks måneder, medmindre anden lovgivning siger noget andet (artikel 26, stk. 6 (åbner et eksternt websted)). Gem dem også, hvor ingen regel kræver det: loggen er der hvor du lærer.

Gennemgå loggene med fast rytme. Handlinger der altid godkendes uændret, er kandidater til at rykke et niveau ned. Handlinger der ofte rettes, peger på en svaghed i agenten eller hører et niveau højere op. Afvisninger der samler sig om én kilde, én blanket eller ét team, afslører som regel et procesproblem som ingen model løser.

07Start snævert, og ryk så handlinger et niveau ned

Gå i drift med de fleste handlinger med konsekvens på niveau 3 og 4. Aftal på forhånd hvad godt ser ud: hvilke udfald der tæller som korrekte, hvilke fejl der kan accepteres, og hvilke der ikke kan. Mål derefter op mod de kriterier, for eksempel med målefunktionerne i NIST AI Risk Management Framework (åbner et eksternt websted) som tjekliste.

Flyt kun en handling til et lettere niveau på baggrund af dokumentation: en periode hvor godkendelserne ikke krævede væsentlige rettelser, test af de sager der gik galt, og accept fra den der ejer processen. Registrér den beslutning som enhver anden ændring af systemet, og bevar muligheden for at flytte handlingen tilbage.

AI-output kan være forkert. Det er ikke en grund til at holde agenter væk fra rigtigt arbejde. Det er grunden til at designe hvor mennesker bevarer kontrollen. Agenter er nyttige, fordi de kan handle. Når du placerer godkendelsestrinnene med omtanke, kan du give dem mere at lave over tid.