Var en AI-agent behöver en människas godkännande

01När agenten agerar blir frågan en annan

En chattassistent formulerar text, och det är en person som bestämmer vad texten används till. En agent tar ett steg till och anropar verktyg: den ändrar en post i ett register, reserverar en tid, skickar ett ärende till rätt enhet, sänder ett meddelande eller gör i ordning en betalning. Så snart programvaran själv utför något räcker det inte att fråga om svaret håller. Man måste också kunna säga vem som står för åtgärden och när den personen gav sitt samtycke.

Inom säkerhetsområdet har felet ett eget namn. OWASP räknar överdriven handlingsfrihet (öppnar en extern webbplats) till de centrala riskerna i sin topp 10-lista för tillämpningar byggda på stora språkmodeller: agenten har fler funktioner, bredare behörigheter eller mer självständighet än uppgiften motiverar. Ett mänskligt godkännande är en av motåtgärderna. Kräver man det för allt blir arbetet långsamt och personalen vänjer sig vid att klicka igenom. Kräver man det aldrig utförs åtgärder som ingen egentligen har beslutat. Konsten är att sätta det på rätt ställen.

02Börja i åtgärderna, inte i modellen

Gör en lista över alla verktyg som agenten har tillgång till och ställ fyra frågor om vart och ett. Frågorna gäller avsiktligt vad åtgärden får för följder, inte hur modellen fungerar.

1. 01Kan den tas tillbaka? I så fall till vilken kostnad: ett klick, ett rättelsebrev, en återbetalning eller en process i domstol?
2. 02Vem påverkas? Ett internt utkast, en kollega, en kund eller kommuninvånare, pengar eller en utomstående part?
3. 03Uppstår ett åtagande eller en rättsverkan? Ett beslut som gäller en person, en betalning, ett avtal eller ett meddelande i organisationens namn.
4. 04Hur ofta, och i vilken takt? Det som händer tusentals gånger per dag kräver en annan kontroll än det som händer ett par gånger i veckan.

Med svaren hamnar varje åtgärd på en av fyra nivåer. Ofta visar det sig att en handfull åtgärder bär nästan all risk. Det är en god nyhet, för då vet man var granskningen gör nytta.

Nivåerna är ett hjälpmedel i designen och ingen juridisk indelning, så jämför dem med de regler som gäller i din organisation. Enligt artikel 22 i dataskyddsförordningen har den registrerade särskilda rättigheter när ett beslut grundas enbart på automatiserad behandling (öppnar en extern webbplats) och har rättsliga eller liknande betydande följder. AI-förordningen kräver i artikel 14 att AI-system med hög risk ska kunna kontrolleras effektivt av fysiska personer (öppnar en extern webbplats). Det är oftast på nivå 4 som de kraven landar.

03Signaler som alltid kräver en människa

I vissa lägen ska en åtgärd lyftas en nivå, oberoende av var den annars ligger. Lägg in signalerna som uttryckliga kontroller i flödet, så att det inte hänger på att agenten själv reagerar.

• Underlaget avviker från det agenten testats med: en ny typ av dokument, ett ovanligt språk, tomma eller motstridiga fält. Hit räknas också ett ärende som handläggs på svenska när agenten mest har prövats på finska, eller omvänt.
• Källorna som agenten hittat går isär, eller förslaget vilar på något som agenten inte kan peka ut en källa för.
• Belopp, omfattning eller antal berörda poster går över en gräns som organisationen har bestämt.
• Ärendet rör något känsligt: hälsouppgifter, barn och unga, ett klagomål, en tvist, en begäran om omprövning eller ett anhängigt besvär.
• Agenten har redan försökt flera gånger, eller ett annat system i kedjan har svarat med ett fel.

En signal har vi medvetet lämnat bort: modellens egen uppfattning om hur säker den är. Språkmodeller kan uttrycka felaktigheter i flytande text, något som amerikanska National Institute of Standards and Technology i sin riskprofil för generativ AI kallar konfabulering (öppnar en extern webbplats). Ett självskattat värde får gärna vara en signal bland andra, men det ska kompletteras av yttre kontroller, som valideringsregler och jämförelser mot registret, och aldrig ersätta dem.

04Godkännanden som går att ge på riktigt

Den som får fråga efter fråga om att godkänna lär sig snart att godkänna. AI-förordningen tar upp just den risken: personer som utövar mänsklig kontroll över ett AI-system med hög risk ska kunna vara på det klara med automationsbias.

Fyra val i designen gör det möjligt i praktiken.

Låt granskaren se underlaget

Beskriv den föreslagna åtgärden med vanliga ord och visa källorna den vilar på, med länkar som öppnar rätt avsnitt, den regel eller anvisning som använts och precis vad som ändras och var. Måste granskaren öppna tre program för att pröva ett förslag upphör granskningen när det är bråttom. Visa också underlaget på ärendets handläggningsspråk, så att den som godkänner kan läsa det som beslutet vilar på.

Ett nej ska kosta lika lite som ett ja

Att förkasta eller ändra ett förslag är vanliga utfall, inga avvikelser. Placera knapparna för dem intill godkännandet, be om en kort motivering vid ett nej och låt motiveringarna gå in i utvärderingen. Om det tar längre tid att rätta ett förslag än att skriva ett nytt kommer folk att godkänna halvbra förslag.

Godkännandet hör till en roll med befogenhet

Den som godkänner ska ha en utsedd roll och den kompetens, utbildning och befogenhet som behövs för att säga emot systemet. För AI-system med hög risk är det precis vad AI-förordningen kräver av tillhandahållaren (artikel 26.2 (öppnar en extern webbplats)). I förvaltningen fattas beslutet av en tjänsteinnehavare. Utse en ställföreträdare och en eskaleringsväg, och följ upp väntetiderna. En kö utan ägare blir snabbt den flaskhals som lockar teamen att kringgå kontrollpunkten.

Massgranskning bara när risken verkligen är låg

Fyrtio nästan likadana poster blir inte noggrannare granskade av att de tas en i taget. På nivå 2 kan granskningen ske i omgångar med stickprov. På nivå 3 och 4 granskas varje åtgärd för sig.

05Kontrollpunkten sitter i systemet, inte i prompten

Instruktioner i en prompt fungerar inte som behörighetsstyrning. Allt agenten läser, ett e-postmeddelande, ett dokument eller en webbsida, kan bära egna instruktioner, något OWASP beskriver som promptinjektion (öppnar en extern webbplats). Står det bara en mening i instruktionerna mellan agenten och en åtgärd som inte kan göras ogjord, räkna med att meningen förr eller senare körs över.

• Agenten får en egen identitet med så små behörigheter som varje verktyg tillåter, och arbetar inom den begärande användarens rättigheter när plattformen klarar det.
• Godkännandena kontrolleras i integrationsskiktet: tjänsten som skickar brevet avvisar anropet om det saknas ett giltigt godkännande för just den åtgärden.
• Verktygen får egna gränser för belopp, volym och takt, oberoende av agenten.
• Läsande och skrivande verktyg hålls isär, så att agenten kan få se mer utan att få göra mer.

06Logga det du senare måste kunna förklara

Spara vid varje körning ärendet, de hämtade källorna, varje verktygsanrop och dess parametrar, förslaget, godkännaren, beslutet, eventuella ändringar och tidpunkterna. Tillhandahållare av AI-system med hög risk ska bevara de automatiskt genererade loggarna minst sex månader, om inget annat följer av annan lagstiftning (artikel 26.6 (öppnar en extern webbplats)). Spara dem även där inget krav finns: det är i loggen du ser vad som behöver bli bättre.

Läs loggarna regelbundet. Det som alltid godkänns utan ändringar kan vara moget för en lägre nivå. Det som ofta ändras tyder på en brist hos agenten, eller på att åtgärden borde ligga en nivå högre. Avvisningar som hopar sig kring en viss källa, blankett eller enhet visar oftast ett problem i processen som ingen modell kan rätta till.

07Börja försiktigt och sänk nivån stegvis

Lägg de flesta åtgärder med betydande följder på nivå 3 och 4 när systemet tas i bruk. Bestäm i förväg vad som räknas som ett gott resultat, vilka fel som kan godtas och vilka som inte kan det. Mät därefter mot kriterierna, gärna med mätfunktionerna i NIST:s ramverk för hantering av AI-risker (öppnar en extern webbplats) som checklista.

Sänk nivån för en åtgärd först när det finns belägg: en period utan väsentliga ändringar vid godkännandet, tester av de fall som gick snett och klartecken från processägaren. Behandla beslutet som vilken systemändring som helst och håll vägen öppen för att höja nivån igen.

Det AI producerar kan vara fel. Det talar inte för att hålla agenter borta från det riktiga arbetet, utan för att medvetet bestämma var människor behåller kontrollen. En agent är nyttig just för att den kan handla. Väl placerade kontrollpunkter är vad som gör det möjligt att låta den ta över mer med tiden.