När AI-agenter behöver mänskligt godkännande

01Agenter agerar, och då ändras frågan

En chattassistent skriver ett utkast, och en människa bestämmer vad som ska hända med det. En agent går längre: den anropar verktyg. Den uppdaterar en post, bokar en tid, fördelar ett ärende, skickar ett meddelande eller förbereder en betalning. När programvaran utför åtgärder är den användbara frågan inte längre bara ”är svaret bra?” utan ”vem ansvarar för åtgärden, och när gick den personen med på den?”

Säkerhetsområdet har ett namn för när det blir fel. OWASP:s topp 10 för applikationer med stora språkmodeller räknar överdriven handlingsfrihet (öppnar en extern webbplats) (excessive agency) som en central risk: en agent med mer funktionalitet, fler behörigheter eller mer självständighet än uppgiften kräver. Mänskligt godkännande är en av kontrollerna. Används det överallt bromsar det arbetet och lär människor att klicka ”godkänn”. Används det ingenstans står du med åtgärder som ingen har beslutat om. Arbetet ligger i att placera det rätt.

02Utgå från åtgärderna, inte från modellen

Gör en förteckning över alla verktyg som agenten kan anropa. Besvara fyra frågor för vart och ett. De handlar medvetet om åtgärden och dess effekt, inte om modellen.

1. 01Går den att ångra? Och till vilken kostnad: ett klick, ett rättelsebrev, en återbetalning, en process i domstol?
2. 02Vem påverkas? Ett internt utkast, en kollega, en kund eller invånare, pengar, en tredje part?
3. 03Skapar den ett åtagande eller en rättsverkan? Ett beslut om en person, en betalning, ett avtal, ett meddelande i organisationens namn.
4. 04Hur ofta och hur snabbt? En åtgärd som sker tusentals gånger om dagen behöver en annan kontroll än en som sker två gånger i veckan.

Svaren placerar varje åtgärd på en av fyra nivåer. Tänk på en kommun där en agent förhandsgranskar ansökningar om föreningsbidrag, eller en grossist där agenten matchar inkommande e-fakturor mot beställningar. De flesta organisationer upptäcker att en handfull åtgärder bär nästan hela risken. Det är goda nyheter: där hör arbetet med godkännanden hemma.

Nivåerna är ett designverktyg, inte en juridisk klassificering. Stäm av dem mot de regler som gäller för dig. Dataskyddsförordningen (GDPR) ger människor särskilda rättigheter vid beslut som enbart grundas på automatiserad behandling (öppnar en extern webbplats) och som har rättsliga följder eller på liknande sätt påverkar dem i betydande grad (artikel 22). För AI-system med hög risk kräver AI-förordningen att fysiska personer på ett effektivt sätt kan utöva kontroll över dem (öppnar en extern webbplats) (artikel 14). Nivå 4 är där de skyldigheterna oftast hamnar.

03Signaler som alltid ska nå en människa

Vissa situationer ska flytta en åtgärd uppåt en nivå, oavsett var den brukar ligga. Bygg in dem som uttryckliga kontroller i arbetsflödet, så att de inte hänger på att agenten själv lägger märke till dem.

• Indata ligger utanför det som agenten har testats på: en ny dokumenttyp, ett ovanligt språk, fält som saknas eller motsäger varandra.
• Källorna som agenten hämtade går isär, eller den föreslagna åtgärden bygger på något som den inte kan hänvisa till.
• Beloppet, omfattningen eller antalet berörda poster ligger över en gräns som du har satt.
• Ärendet rör en känslig kategori: hälsouppgifter, barn, ett klagomål, en tvist eller ett pågående överklagande.
• Agenten har redan försökt igen, eller ett system längre fram i kedjan har returnerat ett fel.

En signal saknas medvetet i listan: modellens egen säkerhet. Språkmodeller kan formulera felaktigheter flytande, vilket amerikanska National Institute of Standards and Technology beskriver som konfabulering (öppnar en extern webbplats) i sin riskprofil för generativ AI. Ett självrapporterat värde kan vara en indata, men det ska stå bredvid externa kontroller, som valideringsregler och en jämförelse med verksamhetssystemet, och aldrig ersätta dem.

04Ett godkännande som människor faktiskt kan ge

En ström av frågor om ”godkänn?” lär människor att godkänna. AI-förordningen pekar ut risken direkt: de som utövar kontroll över ett system med hög risk ska kunna vara medvetna om automationsbias.

Fyra designval gör den medvetenheten praktisk.

Visa underlaget, inte bara svaret

Visa den föreslagna åtgärden i klartext, de källor den bygger på (med länkar som öppnas vid rätt avsnitt), den regel eller riktlinje som tillämpades och exakt vad som ändras i vilket system. En granskare som måste öppna tre program för att kontrollera ett förslag slutar kontrollera när tiden är knapp.

Gör ”nej” lika lätt som ”ja”

Att avvisa och ändra är normala utfall, inte undantag. Placera dem bredvid godkänn, be om en kort motivering när någon avvisar, och använd motiveringarna i utvärderingen. Om det är krångligare att ändra ett förslag än att skriva det från början kommer människor att godkänna ofullständiga förslag i stället.

Ge godkännandet till en roll med befogenhet

Godkännandet hör till en namngiven roll med kompetens, utbildning och befogenhet att gå emot systemet; för AI-system med hög risk kräver AI-förordningen just detta av tillhandahållarna (artikel 26.2 (öppnar en extern webbplats)). I en svensk organisation finns ofta redan en sådan roll, som handläggaren med delegation eller attestanten. Utse en ersättare och en väg för eskalering, och mät hur länge ärenden väntar. En kö som ingen äger blir flaskhalsen som får teamen att gå förbi kontrollpunkten.

Granska i klump bara det som verkligen har låg risk

Att granska fyrtio nästan likadana poster en i taget gör ingen mer noggrann. För åtgärder på nivå 2 kan du tillåta granskning i klump med stickprov. Behåll enskild granskning för nivå 3 och nivå 4.

05Upprätthåll kontrollpunkten i systemet, inte i prompten

En instruktion i en prompt är ingen behörighetskontroll. Text som agenten läser, som ett mejl, ett dokument eller en webbsida, kan innehålla egna instruktioner, vilket OWASP beskriver som promptinjektion (öppnar en extern webbplats). Om det enda som står mellan en agent och en oåterkallelig åtgärd är en mening i dess instruktioner, utgå från att meningen en dag kommer att köras över.

• Ge agenten en egen identitet med de minsta behörigheter som varje verktyg kräver, och låt den agera inom den begärande användarens rättigheter där plattformen stöder det.
• Upprätthåll godkännanden i integrationslagret: tjänsten som skickar brevet avvisar anropet om det inte finns ett giltigt godkännande för just den åtgärden.
• Sätt gränser för belopp, volym och frekvens på verktygen, oberoende av agenten.
• Håll verktyg för läsning och skrivning åtskilda, så att du kan vidga vad agenten får se utan att vidga vad den får göra.

06Logga det du behöver för att kunna förklara i efterhand

Spara för varje körning begäran, de hämtade källorna, varje verktygsanrop med parametrar, den föreslagna åtgärden, den som godkände, beslutet, eventuella ändringar och tidsstämplarna. För AI-system med hög risk ska tillhandahållarna spara de automatiskt genererade loggarna i minst sex månader, om inte annan lag säger något annat (artikel 26.6 (öppnar en extern webbplats)). Där ingen regel kräver det, spara dem ändå: loggen är hur du lär dig.

Gå igenom loggarna med fast rytm. Åtgärder som alltid godkänns oförändrade är kandidater för en lägre nivå. Åtgärder som ofta ändras pekar på en svaghet hos agenten eller hör hemma en nivå högre. Avvisningar som samlas kring en källa, ett formulär eller ett team avslöjar oftast ett processproblem som ingen modell löser.

07Börja smalt och flytta sedan åtgärder nedåt

Börja med de flesta åtgärder som har konsekvenser på nivå 3 och 4. Kom i förväg överens om vad som är bra: vilka utfall som räknas som korrekta, vilka fel som är acceptabla och vilka som inte är det. Mät sedan mot de kriterierna, till exempel med mätfunktionerna i NIST AI Risk Management Framework (öppnar en extern webbplats) som checklista.

Flytta en åtgärd till en lättare nivå bara med underlag: en period då godkännandena inte krävde några väsentliga ändringar, tester på de fall som gick fel och ett klartecken från processägaren. Dokumentera det beslutet som varje annan ändring i systemet, och behåll möjligheten att flytta tillbaka den.

AI kan ha fel. Det är inget skäl att hålla agenter borta från verkligt arbete; det är skälet att utforma var människor behåller kontrollen. Agenter är användbara för att de kan agera. Genom att placera kontrollpunkterna medvetet kan du ge dem mer att göra med tiden.