Waar AI-agents menselijke goedkeuring nodig hebben

01Agents handelen, dus de vraag verandert

Een chatassistent schrijft tekst en een mens beslist wat ermee gebeurt. Een agent gaat verder: hij roept tools aan. Hij werkt een record bij, boekt een tijdslot, wijst een dossier toe, verstuurt een bericht of bereidt een betaling voor. Zodra software acties uitvoert, is de nuttige vraag niet langer alleen ‘is dit antwoord goed?’, maar ook ‘wie is verantwoordelijk voor deze actie, en wanneer heeft die ermee ingestemd?’

De securitywereld heeft een naam voor wat hier misgaat. De OWASP Top 10 voor toepassingen met grote taalmodellen noemt excessive agency (opent een externe website), te veel handelingsruimte, als kernrisico: een agent met meer functionaliteit, meer rechten of meer autonomie dan zijn taak vereist. Menselijke goedkeuring is een van de beheersmaatregelen. Overal toegepast, vertraagt ze het werk en leert ze mensen op ‘goedkeuren’ te klikken. Nergens toegepast, blijven er acties over waarover niemand heeft beslist. Het werk zit in de juiste plaatsing.

02Begin bij de acties, niet bij het model

Inventariseer elke tool die de agent kan aanroepen. Beantwoord per tool vier vragen. Ze gaan bewust over de actie en het effect ervan, niet over het model.

1. 01Kan de actie ongedaan worden gemaakt? En tegen welke prijs: een klik, een rechtzettingsbrief, een terugbetaling, een rechtszaak?
2. 02Wie wordt geraakt? Een interne versie, een collega, een klant of burger, geld, een derde partij?
3. 03Ontstaat er een verplichting of een rechtsgevolg? Een beslissing over een persoon, een betaling, een contract, een bericht namens uw organisatie.
4. 04Hoe vaak en hoe snel? Een actie die duizenden keren per dag gebeurt, vraagt een andere controle dan een actie die twee keer per week voorkomt.

De antwoorden plaatsen elke actie op een van vier niveaus. De meeste organisaties merken dat een handvol acties bijna al het risico draagt. Dat is goed nieuws: daar hoort de inspanning voor goedkeuring thuis.

De niveaus zijn een ontwerphulpmiddel, geen juridische indeling. Toets ze aan de regels die voor u gelden. De AVG geeft mensen specifieke rechten bij besluiten die uitsluitend op geautomatiseerde verwerking zijn gebaseerd (opent een externe website) en die rechtsgevolgen hebben of hen anderszins in aanzienlijke mate treffen (artikel 22). Voor AI-systemen met een hoog risico eist de AI-verordening dat mensen er doeltreffend toezicht op kunnen houden (opent een externe website) (artikel 14). Niveau 4 is meestal waar die verplichtingen terechtkomen.

03Signalen die altijd bij een mens moeten uitkomen

Sommige situaties horen een actie een niveau hoger te tillen, ongeacht haar gebruikelijke plaats. Bouw ze in als expliciete controles in de workflow, zodat ze niet afhangen van de vraag of de agent ze opmerkt.

• De input valt buiten wat met de agent is getest: een nieuw documenttype, een ongebruikelijke taal, ontbrekende of tegenstrijdige velden.
• De bronnen die de agent heeft opgehaald, spreken elkaar tegen, of de voorgestelde actie steunt op iets wat hij niet kan citeren.
• Het bedrag, de reikwijdte of het aantal geraakte records ligt boven een drempel die u vastlegt.
• Het dossier raakt aan een gevoelige categorie: gezondheidsgegevens, minderjarigen, een klacht, een geschil of een lopend beroep.
• De agent heeft al een nieuwe poging gedaan, of een achterliggend systeem gaf een foutmelding.

Eén signaal ontbreekt bewust in die lijst: de eigen zekerheid van het model. Taalmodellen kunnen onjuiste dingen vlot formuleren; het Amerikaanse National Institute of Standards and Technology noemt dat confabulatie (opent een externe website) in zijn risicoprofiel voor generatieve AI. Een score die het model zelf rapporteert, kan één input zijn, maar hoort naast externe controles te staan, zoals validatieregels en een vergelijking met het bronsysteem, en mag die nooit vervangen.

04Een goedkeuring ontwerpen die mensen echt kunnen geven

Een stroom van ‘goedkeuren?’-vragen leert mensen goedkeuren. De AI-verordening benoemt dat risico rechtstreeks: wie toezicht houdt op een AI-systeem met een hoog risico, moet zich bewust kunnen blijven van automation bias.

Vier ontwerpkeuzes maken dat bewustzijn praktisch.

Toon het bewijs, niet alleen het antwoord

Presenteer de voorgestelde actie in gewone taal, de bronnen waarop ze steunt (met links die op de juiste passage openen), de toegepaste regel of het toegepaste beleid en precies wat er in welk systeem verandert. Een beoordelaar die drie applicaties moet openen om een voorstel te controleren, stopt onder tijdsdruk met controleren.

Maak ‘nee’ even gemakkelijk als ‘ja’

Afwijzen en aanpassen zijn normale uitkomsten, geen uitzonderingen. Zet ze naast goedkeuren, vraag een korte reden bij een afwijzing en gebruik die redenen in de evaluatie. Is een voorstel aanpassen moeilijker dan het zelf opnieuw schrijven, dan keuren mensen onvolmaakte voorstellen toch goed.

Leg goedkeuring bij een rol met bevoegdheid

Goedkeuring hoort bij een benoemde rol met de bekwaamheid, opleiding en bevoegdheid om tegen het systeem in te gaan; voor AI-systemen met een hoog risico vraagt de AI-verordening precies dat van gebruiksverantwoordelijken (artikel 26, lid 2 (opent een externe website)). Wijs een vervanger en een escalatiepad aan, en meet hoe lang items wachten. Een wachtrij zonder eigenaar wordt de bottleneck die teams ertoe aanzet het goedkeuringsmoment te omzeilen.

Bundel alleen wat echt een laag risico heeft

Veertig bijna identieke items een voor een beoordelen maakt niemand zorgvuldiger. Sta voor acties van niveau 2 een gebundelde beoordeling met steekproeven toe. Houd items van niveau 3 en 4 individueel.

05Dwing goedkeuring af in het systeem, niet in de prompt

Een instructie in een prompt is geen toegangscontrole. Tekst die de agent leest, zoals een e-mail, een document of een webpagina, kan eigen instructies bevatten; OWASP beschrijft dat als prompt injection (opent een externe website). Als het enige wat tussen een agent en een onomkeerbare actie staat een zin in zijn instructies is, ga er dan van uit dat die zin ooit wordt omzeild.

• Geef de agent een eigen identiteit met de minimale rechten die elke tool nodig heeft, en laat hem binnen de rechten van de aanvragende gebruiker werken waar het platform dat ondersteunt.
• Dwing goedkeuringen af in de integratielaag: de dienst die de brief verstuurt, weigert de aanroep tenzij er een geldig goedkeuringsrecord bestaat voor precies die actie.
• Leg limieten op bedrag, volume en frequentie op tools, los van de agent.
• Houd lees- en schrijftools gescheiden, zodat u kunt verruimen wat de agent mag zien zonder te verruimen wat hij mag doen.

06Leg vast wat u later moet kunnen uitleggen

Bewaar voor elke run van de agent het verzoek, de opgehaalde bronnen, elke toolaanroep met zijn parameters, de voorgestelde actie, de goedkeurder, de beslissing, eventuele aanpassingen en de tijdstippen. Voor AI-systemen met een hoog risico moeten gebruiksverantwoordelijken de automatisch gegenereerde logs ten minste zes maanden bewaren, tenzij ander recht iets anders bepaalt (artikel 26, lid 6 (opent een externe website)). Waar geen regel het vereist, bewaar ze toch: uit de logs leert u het meest.

Bekijk de logs in een vast ritme. Acties die altijd ongewijzigd worden goedgekeurd, zijn kandidaten om een niveau te zakken. Acties die vaak worden aangepast, wijzen op een zwakte in de agent of horen een niveau hoger. Afwijzingen die zich rond één bron, één formulier of één team concentreren, wijzen meestal op een procesprobleem dat geen enkel model oplost.

07Begin smal en verplaats acties daarna een niveau omlaag

Plaats bij de start de meeste acties met gevolgen op niveau 3 en 4. Spreek vooraf af hoe goed eruitziet: welke uitkomsten als correct gelden, welke fouten aanvaardbaar zijn en welke niet. Meet daarna tegen die criteria, bijvoorbeeld met de meetfuncties van het NIST AI Risk Management Framework (opent een externe website) als checklist.

Verplaats een actie alleen met bewijs naar een lichter niveau: een periode waarin goedkeuringen geen wezenlijke aanpassingen nodig hadden, tests op de gevallen die fout gingen, en akkoord van de proceseigenaar. Leg die beslissing vast zoals elke andere wijziging aan het systeem, en houd de mogelijkheid open om ze terug te draaien.

AI-output kan fout zijn. Dat is geen reden om agents weg te houden van echt werk; het is de reden om te ontwerpen waar mensen de controle houden. Agents zijn nuttig omdat ze kunnen handelen. Door goedkeuringsmomenten bewust te plaatsen, kunt u ze na verloop van tijd meer laten doen.