Quan els agents d’IA necessiten aprovació humana

01Els agents actuen, i la pregunta canvia

Un assistent conversacional redacta un text i una persona decideix què en fa. Un agent va més enllà: crida eines. Actualitza un registre, reserva una cita, encamina un expedient, envia un missatge o prepara un pagament. Quan el programari executa accions, la pregunta útil ja no és només «és bona aquesta resposta?», sinó «qui respon d’aquesta acció, i quan hi va donar el vistiplau?».

La comunitat de seguretat té un nom per a l’error. La llista OWASP Top 10 per a aplicacions de models de llenguatge inclou l’agència excessiva (obre un lloc web extern) entre els riscos principals: un agent amb més funcions, més permisos o més autonomia dels que necessita la tasca. L’aprovació humana és un dels controls. Si s’aplica a tot, alenteix la feina i acostuma les persones a clicar «aprovar». Si no s’aplica enlloc, queden accions que ningú no ha decidit. La feina és situar-la bé.

02Comenceu per les accions, no pel model

Feu un inventari de totes les eines que l’agent pot cridar. Per a cadascuna, responeu quatre preguntes. Tracten expressament de l’acció i del seu efecte, no del model.

1. 01Es pot desfer? I amb quin cost: un clic, una carta de rectificació, un reemborsament, un litigi?
2. 02A qui afecta? Un esborrany intern, un company de feina, un client o un ciutadà, diners, un tercer?
3. 03Crea un compromís o un efecte jurídic? Una resolució sobre una persona, un pagament, un contracte, un missatge enviat en nom de la vostra organització.
4. 04Amb quina freqüència i a quina velocitat? Una acció que es repeteix milers de vegades al dia necessita un control diferent d’una que passa dues vegades per setmana.

Les respostes situen cada acció en un de quatre nivells. La majoria d’organitzacions descobreixen que un grapat d’accions concentra gairebé tot el risc, i és una bona notícia: és allà on cal posar l’esforç d’aprovació.

Dos exemples il·lustratius. Un consell comarcal que fa servir un agent per preparar els expedients de sol·licituds de subvenció pot deixar al nivell 1 la lectura i el resum de la documentació, al nivell 2 l’assignació interna de l’expedient i la llista de documents que falten i al nivell 4 la resolució, que continua sent del personal tècnic. Un distribuïdor que rep factures de proveïdors, estructurades a partir del 2027 o el 2028 amb la factura electrònica obligatòria, pot deixar que l’agent les casi amb la comanda i l’albarà, i reservar al nivell 3 les que superen un import.

Els nivells són un recurs de disseny, no una classificació jurídica. Contrasteu-los amb les normes que us són aplicables. L’RGPD dona a les persones drets específics davant les decisions basades únicament en el tractament automatitzat (obre un lloc web extern) que produeixen efectes jurídics o que les afecten significativament de manera similar (article 22). Per als sistemes d’alt risc, el Reglament d’intel·ligència artificial (RIA) exigeix que les persones els puguin supervisar de manera efectiva (obre un lloc web extern) (article 14). El nivell 4 és on solen recaure aquestes obligacions.

03Senyals que sempre han d’arribar a una persona

Algunes situacions han de pujar una acció de nivell, sigui quin sigui el seu lloc habitual. Programeu-les com a comprovacions explícites del flux de treball, perquè no depenguin del fet que l’agent se n’adoni.

• L’entrada és fora del que s’ha provat amb l’agent: un tipus de document nou, una llengua inusual, camps que falten o es contradiuen.
• Les fonts que l’agent ha recuperat es contradiuen, o l’acció proposada es basa en alguna cosa que no pot citar.
• L’import, l’abast o el nombre de registres afectats supera un llindar que heu fixat.
• El cas toca una categoria sensible: dades de salut, menors, una queixa, un litigi o un recurs en curs.
• L’agent ja ha fet reintents, o un sistema posterior ha retornat un error.

A la llista hi falta un senyal a propòsit: la confiança del mateix model. Els models de llenguatge poden afirmar coses errònies amb tota fluïdesa, cosa que l’Institut Nacional d’Estàndards i Tecnologia dels Estats Units (NIST) anomena confabulació (obre un lloc web extern) en el seu perfil de riscos de la IA generativa. Una puntuació autodeclarada pot ser una dada més, però ha d’anar al costat de comprovacions externes, com regles de validació i la comparació amb el sistema de referència, i no les ha de substituir mai.

04Dissenyar una aprovació que les persones puguin donar de debò

Una sèrie de preguntes «aprovar?» ensenya les persones a aprovar. El RIA anomena el risc directament: les persones que supervisen un sistema d’alt risc han de poder ser conscients del biaix d’automatització.

Quatre decisions de disseny fan possible aquesta consciència a la pràctica.

Mostreu l’evidència, no només la resposta

Presenteu l’acció proposada en paraules planeres, les fonts en què es basa (amb enllaços que s’obren al passatge exacte), la regla o la política que aplica i què canviarà exactament i en quin sistema. Qui ha d’obrir tres aplicacions per comprovar una proposta, amb pressa, deixarà de comprovar.

Feu que el «no» sigui tan fàcil com el «sí»

Rebutjar i editar són resultats normals, no excepcions. Poseu-los al costat d’aprovar, demaneu un motiu breu quan algú rebutja i feu servir aquests motius en l’avaluació. Si editar una proposta costa més que escriure-la de zero, les persones aprovaran propostes imperfectes.

Doneu l’aprovació a un rol amb autoritat

L’aprovació correspon a un rol designat amb la competència, la formació i l’autoritat per contradir el sistema; per als sistemes d’IA d’alt risc, el RIA demana exactament això als responsables del desplegament (article 26, apartat 2 (obre un lloc web extern)). Preveieu una persona suplent i una via d’escalada, i mesureu quant de temps esperen les propostes. Una cua que no té ningú responsable es converteix en el coll d’ampolla que empeny els equips a saltar-se el punt d’aprovació.

Agrupeu només el que és realment de baix risc

Revisar quaranta elements gairebé idèntics un per un no fa ningú més acurat. Per a les accions de nivell 2, permeteu la revisió en bloc amb un mostreig aleatori. Mantingueu individuals les dels nivells 3 i 4.

05Feu complir el punt d’aprovació al sistema, no a les instruccions

Una instrucció en un prompt no és un control d’accés. El text que llegeix l’agent, com un correu electrònic, un document o una pàgina web, pot contenir instruccions pròpies, cosa que OWASP descriu com a injecció de prompts (obre un lloc web extern). Si l’únic que separa un agent d’una acció irreversible és una frase de les seves instruccions, compteu que algun dia aquesta frase quedarà anul·lada.

• Doneu a l’agent una identitat pròpia amb els privilegis mínims que necessita cada eina, i feu-lo actuar dins dels drets de la persona que fa la petició quan la plataforma ho permeti.
• Feu complir les aprovacions a la capa d’integració: el servei que envia la notificació rebutja la crida si no hi ha un registre d’aprovació vàlid per a aquella acció concreta.
• Poseu límits d’import, de volum i de freqüència a les eines, independents de l’agent.
• Separeu les eines de lectura de les d’escriptura, de manera que pugueu ampliar el que l’agent pot veure sense ampliar el que pot fer.

06Registreu el que necessitareu explicar més endavant

De cada execució de l’agent, conserveu la petició, les fonts recuperades, cada crida a una eina amb els seus paràmetres, l’acció proposada, qui l’ha aprovada, la decisió, les edicions i les hores. Per als sistemes d’IA d’alt risc, els responsables del desplegament han de conservar els registres generats automàticament com a mínim sis mesos, tret que una altra norma disposi una altra cosa (article 26, apartat 6 (obre un lloc web extern)). On cap norma no ho exigeixi, conserveu-los igualment: el registre és la manera d’aprendre.

Reviseu els registres amb una periodicitat fixa. Les accions que sempre s’aproven sense canvis són candidates a baixar de nivell. Les que s’editen sovint apunten a una feblesa de l’agent o han d’anar un nivell més amunt. Els rebuigs que es concentren en una font, un formulari o un equip solen revelar un problema de procés que cap model no resoldrà.

07Comenceu de manera acotada i després baixeu accions de nivell

Poseu en marxa l’agent amb la majoria de les accions amb conseqüències als nivells 3 i 4. Acordeu abans què vol dir que funcioni bé: quins resultats es consideren correctes, quins errors són acceptables i quins no. Després mesureu-ho amb aquests criteris, per exemple amb les funcions de mesura del Marc de gestió de riscos d’IA del NIST (obre un lloc web extern) com a llista de comprovació.

Passeu una acció a un nivell més lleuger només amb evidència: un període en què les aprovacions no han necessitat edicions rellevants, proves amb els casos que van sortir malament i el vistiplau de la persona responsable del procés. Documenteu aquesta decisió com qualsevol altre canvi del sistema, i conserveu la possibilitat de tornar enrere.

Els resultats de la IA poden ser erronis. Això no és un motiu per mantenir els agents lluny de la feina real; és el motiu per dissenyar on les persones mantenen el control. Els agents són útils perquè poden actuar. Situar els punts d’aprovació amb criteri és el que permet confiar-los més feina amb el temps.