Unde au nevoie agenții IA de aprobare umană

01Agenții acționează, deci întrebarea se schimbă

Un asistent conversațional redactează un text, iar o persoană decide ce face cu el. Un agent merge mai departe: apelează instrumente. Actualizează o înregistrare, programează o întâlnire, direcționează un dosar, trimite un mesaj sau pregătește o plată. Din momentul în care software-ul execută acțiuni, întrebarea utilă nu mai este doar „este bun acest răspuns?”, ci „cine răspunde pentru această acțiune și când și-a dat acordul?”

Comunitatea de securitate are deja un nume pentru acest risc. Lista OWASP Top 10 pentru aplicațiile bazate pe modele lingvistice mari include autonomia excesivă („excessive agency”) (se deschide un site extern) printre riscurile principale: un agent cu mai multe funcții, mai multe permisiuni sau mai multă autonomie decât îi cere sarcina. Aprobarea umană este unul dintre controale. Folosită peste tot, încetinește munca și îi obișnuiește pe oameni să apese „aprobă”. Nefolosită deloc, lasă în urmă acțiuni pe care nu le-a decis nimeni. Partea grea este să o plasați corect.

02Porniți de la acțiuni, nu de la model

Faceți un inventar al tuturor instrumentelor pe care agentul le poate apela. Pentru fiecare, răspundeți la patru întrebări. Ele privesc intenționat acțiunea și efectul ei, nu modelul.

1. 01Poate fi anulată? Și cu ce cost: un clic, o adresă de rectificare, o restituire, un litigiu?
2. 02Pe cine afectează? O ciornă internă, un coleg, un client sau un cetățean, bani, o terță parte?
3. 03Creează un angajament sau un efect juridic? O decizie privind o persoană, o plată, un contract, un mesaj trimis în numele organizației dumneavoastră.
4. 04Cât de des și cât de repede? O acțiune care se repetă de mii de ori pe zi cere alt control decât una care apare de două ori pe săptămână.

Răspunsurile plasează fiecare acțiune pe unul dintre patru niveluri. Majoritatea organizațiilor descoperă că doar câteva acțiuni concentrează aproape tot riscul, ceea ce este o veste bună: acolo trebuie investit efortul de aprobare.

Nivelurile sunt un instrument de proiectare, nu o clasificare juridică. Verificați-le în raport cu regulile care vi se aplică. RGPD acordă persoanelor drepturi specifice în cazul deciziilor bazate exclusiv pe prelucrarea automată (se deschide un site extern) care produc efecte juridice sau efecte similare semnificative (articolul 22). Pentru sistemele de IA cu grad ridicat de risc, Regulamentul privind inteligența artificială cere ca acestea să poată fi supravegheate în mod eficace de persoane fizice (se deschide un site extern) (articolul 14). Nivelul 4 este, de regulă, locul în care se aplică aceste obligații.

03Semnale care trebuie să ajungă mereu la o persoană

Unele situații ar trebui să urce o acțiune pe un nivel superior, indiferent de locul ei obișnuit. Construiți-le ca verificări explicite în fluxul de lucru, astfel încât să nu depindă de faptul că agentul le observă.

• Datele de intrare depășesc cadrul în care a fost testat agentul: un tip nou de document, o limbă neobișnuită, câmpuri lipsă sau contradictorii.
• Sursele găsite de agent se contrazic sau acțiunea propusă se sprijină pe ceva ce agentul nu poate cita.
• Suma, aria de cuprindere sau numărul de înregistrări afectate depășește un prag stabilit de dumneavoastră.
• Dosarul atinge o categorie sensibilă: date privind sănătatea, minori, o reclamație, un litigiu sau o contestație în curs.
• Agentul a reîncercat deja sau un sistem din aval a returnat o eroare.

Un semnal lipsește intenționat din listă: încrederea declarată de model. Modelele lingvistice pot afirma lucruri greșite cu toată fluența, fenomen pe care Institutul Național de Standarde și Tehnologie al Statelor Unite (NIST) îl numește confabulație (se deschide un site extern) în profilul său de riscuri pentru IA generativă. Un scor raportat de model poate fi un element de intrare, dar trebuie să stea alături de verificări externe, precum reguli de validare și compararea cu sistemul de evidență, nu să le înlocuiască.

04O aprobare pe care oamenii o pot da cu adevărat

Un șir nesfârșit de întrebări „aprobați?” îi învață pe oameni să aprobe. Regulamentul privind inteligența artificială numește direct acest risc: persoanelor care supraveghează un sistem cu grad ridicat de risc trebuie să li se permită „să rămână conștiente de posibila tendință de a se baza în mod automat sau excesiv pe rezultatele obținute de un sistem de IA cu grad ridicat de risc (prejudecăți legate de automatizare)” (articolul 14 alineatul (4) litera (b) (se deschide un site extern)).

Patru decizii de proiectare fac această vigilență posibilă în practică.

Arătați dovezile, nu doar răspunsul

Prezentați acțiunea propusă în cuvinte simple, sursele pe care se sprijină (cu linkuri care se deschid la pasajul potrivit), regula sau politica aplicată și exact ce se va schimba și în ce sistem. Cine trebuie să deschidă trei aplicații pentru a verifica o propunere va înceta, sub presiunea timpului, să mai verifice.

Faceți ca „nu” să fie la fel de ușor ca „da”

Respingerea și modificarea sunt rezultate normale, nu excepții. Puneți-le lângă butonul de aprobare, cereți un motiv scurt la respingere și folosiți aceste motive în evaluare. Dacă modificarea unei propuneri este mai grea decât redactarea ei de la zero, oamenii vor aproba propuneri imperfecte.

Dați aprobarea unui rol cu autoritate

Aprobarea aparține unui rol desemnat, cu competența, pregătirea și autoritatea necesare pentru a contrazice sistemul; pentru sistemele de IA cu grad ridicat de risc, Regulamentul IA le cere exact acest lucru implementatorilor (articolul 26 alineatul (2) (se deschide un site extern)). Stabiliți un înlocuitor și o cale de escaladare și măsurați cât timp așteaptă fiecare element. O coadă pe care nu o deține nimeni devine blocajul care împinge echipele să ocolească punctul de aprobare.

Grupați doar ce are cu adevărat risc scăzut

Verificarea, una câte una, a patruzeci de elemente aproape identice nu face pe nimeni mai atent. Pentru acțiunile de nivel 2, permiteți verificarea în lot, cu eșantionare aleatorie. Elementele de nivel 3 și 4 rămân individuale.

05Impuneți aprobarea în sistem, nu în prompt

O instrucțiune dintr-un prompt nu este control al accesului. Textele pe care le citește agentul, cum ar fi un e-mail, un document sau o pagină web, pot conține propriile instrucțiuni, ceea ce OWASP descrie ca injectare de prompt („prompt injection”) (se deschide un site extern). Dacă singurul lucru dintre un agent și o acțiune ireversibilă este o propoziție din instrucțiunile sale, porniți de la ideea că acea propoziție va fi într-o zi ocolită.

• Dați agentului o identitate proprie, cu privilegiile minime de care are nevoie fiecare instrument, și lăsați-l să acționeze în limitele drepturilor utilizatorului care face solicitarea, acolo unde platforma permite.
• Impuneți aprobările în stratul de integrare: serviciul care trimite adresa refuză apelul dacă nu există o înregistrare de aprobare validă pentru exact acea acțiune.
• Puneți limite de valoare, de volum și de frecvență pe instrumente, independent de agent.
• Separați instrumentele de citire de cele de scriere, ca să puteți lărgi ce vede agentul fără să lărgiți ce are voie să facă.

06Înregistrați ce va trebui să explicați mai târziu

Pentru fiecare rulare a agentului, păstrați solicitarea, sursele găsite, fiecare apel de instrument cu parametrii lui, acțiunea propusă, persoana care a aprobat, decizia, eventualele modificări și momentele fiecărui pas. Pentru sistemele de IA cu grad ridicat de risc, implementatorii trebuie să păstreze jurnalele generate automat cel puțin șase luni, dacă alte norme nu prevăd altfel (articolul 26 alineatul (6) (se deschide un site extern)). Acolo unde nicio regulă nu o cere, păstrați-le oricum: jurnalul este modul în care învățați.

Analizați jurnalele la intervale fixe. Acțiunile aprobate mereu fără modificări sunt candidate pentru un nivel inferior. Acțiunile modificate des arată o slăbiciune a agentului sau aparțin unui nivel superior. Respingerile care se adună în jurul unei surse, al unui formular sau al unei echipe indică de obicei o problemă de proces pe care niciun model nu o rezolvă.

07Începeți restrâns, apoi coborâți acțiunile câte un nivel

Lansați cu acțiunile cele mai importante pe nivelurile 3 și 4. Stabiliți dinainte cum arată un rezultat bun: ce rezultate sunt corecte, ce erori sunt acceptabile și care nu. Apoi măsurați în raport cu aceste criterii, de exemplu folosind funcțiile de măsurare din Cadrul NIST de gestionare a riscurilor IA (se deschide un site extern) ca listă de verificare.

Mutați o acțiune pe un nivel mai ușor doar pe baza dovezilor: o perioadă în care aprobările nu au necesitat modificări semnificative, teste pe cazurile care au mers prost și acordul responsabilului de proces. Documentați această decizie ca pe orice altă modificare a sistemului și păstrați posibilitatea de a reveni.

Rezultatele IA pot fi greșite. Acesta nu este un motiv pentru a ține agenții departe de munca reală, ci motivul pentru care proiectați locurile în care controlul rămâne la oameni. Agenții sunt utili pentru că pot acționa. Plasarea deliberată a punctelor de aprobare este ceea ce vă permite să le încredințați, în timp, mai multă muncă.