Kur DI agentams reikia žmogaus patvirtinimo

01Agentai veikia, todėl keičiasi ir klausimas

Pokalbių asistentas parengia tekstą, o žmogus nusprendžia, ką su juo daryti. DI agentas eina toliau: jis naudoja įrankius. Jis atnaujina įrašą, rezervuoja laiką, nukreipia bylą, siunčia žinutę ar parengia mokėjimą. Kai programinė įranga atlieka veiksmus, nebeužtenka klausti, ar atsakymas geras. Reikia žinoti, kas atsako už šį veiksmą ir kada jam pritarė.

Saugumo specialistai šią klaidą jau įvardijo. OWASP didžiųjų kalbos modelių (LLM) taikomųjų programų rizikų dešimtuke perteklinis savarankiškumas (atidaroma išorinė svetainė) (angl. excessive agency) nurodomas kaip viena pagrindinių rizikų: agentas turi daugiau funkcijų, teisių ar savarankiškumo, nei reikia jo užduočiai. Žmogaus patvirtinimas yra viena iš kontrolės priemonių. Taikomas visur, jis lėtina darbą ir pripratina žmones spausti „patvirtinti“. Netaikomas niekur, jis palieka veiksmų, dėl kurių niekas nesprendė. Visa esmė yra jį tinkamai išdėstyti.

02Pradėkite nuo veiksmų, ne nuo modelio

Sudarykite visų įrankių, kuriuos agentas gali iškviesti, sąrašą. Kiekvienam atsakykite į keturis klausimus. Jie sąmoningai klausia apie veiksmą ir jo poveikį, o ne apie modelį.

1. 01Ar veiksmą galima atšaukti? Ir kokia kaina: vienu paspaudimu, patikslinančiu raštu, grąžinant pinigus, teisme?
2. 02Ką jis paliečia? Vidinį juodraštį, kolegą, klientą ar gyventoją, pinigus, trečiąją šalį?
3. 03Ar jis sukuria įsipareigojimą ar teisinių pasekmių? Sprendimas dėl asmens, mokėjimas, sutartis, žinutė, išsiųsta Jūsų organizacijos vardu.
4. 04Kaip dažnai ir kaip greitai? Veiksmui, kuris atliekamas tūkstančius kartų per dieną, reikia kitokios kontrolės nei veiksmui, atliekamam du kartus per savaitę.

Pagal atsakymus kiekvienas veiksmas patenka į vieną iš keturių pakopų. Daugelis organizacijų pastebi, kad beveik visą riziką lemia keli veiksmai. Tai gera žinia: būtent jiems ir verta skirti patvirtinimo pastangas.

Iliustracinis pavyzdys. Gyventojo prašymas su priedais patenka į savivaldybės administraciją. Agentas patikrina, ar pateikti visi dokumentai, ir parengia prašymo papildyti dokumentus juodraštį, kurį prieš išsiunčiant patvirtina specialistas (3 pakopa). Sprendimą dėl paties prašymo priima atsakingas specialistas, o agentas tik surenka faktus ir parengia sprendimo projektą (4 pakopa). Poliklinikoje vizito perkėlimas pagal aiškias taisykles gali būti 2 pakopos veiksmas: agentas perkelia vizitą, pacientas ir registratūra gauna pranešimą, o pakeitimą galima atšaukti.

Pakopos yra projektavimo priemonė, ne teisinė klasifikacija. Patikrinkite jas pagal Jums taikomas taisykles. BDAR suteikia asmenims konkrečių teisių, kai sprendimai grindžiami tik automatizuotu duomenų tvarkymu (atidaroma išorinė svetainė) ir sukelia teisinių ar panašiai reikšmingų pasekmių (22 straipsnis). Dirbtinio intelekto aktas reikalauja, kad didelės rizikos DI sistemas žmonės galėtų veiksmingai prižiūrėti (atidaroma išorinė svetainė) (14 straipsnis). Šios pareigos dažniausiai tenka 4 pakopai.

03Signalai, kurie visada turi pasiekti žmogų

Kai kuriais atvejais veiksmas turi pakilti į aukštesnę pakopą, kad ir kur jis paprastai būtų. Įdiekite šiuos atvejus kaip aiškias patikras darbo procese, kad jos nepriklausytų nuo to, ar agentas juos pastebės.

• Įvestis nepanaši į tai, kas buvo testuota: naujas dokumento tipas, neįprasta kalba, trūkstami ar prieštaringi laukai.
• Agento rasti šaltiniai prieštarauja vienas kitam arba siūlomas veiksmas remiasi tuo, ko agentas negali pacituoti.
• Suma, apimtis ar paveiktų įrašų skaičius viršija Jūsų nustatytą ribą.
• Byla susijusi su jautria sritimi: sveikatos duomenimis, nepilnamečiais, skundu, ginču ar vykstančiu apskundimu.
• Agentas jau kartojo bandymą arba tolesnė sistema grąžino klaidą.

Vieno signalo šiame sąraše sąmoningai nėra: paties modelio pasitikėjimo. Kalbos modeliai gali sklandžiai teigti netiesą. JAV nacionalinis standartų ir technologijų institutas (NIST) savo generatyvinio DI rizikos profilyje tai vadina konfabuliacija (atidaroma išorinė svetainė). Paties modelio pateiktas balas gali būti vienas iš duomenų, bet jis turi būti šalia išorinių patikrų, pavyzdžiui, validavimo taisyklių ir palyginimo su pirminių duomenų sistema, o ne vietoje jų.

04Patvirtinimas, kurį žmonės iš tikrųjų gali suteikti

Nesibaigiantis „patvirtinti?“ užklausų srautas išmoko žmones tvirtinti. Dirbtinio intelekto aktas šią riziką įvardija tiesiai: didelės rizikos sistemą prižiūrintys žmonės turi nepamiršti automatiško šališkumo.

Dirbtinio intelekto akto 14 straipsnio 4 dalies b punktas (atidaroma išorinė svetainė) reikalauja, kad prižiūrintys asmenys galėtų „nepamiršti galimos tendencijos automatiškai arba pernelyg pasikliauti didelės rizikos DI sistemos generuotu išvediniu (automatiško šališkumo)“.

Šį suvokimą praktiškai įgyvendina keturi projektavimo sprendimai.

Rodykite įrodymus, ne tik atsakymą

Pateikite siūlomą veiksmą paprastais žodžiais, šaltinius, kuriais jis remiasi (su nuorodomis, atsidarančiomis reikiamoje vietoje), pritaikytą taisyklę ar politiką ir tai, kas tiksliai ir kurioje sistemoje pasikeis. Tikrintojas, kuriam pasiūlymui patikrinti reikia atsidaryti tris programas, laiko spaudžiamas nustos tikrinti.

Atmesti turi būti taip pat lengva kaip patvirtinti

Atmetimas ir pataisymas yra įprasti rezultatai, ne išimtys. Pateikite juos šalia patvirtinimo, atmetant paprašykite trumpos priežasties ir naudokite tas priežastis vertinimui. Jei pataisyti pasiūlymą sunkiau nei parašyti jį iš naujo, žmonės tvirtins netobulus pasiūlymus.

Patvirtinimą patikėkite vaidmeniui, turinčiam įgaliojimus

Patvirtinimas priklauso konkrečiam vaidmeniui, turinčiam kompetenciją, mokymą ir įgaliojimus nepaisyti sistemos pasiūlymo; būtent to Dirbtinio intelekto aktas reikalauja iš didelės rizikos DI sistemų diegėjų (26 straipsnio 2 dalis (atidaroma išorinė svetainė)). Paskirkite pavaduojantį asmenį ir eskalavimo kelią, matuokite, kiek laiko užduotys laukia eilėje. Eilė, kurios niekas neprižiūri, tampa kliūtimi, dėl kurios komandos ima apeiti patvirtinimo tašką.

Grupuokite tik tai, kas tikrai mažos rizikos

Kai keturiasdešimt beveik vienodų įrašų tikrinami po vieną, niekas netampa atidesnis. 2 pakopos veiksmus leiskite tikrinti grupėmis, taikydami atsitiktinę atranką. 3 ir 4 pakopų įrašus tikrinkite po vieną.

05Patvirtinimo tašką užtikrinkite sistemoje, ne užklausoje

Nurodymas užklausoje (angl. prompt) nėra prieigos kontrolė. Tekste, kurį agentas skaito, pavyzdžiui, el. laiške, dokumente ar tinklalapyje, gali būti savų nurodymų; OWASP tai vadina užklausų injekcija (atidaroma išorinė svetainė) (angl. prompt injection). Jei tarp agento ir neatšaukiamo veiksmo stovi tik vienas sakinys jo instrukcijose, laikykite, kad kada nors tas sakinys bus apeitas.

• Suteikite agentui atskirą tapatybę su mažiausiomis teisėmis, kurių reikia kiekvienam įrankiui, ir, kur platforma leidžia, veikite prašančio naudotojo teisių ribose.
• Patvirtinimus užtikrinkite integracijos sluoksnyje: raštą siunčianti paslauga atmeta iškvietimą, jei tam konkrečiam veiksmui nėra galiojančio patvirtinimo įrašo.
• Įrankiams nustatykite sumos, apimties ir dažnio ribas, nepriklausančias nuo agento.
• Skaitymo ir rašymo įrankius laikykite atskirai, kad galėtumėte išplėsti tai, ką agentas mato, neišplėsdami to, ką jis gali daryti.

06Registruokite tai, ką vėliau reikės paaiškinti

Kiekvienam agento vykdymui saugokite prašymą, rastus šaltinius, kiekvieną įrankio iškvietimą su parametrais, siūlomą veiksmą, tvirtinusį asmenį, sprendimą, pataisymus ir laiko žymas. Didelės rizikos DI sistemų diegėjai automatiškai generuojamus žurnalus turi saugoti bent šešis mėnesius, jei kiti teisės aktai nenustato kitaip (26 straipsnio 6 dalis (atidaroma išorinė svetainė)). Kur jokia taisyklė to nereikalauja, vis tiek saugokite: žurnalas yra būdas mokytis.

Žurnalus peržiūrėkite reguliariai. Veiksmai, kurie visada patvirtinami be pakeitimų, yra kandidatai į žemesnę pakopą. Dažnai taisomi veiksmai rodo agento silpnybę arba turėtų būti pakopa aukščiau. Atmetimai, susitelkę ties vienu šaltiniu, viena forma ar viena komanda, paprastai atskleidžia proceso problemą, kurios neišspręs joks modelis.

07Pradėkite siaurai, paskui perkelkite veiksmus žemyn

Pradėkite taip, kad svarbiausi veiksmai būtų 3 ir 4 pakopose. Iš anksto susitarkite, kas yra gerai: kokie rezultatai laikomi teisingais, kokios klaidos priimtinos, o kokios ne. Tada matuokite pagal tuos kriterijus, pavyzdžiui, kaip kontrolinį sąrašą naudodami NIST DI rizikos valdymo sistemos (atidaroma išorinė svetainė) matavimo funkcijas.

Veiksmą į lengvesnę pakopą perkelkite tik turėdami įrodymų: laikotarpį, kai patvirtinimams nereikėjo esminių pataisymų, testus su atvejais, kurie anksčiau nepavyko, ir proceso savininko pritarimą. Šį sprendimą užfiksuokite kaip bet kurį kitą sistemos pakeitimą ir palikite galimybę jį atšaukti.

DI rezultatai gali būti klaidingi. Tai ne priežastis laikyti agentus atokiau nuo tikro darbo, o priežastis suprojektuoti, kur kontrolė lieka žmonėms. Agentai naudingi todėl, kad gali veikti. Apgalvotai išdėstyti patvirtinimo taškai leidžia laikui bėgant patikėti jiems daugiau.