Kur MI aģentiem vajadzīgs cilvēka apstip­rinājums

01Aģenti rīkojas, tāpēc mainās jautājums

Tērzēšanas asistents uzraksta tekstu, un cilvēks izlemj, ko ar to darīt. Aģents iet tālāk: tas izsauc rīkus. Tas atjaunina ierakstu, rezervē laiku, novirza lietu, nosūta ziņu vai sagatavo maksājumu. Kad programmatūra veic darbības, noderīgais jautājums vairs nav tikai „vai atbilde ir laba?”, bet „kurš atbild par šo darbību un kad viņš tai piekrita?”

Drošības kopienā šai kļūdai ir nosaukums. OWASP Top 10 saraksts lielo valodas modeļu lietojumprogrammām kā vienu no galvenajiem riskiem min pārmērīgu rīcībspēju (atver ārēju tīmekļvietni) (excessive agency): aģentam ir vairāk funkciju, atļauju vai autonomijas, nekā tā uzdevumam vajag. Cilvēka apstiprinājums ir viena no kontrolēm. Ja to lieto visur, darbs palēninās un cilvēki iemācās mehāniski spiest „apstiprināt”. Ja to nelieto nekur, paliek darbības, par kurām neviens nav lēmis. Viss darbs ir tā izvietošanā.

02Sāciet no darbībām, nevis no modeļa

Sastādiet sarakstu ar visiem rīkiem, ko aģents var izsaukt. Par katru atbildiet uz četriem jautājumiem. Tie apzināti ir par darbību un tās sekām, nevis par modeli.

1. 01Vai to var atsaukt? Un par kādu cenu: viens klikšķis, labojuma vēstule, naudas atmaksa, tiesvedība?
2. 02Ko tas skar? Iekšēju melnrakstu, kolēģi, klientu vai iedzīvotāju, naudu, trešo personu?
3. 03Vai tas rada saistības vai juridiskas sekas? Lēmums par personu, maksājums, līgums, ziņa, kas nosūtīta Jūsu organizācijas vārdā.
4. 04Cik bieži un cik ātri? Darbībai, kas notiek tūkstošiem reižu dienā, vajadzīga cita kontrole nekā darbībai, kas notiek divreiz nedēļā.

Atbildes katru darbību ievieto vienā no četriem līmeņiem. Lielākā daļa organizāciju atklāj, ka gandrīz visu risku nes nedaudzas darbības. Tā ir laba ziņa: tieši tur jāiegulda apstiprināšanas pūles.

Piemērs no pašvaldības iedzīvotāju apkalpošanas centra: aģents pieņem iesniegumus, pārbauda pielikumus un sagatavo atbildes projektu. Iesnieguma reģistrēšana un nodošana atbildīgajam speciālistam ir zema riska darbības. Atbilde iedzīvotājam ir 3. līmenis, un lēmums par iesniegumu pieder cilvēkam.

Līmeņi ir projektēšanas rīks, nevis juridiska klasifikācija. Pārbaudiet tos pret noteikumiem, kas attiecas uz Jums. VDAR personām dod īpašas tiesības attiecībā uz lēmumiem, kuru pamatā ir tikai automatizēta apstrāde (atver ārēju tīmekļvietni) un kuri rada tiesiskas sekas vai līdzīgā veidā ievērojami ietekmē personu (22. pants). Augsta riska MI sistēmām Mākslīgā intelekta akts prasa, lai cilvēki tās varētu efektīvi virsvadīt (atver ārēju tīmekļvietni) (14. pants). Parasti šie pienākumi attiecas tieši uz 4. līmeni.

03Signāli, kam vienmēr jānonāk pie cilvēka

Dažas situācijas darbību paceļ līmeni augstāk neatkarīgi no tās parastās vietas. Iebūvējiet tās darba plūsmā kā skaidras pārbaudes, lai tās nebūtu atkarīgas no tā, vai aģents tās pamana.

• Ievaddati ir ārpus tā, ar ko aģents tika testēts: jauns dokumenta veids, neparasta valoda, trūkstoši vai pretrunīgi lauki.
• Aģenta atrastie avoti ir pretrunā, vai ierosinātā darbība balstās uz kaut ko, ko tas nevar citēt.
• Summa, apjoms vai skarto ierakstu skaits pārsniedz Jūsu noteikto slieksni.
• Lieta skar sensitīvu kategoriju: veselības datus, nepilngadīgos, sūdzību, strīdu vai notiekošu pārsūdzību.
• Aģents jau ir mēģinājis atkārtoti, vai kāda nākamā sistēma ir atgriezusi kļūdu.

Viens signāls šajā sarakstā apzināti nav iekļauts: paša modeļa pārliecība. Valodas modeļi var raiti apgalvot nepatiesas lietas. ASV Nacionālais standartu un tehnoloģiju institūts (NIST) savā ģeneratīvā MI riska profilā to sauc par konfabulāciju (atver ārēju tīmekļvietni). Modeļa paša norādīts vērtējums var būt viens no ievaddatiem, bet tam jāatrodas blakus ārējām pārbaudēm, piemēram, validācijas noteikumiem un salīdzinājumam ar uzskaites sistēmu, nevis jāaizstāj tās.

04Apstiprinājums, ko cilvēki tiešām var dot

Nepārtraukta „apstiprināt?” jautājumu plūsma iemāca cilvēkus apstiprināt. Mākslīgā intelekta akts (atver ārēju tīmekļvietni) šo risku nosauc tieši: cilvēkiem, kam uzticēta cilvēka virsvadība, jāspēj „apzināties iespējamo tendenci automātiski uzticēties vai pārāk uzticēties augsta riska MI sistēmas radītajiem iznākumiem” (14. panta 4. punkta b) apakšpunkts).

Četras projektēšanas izvēles šo apziņu padara praktisku.

Rādiet pierādījumus, ne tikai atbildi

Parādiet ierosināto darbību vienkāršos vārdos, avotus, uz kuriem tā balstās (ar saitēm, kas atveras pareizajā vietā), piemēroto noteikumu vai kārtību un precīzi, kas mainīsies kurā sistēmā. Pārbaudītājs, kuram priekšlikuma pārbaudei jāatver trīs lietojumprogrammas, laika spiedienā pārstās pārbaudīt.

Lai „nē” būtu tikpat viegls kā „jā”

Noraidīšana un labošana ir parasti iznākumi, nevis izņēmumi. Novietojiet tās blakus apstiprināšanai, noraidot lūdziet īsu iemeslu un izmantojiet šos iemeslus izvērtēšanā. Ja priekšlikuma labošana ir grūtāka nekā tā uzrakstīšana no nulles, cilvēki apstiprinās nepilnīgus priekšlikumus.

Apstiprināšanu uzticiet lomai ar pilnvarām

Apstiprināšana pieder noteiktai lomai, kurai ir kompetence, apmācība un pilnvaras neņemt vērā sistēmas iznākumu; augsta riska MI sistēmām Mākslīgā intelekta akts no uzturētājiem prasa tieši to (26. panta 2. punkts (atver ārēju tīmekļvietni)). Norīkojiet aizvietotāju, nosakiet eskalācijas ceļu un mēriet, cik ilgi vienības gaida. Rinda, kurai nav atbildīgā, kļūst par sastrēgumu, kas mudina komandas kontrolpunktu apiet.

Grupējiet tikai to, kas tiešām ir zema riska

Četrdesmit gandrīz vienādu vienību pārskatīšana pa vienai nevienu nepadara uzmanīgāku. 2. līmeņa darbībām atļaujiet grupveida pārskatīšanu ar izlases pārbaudēm. 3. un 4. līmeņa vienības pārskatiet atsevišķi.

05Kontrolpunktu nodrošiniet sistēmā, nevis uzvednē

Norāde uzvednē nav piekļuves kontrole. Teksts, ko aģents lasa, piemēram, e-pasts, dokuments vai tīmekļa lapa, var saturēt savas norādes; OWASP to apraksta kā uzvednes injekciju (atver ārēju tīmekļvietni) (prompt injection). Ja vienīgais, kas atdala aģentu no neatgriezeniskas darbības, ir teikums tā norādēs, pieņemiet, ka kādu dienu šis teikums tiks apiets.

• Piešķiriet aģentam savu identitāti ar mazākajām tiesībām, kas vajadzīgas katram rīkam, un, kur platforma to atbalsta, ļaujiet tam rīkoties pieprasītāja tiesību robežās.
• Apstiprinājumus nodrošiniet integrācijas slānī: pakalpojums, kas nosūta vēstuli, atsaka izsaukumu, ja tieši šai darbībai nav derīga apstiprinājuma ieraksta.
• Rīkiem nosakiet vērtības, apjoma un biežuma ierobežojumus neatkarīgi no aģenta.
• Lasīšanas un rakstīšanas rīkus turiet atsevišķi, lai varētu paplašināt to, ko aģents drīkst redzēt, nepaplašinot to, ko tas drīkst darīt.

06Reģistrējiet to, kas vēlāk būs jāizskaidro

Katrā aģenta darbināšanas reizē saglabājiet pieprasījumu, atrastos avotus, katru rīka izsaukumu ar parametriem, ierosināto darbību, apstiprinātāju, lēmumu, labojumus un laikus. Augsta riska MI sistēmu uzturētājiem automātiski ģenerētie žurnāli jāglabā vismaz sešus mēnešus, ja vien citi tiesību akti nenosaka citādi (26. panta 6. punkts (atver ārēju tīmekļvietni)). Kur neviens noteikums to neprasa, glabājiet tos tik un tā: žurnāls ir veids, kā mācīties.

Pārskatiet žurnālus noteiktā ritmā. Darbības, kuras vienmēr apstiprina bez izmaiņām, ir kandidātes pārcelšanai zemākā līmenī. Darbības, kuras bieži labo, norāda uz aģenta vājumu vai pieder augstākam līmenim. Noraidījumi, kas koncentrējas ap vienu avotu, vienu veidlapu vai vienu komandu, parasti atklāj procesa problēmu, ko neviens modelis neatrisinās.

07Sāciet šauri, tad pārceliet darbības zemākā līmenī

Sāciet ar būtiskākajām darbībām 3. un 4. līmenī. Iepriekš vienojieties, kas ir labs rezultāts: kuri iznākumi ir pareizi, kuras kļūdas ir pieņemamas un kuras nav. Tad mēriet pret šiem kritērijiem, piemēram, izmantojot NIST MI riska pārvaldības satvara (atver ārēju tīmekļvietni) mērīšanas funkcijas kā kontrolsarakstu.

Darbību pārceliet vieglākā līmenī tikai ar pierādījumiem: periods, kurā apstiprinājumiem nevajadzēja būtisku labojumu, testi ar gadījumiem, kas nogāja greizi, un procesa īpašnieka piekrišana. Fiksējiet šo lēmumu kā jebkuru citu sistēmas izmaiņu un saglabājiet iespēju to atcelt.

MI iznākumi var būt kļūdaini. Tas nav iemesls turēt aģentus tālāk no īsta darba; tas ir iemesls apzināti noteikt, kur kontrole paliek cilvēku rokās. Aģenti ir noderīgi tāpēc, ka tie var rīkoties. Apzināti izvietoti apstiprinājuma kontrolpunkti ļauj laika gaitā uzticēt tiem vairāk.