Aġenti tal-AISettur pubbliku
Fejn l-aġenti tal-AI jeħtieġu l-approvazzjoni ta’ persuna
Aġent jista’ jħejji kważi kollox. Il-mistoqsija tad-disinn hija liema azzjonijiet jista’ jlesti waħdu, u liema jeħtieġu li persuna tgħid iva. Mod prattiku biex tqiegħed punti ta’ approvazzjoni, u biex iċċaqlaqhom hekk kif tikber l-evidenza.
- Awtur
- It-tim editorjali ta’ FromNine
- Ippubblikat
- Ħin tal-qari
- Qari ta’ 6 minuti
Fil-qosor
- Qiegħed il-punti ta’ approvazzjoni skont il-konsegwenza ta’ kull azzjoni u skont jekk tistax titreġġa’ lura, mhux skont kemm jidher kunfidenti l-mudell.
- Approvazzjoni taħdem biss meta l-persuna li tirrieżamina tara l-evidenza, l-azzjoni proposta u l-effett tagħha f’post wieħed, u tista’ tgħid le faċilment daqs iva.
- Infurza l-punti ta’ approvazzjoni fejn titwettaq l-azzjoni, irreġistra kull proposta u deċiżjoni, u niżżel azzjoni f’livell eħfef biss fuq il-bażi tal-evidenza.
Werrej
L-aġenti jaġixxu, u l-mistoqsija tinbidel
Assistent taċ-chat ibbażat fuq l-intelliġenza artifiċjali (AI) jabbozza test, u persuna tiddeċiedi x’se tagħmel bih. Aġent jasal aktar ’il bogħod: juża għodod. Jaġġorna rekord, jibbukkja appuntament, jgħaddi każ lit-tim it-tajjeb, jibgħat messaġġ jew iħejji ħlas. Ladarba s-software jieħu azzjonijiet, il-mistoqsija utli ma tibqax biss “din it-tweġiba tajba?” imma “min hu responsabbli għal din l-azzjoni, u meta qabel magħha?”
Il-komunità tas-sigurtà għandha isem għal meta dan imur ħażin. L-OWASP Top 10 għall-applikazzjonijiet ibbażati fuq mudelli lingwistiċi kbar isemmi l-aġenzija eċċessiva (jiftaħ sit estern) bħala riskju ewlieni: aġent b’aktar funzjonalità, aktar permessi jew aktar awtonomija milli jeħtieġ il-kompitu tiegħu. L-approvazzjoni minn persuna hija waħda mill-kontrolli. Jekk tużaha kullimkien, ix-xogħol jimxi bil-mod u n-nies jitgħallmu jagħfsu “approva” mingħajr ma jaħsbu. Jekk ma tużaha imkien, tispiċċa b’azzjonijiet li ħadd ma ddeċieda. Ix-xogħol huwa li tqegħedha fil-post it-tajjeb.
Ibda mill-azzjonijiet, mhux mill-mudell
Agħmel lista ta’ kull għodda li l-aġent jista’ juża. Għal kull waħda, wieġeb erba’ mistoqsijiet. Huma apposta dwar l-azzjoni u l-effett tagħha, mhux dwar il-mudell.
- Tista’ titreġġa’ lura? U b’liema spiża: klikk, ittra ta’ korrezzjoni, rimborż, kawża fil-qorti?
- Lil min tolqot? Abbozz intern, kollega, klijent jew ċittadin, flus, parti terza?
- Toħloq impenn jew effett legali? Deċiżjoni dwar persuna, ħlas, kuntratt, messaġġ mibgħut f’isem l-organizzazzjoni tiegħek.
- Kemm-il darba u b’liema ritmu? Azzjoni li sseħħ eluf ta’ drabi kuljum teħtieġ kontroll differenti minn waħda li sseħħ darbtejn fil-ġimgħa.
It-tweġibiet iqiegħdu kull azzjoni f’wieħed minn erba’ livelli. Ħafna organizzazzjonijiet isibu li ftit azzjonijiet biss iġorru kważi r-riskju kollu, u din hija aħbar tajba: hemmhekk imur l-isforz tal-approvazzjoni.
| Livell | Azzjonijiet tipiċi | Kontroll |
|---|---|---|
| 1 · Jaġixxi u jirreġistra | Ifittex u jaqra fil-limiti tal-permessi tal-utent stess, jagħmel sommarju, jabbozza noti interni | L-ebda approvazzjoni. Kull sejħa tiġi rreġistrata bl-input u l-output tagħha. |
| 2 · Jaġixxi, javża, titreġġa’ lura | Joħloq abbozz ta’ rekord, jimmarka każ jew jgħaddih lit-tim it-tajjeb, jippjana kompitu intern | L-aġent jaġixxi; is-sid jiġi avżat u jista’ jreġġa’ lura l-azzjoni f’perjodu stabbilit. |
| 3 · Jipproponi, persuna tapprova | Jibgħat messaġġ estern, ibiddel id-data ewlenija, ibiddel l-istatus ta’ każ li l-applikant jista’ jara | L-aġent iħejji l-azzjoni u l-evidenza tagħha; rwol identifikat japprova, jeditja jew jiċħad. |
| 4 · Persuna tiddeċiedi, l-aġent jgħin | Deċiżjonijiet b’effett legali fuq persuna, ħlasijiet ’il fuq minn limitu, kull ħaġa barra l-politika miktuba | L-aġent jiġbor il-fatti u jabbozza; id-deċiżjoni u r-raġunament tagħha huma ta’ persuna. |
Il-livelli huma għodda tad-disinn, mhux klassifikazzjoni legali. Qabbilhom mar-regoli li japplikaw għalik. Il-GDPR jagħti lin-nies drittijiet speċifiċi dwar deċiżjonijiet ibbażati biss fuq ipproċessar awtomatizzat (jiftaħ sit estern) li jipproduċu effetti legali jew effetti sinifikanti simili (l-Artikolu 22). Għas-sistemi b’riskju għoli, l-Att dwar l-Intelliġenza Artifiċjali jitlob li persuni jkunu jistgħu jissorveljawhom b’mod effettiv (jiftaħ sit estern) (l-Artikolu 14). Il-livell 4 huwa ġeneralment fejn jaqgħu dawn l-obbligi.
Figura 1
Fluss tax-xogħol illustrattivAqra d-dijagramma bħala test
Tasal talba jew każ. L-aġent iħejji abbozz ta’ azzjoni, bħal tweġiba jew bidla fl-istatus, u jehmeż l-evidenza: is-sorsi li uża, ir-regola li applika u l-effett li se jkollha l-azzjoni.
Fil-punt ta’ approvazzjoni, persuna identifikata tapprova, teditja jew tiċħad il-proposta. Ċaħda, bir-raġuni tagħha, tmur lura għand l-aġent u tinżamm għall-evalwazzjoni.
Azzjoni approvata biss titwettaq, mis-sistema li hi responsabbli minnha. It-talba, il-proposta, id-deċiżjoni, min approva u l-ħinijiet jiġu rreġistrati.
Sinjali li għandhom dejjem jaslu għand persuna
Xi sitwazzjonijiet għandhom itellgħu azzjoni livell ’il fuq, ikun xi jkun il-post normali tagħha. Ibnihom bħala kontrolli espliċiti fil-fluss tax-xogħol, biex ma jiddependux minn jekk l-aġent jinnotahomx.
- L-input huwa barra minn dak li fuqu ġie ttestjat l-aġent: tip ġdid ta’ dokument, lingwa mhux tas-soltu, oqsma neqsin jew li jikkontradixxu lil xulxin.
- Is-sorsi li sab l-aġent ma jaqblux, jew l-azzjoni proposta tistrieħ fuq xi ħaġa li ma jistax jiċċita.
- L-ammont, il-kobor jew in-numru ta’ rekords milquta jaqbeż limitu li tkun stabbilejt int.
- Il-każ imiss kategorija sensittiva: data dwar is-saħħa, minorenni, ilment, tilwima jew appell li għadu għaddej.
- L-aġent diġà pprova mill-ġdid, jew sistema oħra fil-katina tat żball.
Sinjal wieħed nieqes apposta minn din il-lista: il-kunfidenza tal-mudell innifsu. Il-mudelli lingwistiċi jistgħu jgħidu affarijiet żbaljati b’ħafna sigurtà, fenomenu li l-Istitut Nazzjonali tal-Istandards u t-Teknoloġija tal-Istati Uniti (NIST) isejjaħlu konfabulazzjoni (jiftaħ sit estern) fil-profil tiegħu tar-riskji tal-AI ġenerattiva. Punteġġ li l-mudell jagħti lilu nnifsu jista’ jkun input wieħed, imma għandu jkun flimkien ma’ kontrolli esterni, bħal regoli ta’ validazzjoni u tqabbil mas-sistema ta’ referenza, u qatt ma jieħu posthom.
Approvazzjoni li n-nies jistgħu verament jagħtu
Sensiela ta’ talbiet “approva?” tgħallem lin-nies japprovaw. L-Att dwar l-Intelliġenza Artifiċjali jsemmi r-riskju b’mod dirett: il-persuni li jissorveljaw sistema b’riskju għoli għandhom ikunu jistgħu jibqgħu konxji tal-preġudizzju tal-awtomatizzazzjoni.
“jibqgħu konxji tat-tendenza possibbli li wieħed iserraħ awtomatikament jew li jserraħ wisq fuq l-output”
Erba’ għażliet tad-disinn jagħmlu din il-kuxjenza prattika.
Uri l-evidenza, mhux it-tweġiba biss
Ippreżenta l-azzjoni proposta bi kliem sempliċi, is-sorsi li tistrieħ fuqhom (b’links li jiftħu fis-silta t-tajba), ir-regola jew il-politika li ġiet applikata, u eżatt x’se jinbidel f’liema sistema. Persuna li trid tiftaħ tliet applikazzjonijiet biex tivverifika proposta, taħt pressjoni tal-ħin tieqaf tivverifika.
Agħmel il-“le” faċli daqs l-“iva”
Iċ-ċaħda u l-editjar huma riżultati normali, mhux eċċezzjonijiet. Qegħedhom ħdejn l-approvazzjoni, itlob raġuni qasira meta xi ħadd jiċħad, u uża dawk ir-raġunijiet fl-evalwazzjoni. Jekk l-editjar ta’ proposta jkun aktar diffiċli milli tiktibha mill-ġdid, in-nies jispiċċaw japprovaw proposti imperfetti.
Agħti l-approvazzjoni lil rwol li għandu l-awtorità
L-approvazzjoni tappartjeni lil rwol identifikat li għandu l-kompetenza, it-taħriġ u l-awtorità biex jegħleb lis-sistema; għas-sistemi tal-AI b’riskju għoli, l-Att dwar l-Intelliġenza Artifiċjali jitlob eżatt dan mill-implimentaturi (l-Artikolu 26(2) (jiftaħ sit estern)). Żid sostitut u triq ta’ eskalazzjoni, u kejjel kemm idumu jistennew l-oġġetti. Kju li ħadd mhu responsabbli minnu jsir l-ostaklu li jimbotta lit-timijiet biex jaqbżu l-punt ta’ approvazzjoni.
Irrieżamina f’gruppi biss dak li verament għandu riskju baxx
Meta tirrieżamina erbgħin oġġett kważi identiku wieħed wieħed, ħadd ma jsir aktar attent. Għall-azzjonijiet tal-livell 2, ħalli rieżami f’gruppi b’kampjunar każwali. Żomm l-oġġetti tal-livelli 3 u 4 wieħed wieħed.
Infurza l-punt ta’ approvazzjoni fis-sistema, mhux fil-prompt
Struzzjoni fi prompt mhix kontroll tal-aċċess. It-test li jaqra l-aġent, bħal email, dokument jew paġna web, jista’ jkun fih struzzjonijiet tiegħu, fenomenu li l-OWASP jiddeskrivi bħala injezzjoni tal-prompt (jiftaħ sit estern). Jekk l-unika ħaġa bejn aġent u azzjoni irriversibbli hija sentenza fl-istruzzjonijiet tiegħu, assumi li xi darba dik is-sentenza se tinqabeż.
- Agħti lill-aġent identità tiegħu bl-inqas privileġġi li teħtieġ kull għodda, u ħallih jaġixxi fil-limiti tad-drittijiet tal-utent li jkun għamel it-talba, fejn il-pjattaforma tippermetti dan.
- Infurza l-approvazzjonijiet fis-saff tal-integrazzjoni: is-servizz li jibgħat l-ittra jirrifjuta s-sejħa sakemm ma jkunx hemm rekord ta’ approvazzjoni validu għal dik l-azzjoni eżatta.
- Poġġi limiti ta’ valur, volum u rata fuq l-għodod, indipendenti mill-aġent.
- Żomm l-għodod tal-qari separati minn dawk tal-kitba, biex tkun tista’ twessa’ dak li jista’ jara l-aġent mingħajr ma twessa’ dak li jista’ jagħmel.
Irreġistra dak li jkollok bżonn tispjega aktar tard
Għal kull darba li jaħdem l-aġent, żomm it-talba, is-sorsi li sab, kull sejħa ta’ għodda bil-parametri tagħha, l-azzjoni proposta, min approva, id-deċiżjoni, kull editjar u l-ħinijiet. Għas-sistemi tal-AI b’riskju għoli, l-implimentaturi jridu jżommu r-reġistri ġġenerati awtomatikament għal mill-inqas sitt xhur, sakemm liġi oħra ma tipprovdix mod ieħor (l-Artikolu 26(6) (jiftaħ sit estern)). Fejn l-ebda regola ma titlob dan, żommhom xorta waħda: ir-reġistru huwa kif titgħallem.
Irrieżamina r-reġistri b’ritmu fiss. L-azzjonijiet li dejjem jiġu approvati mingħajr bidla huma kandidati biex jinżlu livell. L-azzjonijiet li spiss jiġu editjati juru dgħufija fl-aġent, jew jixirqilhom livell ogħla. Iċ-ċaħdiet li jinġabru madwar sors wieħed, formola waħda jew tim wieħed normalment jikxfu problema fil-proċess li l-ebda mudell ma jsolvi.
Ibda dejjaq, imbagħad niżżel l-azzjonijiet livell
Ibda bl-azzjonijiet li għandhom l-akbar konsegwenzi fil-livelli 3 u 4. Aqbel minn qabel x’jiġifieri riżultat tajjeb: liema riżultati jgħoddu bħala korretti, liema żbalji huma aċċettabbli u liema le. Imbagħad kejjel kontra dawk il-kriterji, pereżempju billi tuża l-funzjonijiet tal-kejl tal-Qafas tan-NIST għall-Ġestjoni tar-Riskju tal-AI (jiftaħ sit estern) bħala lista ta’ kontroll.
Niżżel azzjoni f’livell eħfef biss b’evidenza: perjodu li fih l-approvazzjonijiet ma kellhom bżonn l-ebda editjar sostanzjali, testijiet fuq il-każijiet li marru ħażin, u l-approvazzjoni tas-sid tal-proċess. Irreġistra dik id-deċiżjoni bħal kull bidla oħra fis-sistema, u żomm il-possibbiltà li treġġagħha lura.
L-output tal-AI jista’ jkun żbaljat. Din mhix raġuni biex iżżomm l-aġenti ’l bogħod mix-xogħol veru; hija r-raġuni biex tiddisinja fejn in-nies jibqgħu fil-kontroll. L-aġenti huma utli għax jistgħu jaġixxu. Meta tqiegħed il-punti ta’ approvazzjoni b’mod deliberat, tkun tista’ tagħtihom aktar xogħol maż-żmien.
Sorsi
- OWASP GenAI Security Project. LLM06:2025 Excessive Agency (aċċessat )
- OWASP GenAI Security Project. LLM01:2025 Prompt Injection (aċċessat )
- EUR-Lex. Regolament (UE) 2024/1689 (l-Att dwar l-Intelliġenza Artifiċjali), l-Artikoli 14 u 26 (aċċessat )
- Il-Kummissjoni Ewropea, AI Act Service Desk. L-Artikolu 26: obbligi tal-implimentaturi ta’ sistemi tal-AI b’riskju għoli (aċċessat )
- EUR-Lex. Regolament (UE) 2016/679 (ir-Regolament Ġenerali dwar il-Protezzjoni tad-Data), l-Artikolu 22 (aċċessat )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (aċċessat )
- National Institute of Standards and Technology. AI Risk Management Framework (aċċessat )
- Il-Gvern tal-Pajjiżi l-Baxxi. Ir-reġistru tal-algoritmi tal-gvern tal-Pajjiżi l-Baxxi (aċċessat )
Kompli aqra
- ServizzAġenti tal-AI u awtomazzjoniAġenti u flussi tax-xogħol li jaġixxu fil-permessi li tiddefinixxi int, jistaqsu qabel passi importanti u jirreġistraw kollox.
- SetturSettur pubblikuServizzi diġitali aċċessibbli, siguri u interoperabbli għall-entitajiet pubbliċi.
- ArtikluL-Att dwar l-Intelliġenza Artifiċjali għall-entitajiet pubbliċi: x’tipprepara sa Diċembru 2027Kif emendat fl-2026, l-Att japplika r-regoli għas-sistemi b’riskju għoli minn Diċembru 2027, imma ħafna minnu diġà japplika. Pjan ta’ preparazzjoni bid-dati għall-implimentaturi pubbliċi f’Malta.
- ArtikluX’jagħmel affidabbli t-tfittxija fl-għarfien tal-organizzazzjoniĦames karatteristiċi li jiddeċiedu jekk in-nies jistgħux jistrieħu fuq tweġibiet mid-dokumenti tiegħek: permessi, oriġini, aġġornament, lakuni onesti u kwalità mkejla.
Qed tippjana aġent li jaġixxi fis-sistemi tiegħek?
Ngħinuk timmappja l-azzjonijiet, tqiegħed il-punti ta’ approvazzjoni u tibni l-integrazzjonijiet li jinfurzawhom, flimkien mas-sidien tal-proċessi tiegħek.