TI-agendidAvalik sektor
Kus vajavad TI-agendid inimese kinnitust
TI-agent suudab ette valmistada peaaegu kõike. Disainiküsimus on, milliseid toiminguid võib ta lõpule viia ise ja milliste puhul peab inimene ütlema „jah“. Siin on praktiline viis kinnituspunktide paigutamiseks ja nende nihutamiseks, kui tõendeid koguneb.
- Autor
- FromNine’i toimetus
- Avaldatud
- Lugemisaeg
- 6 min lugemist
Lühidalt
- Paigutage kinnituspunktid iga toimingu tagajärje ja tagasipööratavuse järgi, mitte selle järgi, kui kindel mudel paistab.
- Kinnitus toimib ainult siis, kui kontrollija näeb tõendeid, kavandatud toimingut ja selle mõju ühes kohas ning saab öelda „ei“ sama lihtsalt kui „jah“.
- Jõustage kinnituspunktid seal, kus toiming käivitub, logige iga ettepanek ja otsus ning viige toiming kergemale tasemele ainult tõendite põhjal.
Sisukord
Agent tegutseb, seega muutub küsimus
Vestlusrobot koostab teksti ja inimene otsustab, mida sellega teha. Tehisintellektil põhinev agent läheb kaugemale: ta kutsub välja tööriistu. Ta uuendab kirjet, broneerib aja, suunab juhtumi, saadab sõnumi või valmistab ette makse. Kui tarkvara teeb toiminguid, ei ole kasulik küsimus enam ainult „kas see vastus on hea?“, vaid „kes vastutab selle toimingu eest ja millal ta sellega nõustus?“
Turvakogukond on sellele veale nime andnud. OWASP-i suurte keelemudelite rakenduste Top 10 loetelus on liigne tegutsemisvolitus (avab välise veebisaidi) (excessive agency) üks põhiriske: agendil on rohkem funktsioone, õigusi või iseseisvust, kui tema ülesanne vajab. Inimese kinnitus on üks kontrollimeetmetest. Kui seda nõuda kõikjal, aeglustub töö ja inimesed harjuvad vajutama „kinnita“. Kui seda ei nõuta kusagil, jäävad alles toimingud, mille üle keegi ei otsustanud. Töö seisneb kinnituse õiges paigutamises.
Alustage toimingutest, mitte mudelist
Koostage loetelu kõigist tööriistadest, mida agent saab välja kutsuda. Vastake iga tööriista kohta neljale küsimusele. Need käivad teadlikult toimingu ja selle mõju kohta, mitte mudeli kohta.
- Kas toimingut saab tagasi pöörata? Ja mis hinnaga: üks klõps, paranduskiri, raha tagastamine, kohtuasi?
- Keda see puudutab? Sisemist mustandit, kolleegi, klienti või kodanikku, raha, kolmandat isikut?
- Kas see loob kohustuse või õigusliku tagajärje? Otsus inimese kohta, makse, leping, teie organisatsiooni nimel saadetud sõnum.
- Kui sageli ja kui kiiresti? Toiming, mis toimub tuhandeid kordi päevas, vajab teistsugust kontrolli kui toiming, mis toimub kaks korda nädalas.
Vastuste põhjal paigutub iga toiming ühele neljast tasemest. Enamasti selgub, et peaaegu kogu risk on koondunud vähestesse toimingutesse. See on hea uudis: just sinna kuulub kinnitamise vaev.
| Tase | Tüüpilised toimingud | Kontroll |
|---|---|---|
| 1 · Tegutse ja logi | Otsing ja lugemine kasutaja enda õiguste piires, kokkuvõtted, sisemiste märkmete mustandid | Kinnitust ei ole. Iga väljakutse logitakse koos sisendi ja väljundiga. |
| 2 · Tegutse, teavita, luba tagasi pöörata | Kirje mustandi loomine, juhtumi märgistamine või suunamine, sisemise ülesande ajastamine | Agent tegutseb; omanikku teavitatakse ja ta saab toimingu kindla aja jooksul tagasi pöörata. |
| 3 · Agent teeb ettepaneku, inimene kinnitab | Välise sõnumi saatmine, põhiandmete muutmine, taotlejale nähtava menetlusoleku muutmine | Agent valmistab ette toimingu ja tõendid; nimetatud roll kinnitab, muudab või lükkab tagasi. |
| 4 · Inimene otsustab, agent abistab | Õigusliku tagajärjega otsused inimese kohta, maksed üle piirmäära, kõik, mis jääb kirjaliku korra piiridest välja | Agent kogub fakte ja koostab mustandi; otsus ja selle põhjendus jäävad inimesele. |
Tasemed on disainivahend, mitte õiguslik liigitus. Kontrollige neid teile kehtivate reeglite vastu. Isikuandmete kaitse üldmäärus (IKÜM) annab inimestele kindlad õigused seoses üksnes automatiseeritud töötlusel põhinevate otsustega (avab välise veebisaidi), millel on õiguslikud või muul viisil märkimisväärsed tagajärjed (artikkel 22). Suure riskiga TI-süsteemide puhul nõuab tehisintellekti määrus, et inimesed saaksid nende üle tõhusalt järelevalvet teha (avab välise veebisaidi) (artikkel 14). Neljas tase on tavaliselt koht, kuhu need kohustused langevad. Avalikus sektoris tähendab see, et haldusotsuse teeb menetleja, mitte süsteem.
Joonis 1
Illustreeriv töövoogLugege joonist tekstina
Saabub päring või juhtum. Agent valmistab ette toimingu mustandi, näiteks vastuse või olekumuutuse, ja lisab tõendid: kasutatud allikad, rakendatud reegli ja mõju, mis toimingul on.
Kinnituspunktis kinnitab nimetatud inimene ettepaneku, muudab seda või lükkab selle tagasi. Tagasilükkamine koos põhjendusega läheb agendile tagasi ja see säilitatakse hindamiseks.
Täidetakse ainult kinnitatud toiming ja seda teeb süsteem, millele toiming kuulub. Päring, ettepanek, otsus, kinnitaja ja ajatemplid logitakse.
Signaalid, mis peavad alati jõudma inimeseni
Mõni olukord peab viima toimingu ühe taseme võrra kõrgemale, olenemata selle tavalisest kohast. Ehitage need töövoogu selgete kontrollidena, et need ei sõltuks sellest, kas agent neid märkab.
- Sisend jääb väljapoole seda, millel agenti testiti: uus dokumendiliik, ootamatu keel, puuduvad või vastuolulised väljad.
- Agendi leitud allikad on omavahel vastuolus või toetub kavandatud toiming millelegi, millele agent ei saa viidata.
- Summa, ulatus või mõjutatud kirjete arv ületab teie määratud piirmäära.
- Juhtum puudutab tundlikku valdkonda: terviseandmeid, alaealisi, kaebust, vaidlust või pooleliolevat vaidemenetlust.
- Agent on juba uuesti proovinud või mõni järgnev süsteem tagastas vea.
Üks signaal puudub loetelust meelega: mudeli enda kindlus. Keelemudelid võivad sujuvalt väita valesid asju; USA riiklik standardite ja tehnoloogia instituut (NIST) nimetab seda oma generatiivse TI riskiprofiilis konfabulatsiooniks (avab välise veebisaidi). Mudeli enda hinnang võib olla üks sisend, kuid see kuulub väliste kontrollide kõrvale, näiteks valideerimisreeglite ja põhisüsteemi andmetega võrdlemise kõrvale, mitte nende asemele.
Kinnitus, mida inimesed suudavad päriselt anda
Lõputu „kinnitada?“ küsimuste voog õpetab inimesi kinnitama. Tehisintellekti määrus nimetab seda riski otse: suure riskiga süsteemi üle järelevalvet tegevad inimesed peavad olema teadlikud nn kalduvusest eelistada automatiseerimist.
Määruse artikli 14 lõike 4 punkt b (avab välise veebisaidi) nõuab, et järelevalvet tegev inimene oleks teadlik võimalikust kalduvusest süsteemi väljundile automaatselt või liigselt tugineda. Selle teadlikkuse muudavad praktiliseks neli disainivalikut.
Näidake tõendeid, mitte ainult vastust
Esitage kavandatud toiming lihtsate sõnadega koos allikatega, millele see tugineb (lingid, mis avanevad õigest kohast), rakendatud reegli või korraga ning täpse kirjeldusega, mis millises süsteemis muutub. Kui kontrollija peab ettepaneku kontrollimiseks avama kolm rakendust, lõpetab ta ajasurve all kontrollimise.
Tehke „ei“ sama lihtsaks kui „jah“
Tagasilükkamine ja muutmine on tavalised tulemused, mitte erandid. Pange need nupud kinnitamise kõrvale, küsige tagasilükkamisel lühikest põhjendust ja kasutage neid põhjendusi hindamisel. Kui ettepaneku muutmine on raskem kui selle nullist kirjutamine, kinnitavad inimesed selle asemel ebatäiuslikke ettepanekuid.
Andke kinnitamine volitustega rollile
Kinnitamine kuulub nimetatud rollile, kellel on pädevus, väljaõpe ja volitus süsteemi ettepanek ümber lükata; suure riskiga TI-süsteemide puhul nõuab tehisintellekti määrus juurutajatelt just seda (artikli 26 lõige 2 (avab välise veebisaidi)). Lisage asendaja ja eskaleerimise tee ning mõõtke, kui kaua ettepanekud ootavad. Järjekord, millel ei ole omanikku, muutub kitsaskohaks, mis paneb meeskonnad kinnituspunktist mööda minema.
Koondkinnitus ainult tõesti madala riskiga toimingutele
Neljakümne peaaegu ühesuguse ettepaneku ükshaaval läbivaatamine ei tee kedagi hoolikamaks. Teise taseme toimingute puhul lubage koondülevaatust koos juhuvalimiga. Kolmanda ja neljanda taseme ettepanekud vaadake läbi ükshaaval.
Jõustage kinnitus süsteemis, mitte agendi juhistes
Juhis viibas (prompt) ei ole juurdepääsukontroll. Tekst, mida agent loeb, näiteks e-kiri, dokument või veebileht, võib sisaldada omaenda juhiseid; OWASP kirjeldab seda kui viibasüstet (avab välise veebisaidi) (prompt injection). Kui agendi ja pöördumatu toimingu vahel on ainult üks lause tema juhistes, eeldage, et see lause kirjutatakse ühel päeval üle.
- Andke agendile oma identiteet minimaalsete õigustega, mida iga tööriist vajab, ja laske tal tegutseda päringu esitanud kasutaja õiguste piires, kui platvorm seda toetab.
- Jõustage kinnitused liidestuskihis: teenus, mis kirja saadab, keeldub väljakutsest, kui täpselt selle toimingu kohta ei ole kehtivat kinnituskirjet.
- Seadke tööriistadele summa-, mahu- ja sageduspiirangud, mis ei sõltu agendist.
- Hoidke lugemis- ja kirjutamistööriistad lahus, et saaksite laiendada seda, mida agent näeb, laiendamata seda, mida ta teha võib.
Logige kõik, mida peate hiljem selgitama
Säilitage iga agendi käivituse kohta päring, leitud allikad, iga tööriista väljakutse koos parameetritega, kavandatud toiming, kinnitaja, otsus, kõik muudatused ja ajatemplid. Suure riskiga TI-süsteemide juurutajad peavad automaatselt loodud logisid säilitama vähemalt kuus kuud, kui muu õigus ei sätesta teisiti (artikli 26 lõige 6 (avab välise veebisaidi)). Kui ükski reegel seda ei nõua, säilitage logid ikkagi: neist te õpite.
Vaadake logid läbi kindla rütmiga. Toimingud, mida kinnitatakse alati muutmata kujul, on kandidaadid madalamale tasemele viimiseks. Toimingud, mida sageli muudetakse, viitavad agendi nõrkusele või kuuluvad ühe taseme võrra kõrgemale. Tagasilükkamised, mis koonduvad ühe allika, vormi või meeskonna ümber, näitavad tavaliselt protsessi probleemi, mida ükski mudel ei lahenda.
Alustage kitsalt ja viige toiminguid seejärel madalamale tasemele
Alustage nii, et enamik olulise tagajärjega toiminguid on kolmandal ja neljandal tasemel. Leppige eelnevalt kokku, mis on hea tulemus: millised tulemused loetakse õigeks, millised vead on vastuvõetavad ja millised mitte. Seejärel mõõtke nende kriteeriumide järgi, kasutades kontrollnimekirjana näiteks NIST-i TI riskijuhtimise raamistiku (avab välise veebisaidi) mõõtmisfunktsioone.
Viige toiming kergemale tasemele ainult tõendite põhjal: periood, mil kinnitused ei vajanud sisulisi muudatusi, testid juhtumitel, mis läksid valesti, ja protsessi omaniku nõusolek. Dokumenteerige see otsus nagu iga teine süsteemimuudatus ja jätke endale võimalus see tagasi pöörata.
TI väljund võib olla vale. See ei ole põhjus hoida agente päris tööst eemal, vaid põhjus kavandada, kus inimesed kontrolli säilitavad. Agendid on kasulikud, sest nad saavad tegutseda. Kinnituspunktide teadlik paigutamine võimaldab anda neile aja jooksul rohkem tööd.
Allikad
- OWASP GenAI Security Project. LLM06:2025 Excessive Agency (vaadatud )
- OWASP GenAI Security Project. LLM01:2025 Prompt Injection (vaadatud )
- EUR-Lex. Määrus (EL) 2024/1689 (tehisintellekti määrus), artiklid 14 ja 26 (vaadatud )
- Euroopa Komisjon, AI Act Service Desk. Artikkel 26: suure riskiga TI-süsteemide juurutajate kohustused (vaadatud )
- EUR-Lex. Määrus (EL) 2016/679 (isikuandmete kaitse üldmäärus), artikkel 22 (vaadatud )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (vaadatud )
- National Institute of Standards and Technology. AI Risk Management Framework (vaadatud )
- Madalmaade valitsus. Madalmaade valitsuse algoritmiregister (vaadatud )
Lugege edasi
- TeenusTI-agendid ja automatiseerimineTI-agendid ja töövood, mis tegutsevad teie määratud õiguste piires, küsivad enne olulisi samme kinnitust ja logivad kõik.
- ValdkondAvalik sektorLigipääsetavad, turvalised ja koostalitlusvõimelised digiteenused avaliku sektori asutustele.
- ArtikkelTehisintellekti määrus avalikule sektorile: mida valmistada ette detsembriks 20272026. aastal muudetud tehisintellekti määrus kohaldab suure riskiga süsteemide reegleid alates detsembrist 2027, kuid suur osa sellest kehtib juba täna. Kuupäevadega ettevalmistuskava avaliku sektori juurutajatele.
- ArtikkelMis teeb ettevõtte teadmusotsingu usaldusväärseksViis omadust, mis otsustavad, kas inimesed saavad teie enda dokumentidest antud vastustele tugineda: õigused, päritolu, ajakohasus, ausad lüngad ja mõõdetud kvaliteet.
Kavandate agenti, mis tegutseb teie süsteemides?
Aitame kaardistada toimingud, paigutada kinnituspunktid ja ehitada liidestused, mis neid jõustavad, koos teie protsesside omanikega.