MI-ügynökökKözszféra
Hol kell az MI-ügynököknek emberi jóváhagyás
Az ügynök szinte bármit előkészíthet. A tervezési kérdés az, hogy mely műveleteket végezheti el önállóan, és melyekhez kell egy ember jóváhagyása. Gyakorlati módszer a jóváhagyási lépések elhelyezésére, és arra, hogyan helyezze át őket, ahogy gyűlnek a bizonyítékok.
- Szerző:
- A FromNine szerkesztősége
- Megjelent
- Olvasási idő
- 7 perc olvasás
A lényeg
- A jóváhagyási lépéseket az egyes műveletek következménye és visszafordíthatósága szerint helyezze el, ne aszerint, mennyire tűnik magabiztosnak a modell.
- A jóváhagyás csak akkor működik, ha a jóváhagyó egy helyen látja a bizonyítékot, a javasolt műveletet és annak hatását, és ugyanolyan könnyen mondhat nemet, mint igent.
- A jóváhagyást ott kényszerítse ki, ahol a művelet végrehajtódik, naplózzon minden javaslatot és döntést, és egy műveletet csak bizonyítékok alapján soroljon alacsonyabb szintre.
Tartalom
Az ügynök cselekszik, ezért más a kérdés
Egy csevegőasszisztens szöveget ír, és egy ember dönti el, mit kezd vele. Az ügynök tovább megy: eszközöket hív meg. Módosít egy rekordot, lefoglal egy időpontot, továbbít egy ügyet, üzenetet küld vagy előkészít egy kifizetést. Amint a szoftver műveleteket hajt végre, már nem csak az a kérdés, hogy „jó-e a válasz”, hanem az is, hogy „ki felel ezért a műveletért, és mikor hagyta jóvá”.
A biztonsági szakma nevet is adott annak, ha ez rosszul sikerül. Az OWASP nagy nyelvi modellekre épülő alkalmazásokról szóló Top 10 listája alapvető kockázatként említi a túlzott cselekvési kört (külső webhelyet nyit meg) (excessive agency): az ügynöknek több funkciója, jogosultsága vagy önállósága van, mint amennyit a feladata megkövetel. Az emberi jóváhagyás az egyik ellenőrzési eszköz. Ha mindenhová beépítik, lassítja a munkát, és gépies jóváhagyásra szoktatja a munkatársakat. Ha sehol sincs, olyan műveletek maradnak, amelyekről senki sem döntött. A feladat az, hogy jó helyre kerüljön.
A műveletekből induljon ki, ne a modellből
Készítsen leltárt minden eszközről, amelyet az ügynök meghívhat. Mindegyiknél válaszolja meg a következő négy kérdést. Szándékosan a műveletről és annak hatásáról szólnak, nem a modellről.
- Visszafordítható-e? És milyen áron: egy kattintással, helyesbítő levéllel, visszatérítéssel vagy bírósági eljárással?
- Kit érint? Belső tervezetet, kollégát, ügyfelet vagy állampolgárt, pénzt, harmadik felet?
- Keletkezik-e kötelezettség vagy joghatás? Döntés egy személyről, kifizetés, szerződés, a szervezete nevében küldött üzenet.
- Milyen gyakran és milyen gyorsan? A naponta több ezerszer ismétlődő művelet más ellenőrzést kíván, mint a hetente kétszer előforduló.
A válaszok alapján minden művelet a négy szint egyikébe kerül. A legtöbb szervezet azt tapasztalja, hogy néhány művelet hordozza szinte a teljes kockázatot. Ez jó hír: oda kell összpontosítani a jóváhagyásra fordított figyelmet.
| Szint | Jellemző műveletek | Ellenőrzés |
|---|---|---|
| 1 · Végrehajtás és naplózás | Keresés és olvasás a felhasználó saját jogosultságain belül, összefoglalás, belső feljegyzések tervezete | Nincs jóváhagyás. A rendszer minden hívást a bemeneteivel és kimeneteivel együtt naplóz. |
| 2 · Végrehajtás, értesítés, visszavonás | Rekordtervezet létrehozása, ügy címkézése vagy továbbítása, belső feladat ütemezése, ügyfélfogadási időpont áthelyezése a szabályokon belül | Az ügynök végrehajtja a műveletet; a felelős értesítést kap, és meghatározott időn belül visszavonhatja. |
| 3 · Az ügynök javasol, ember hagyja jóvá | Külső üzenet küldése, törzsadat módosítása, a kérelmező által látható ügyállapot módosítása | Az ügynök előkészíti a műveletet és a bizonyítékokat; egy megnevezett szerepkör jóváhagyja, módosítja vagy elutasítja. |
| 4 · Ember dönt, az ügynök segít | Személyre joghatással járó döntések, összeghatár feletti kifizetések, minden, ami az írott szabályokon kívül esik | Az ügynök tényeket gyűjt és tervezetet ír; a döntés és annak indoklása egy emberé. |
Két szemléltető példa. Egy önkormányzat ügyfélfogadási időpontjait kezelő ügynök a rögzített szabályokon belül maga áthelyezheti az időpontot, és értesíti az ügyfelet: ez a 2. szint. Egy nagykereskedő beérkező számláit az Online Számla adataival összevető ügynök jelzi az eltéréseket, egy összeghatár felett azonban a kifizetésről a pénzügy munkatársa dönt: ez a 4. szint.
A szintek tervezési eszközök, nem jogi besorolás. Vesse össze őket a szervezetére vonatkozó szabályokkal. A GDPR 22. cikke külön jogokat ad az érintetteknek a kizárólag automatizált adatkezelésen alapuló döntésekkel (külső webhelyet nyit meg) szemben, ha azok joghatással járnak, vagy hasonlóképpen jelentős mértékben érintik őket. A nagy kockázatú rendszereknél az uniós MI-rendelet 14. cikke előírja, hogy természetes személyek hatékonyan felügyelhessék őket (külső webhelyet nyit meg). Ezek a kötelezettségek jellemzően a 4. szinten jelennek meg.
Ábra 1
Szemléltető munkafolyamatAz ábra szöveges változata
Beérkezik egy kérés vagy ügy. Az ügynök előkészít egy művelettervezetet, például egy választ vagy egy állapotváltozást, és csatolja a bizonyítékokat: a felhasznált forrásokat, az alkalmazott szabályt és a művelet várható hatását.
A jóváhagyási lépésnél egy megnevezett személy jóváhagyja, módosítja vagy elutasítja a javaslatot. Az elutasítás az indoklással együtt visszakerül az ügynökhöz, és az értékeléshez megmarad.
Csak a jóváhagyott műveletet hajtja végre a rá jogosult rendszer. A kérést, a javaslatot, a döntést, a jóváhagyót és az időbélyegeket naplózzuk.
Jelzések, amelyeknek mindig emberhez kell jutniuk
Bizonyos helyzetekben egy műveletnek a szokásos helyétől függetlenül magasabb szintre kell kerülnie. Ezeket kifejezett ellenőrzésként építse be a munkafolyamatba, hogy ne azon múljon, észreveszi-e őket az ügynök.
- A bemenet kívül esik azon, amin az ügynököt tesztelték: új dokumentumtípus, szokatlan nyelv, hiányzó vagy egymásnak ellentmondó mezők.
- Az ügynök által előkeresett források ellentmondanak egymásnak, vagy a javasolt művelet olyasmire épül, amelyre nem tud forrást megjelölni.
- Az összeg, a hatókör vagy az érintett rekordok száma meghalad egy Ön által megadott küszöböt.
- Az ügy érzékeny kategóriát érint: egészségügyi adatot, kiskorút, panaszt, vitát vagy folyamatban lévő jogorvoslatot.
- Az ügynök már újrapróbálkozott, vagy egy kapcsolódó rendszer hibát adott vissza.
Egy jelzés szándékosan hiányzik a listáról: a modell saját magabiztossága. A nyelvi modellek gördülékenyen állíthatnak téves dolgokat; az amerikai National Institute of Standards and Technology (NIST) a generatív MI-re vonatkozó kockázati profiljában ezt konfabulációnak (külső webhelyet nyit meg) nevezi. Egy önbevallásos pontszám lehet az egyik bemenet, de külső ellenőrzések mellett kell állnia, például érvényességi szabályok és a nyilvántartó rendszerrel való összevetés mellett, sosem helyettük.
Olyan jóváhagyás, amelyet valóban meg lehet adni
A „jóváhagyja?” kérdések folyamatos áradata jóváhagyásra szoktat. Az MI-rendelet nevén nevezi ezt a kockázatot: a nagy kockázatú rendszert felügyelő személyeknek képesnek kell lenniük arra, hogy tudatában maradjanak az automatizálási torzításnak.
A rendelet 14. cikke (4) bekezdésének b) pontja szerint a nagy kockázatú MI-rendszert úgy kell az alkalmazó rendelkezésére bocsátani, hogy az emberi felügyelettel megbízott természetes személyek képessé váljanak tudatában maradni a rendszer által előállított kimenetre való automatikus vagy túlzott mértékű támaszkodás tendenciájának („automatizálási torzítás”), különösen ha a rendszer a természetes személyek által hozandó döntésekhez nyújt információt vagy ajánlást (MI-rendelet, EUR-Lex (külső webhelyet nyit meg)).
Négy tervezési döntés teszi ezt a tudatosságot a gyakorlatban is megvalósíthatóvá.
Ne csak a választ mutassa, hanem a bizonyítékot is
Mutassa meg egyszerű szavakkal a javasolt műveletet, a forrásokat, amelyekre épül (a megfelelő szakaszra nyíló hivatkozásokkal), az alkalmazott szabályt vagy belső előírást, és pontosan azt, hogy melyik rendszerben mi változik. Ha a jóváhagyónak három alkalmazást kell megnyitnia egy javaslat ellenőrzéséhez, időnyomás alatt abbahagyja az ellenőrzést.
A „nem” legyen olyan könnyű, mint az „igen”
Az elutasítás és a módosítás szokásos kimenet, nem kivétel. Helyezze őket a jóváhagyás mellé, elutasításkor kérjen rövid indoklást, és ezeket az indoklásokat használja fel az értékelésben. Ha egy javaslat módosítása nehezebb, mint az egészet újraírni, a munkatársak inkább jóváhagyják a tökéletlen javaslatokat.
A jóváhagyás hatáskörrel bíró szerepkörhöz tartozzon
A jóváhagyás egy megnevezett szerepkörhöz tartozik, amelynek megvan a szakértelme, a képzettsége és a hatásköre ahhoz, hogy felülbírálja a rendszert; nagy kockázatú MI-rendszereknél az MI-rendelet pontosan ezt kéri az alkalmazóktól (26. cikk (2) bekezdés (külső webhelyet nyit meg)). Jelöljön ki helyettest és eszkalációs utat, és mérje, mennyit várnak a tételek. A gazdátlan várólista szűk keresztmetszetté válik, és arra készteti a csapatokat, hogy megkerüljék a jóváhagyást.
Csak a valóban alacsony kockázatú tételeket vonja össze
Negyven szinte azonos tétel egyenkénti átnézése senkit sem tesz figyelmesebbé. A 2. szintű műveleteknél engedélyezze a csoportos átnézést véletlenszerű mintavétellel. A 3. és 4. szintű tételek maradjanak egyediek.
A jóváhagyást a rendszer kényszerítse ki, ne a prompt
A promptba írt utasítás nem hozzáférés-szabályozás. Az ügynök által olvasott szöveg, például egy e-mail, egy dokumentum vagy egy weboldal, saját utasításokat is tartalmazhat; az OWASP ezt promptinjektálásnak (külső webhelyet nyit meg) (prompt injection) nevezi. Ha az ügynököt egy visszafordíthatatlan művelettől csak egyetlen mondat választja el az utasításaiban, számítson rá, hogy ezt a mondatot egyszer felülírják.
- Adjon az ügynöknek saját identitást, eszközönként a legkisebb szükséges jogosultsággal, és ahol a platform lehetővé teszi, a kérést indító felhasználó jogosultságain belül működjön.
- A jóváhagyást az integrációs rétegben kényszerítse ki: a levelet küldő szolgáltatás elutasítja a hívást, ha nincs érvényes jóváhagyási rekord pontosan arra a műveletre.
- Az ügynöktől függetlenül állítson be érték-, mennyiségi és gyakorisági korlátokat az eszközökre.
- Válassza szét az olvasó és az író eszközöket, hogy bővíthesse, mit láthat az ügynök, anélkül, hogy bővülne, mit tehet.
Naplózza, amit később meg kell magyaráznia
Minden ügynökfutásnál őrizze meg a kérést, az előkeresett forrásokat, minden eszközhívást a paramétereivel, a javasolt műveletet, a jóváhagyót, a döntést, az esetleges módosításokat és az időbélyegeket. Nagy kockázatú MI-rendszereknél az alkalmazóknak az automatikusan generált naplókat legalább hat hónapig meg kell őrizniük, hacsak más jogszabály eltérően nem rendelkezik (26. cikk (6) bekezdés (külső webhelyet nyit meg)). Ahol ezt semmi sem írja elő, akkor is őrizze meg őket: a naplóból lehet tanulni.
Rendszeres időközönként nézze át a naplókat. Azok a műveletek, amelyeket mindig változtatás nélkül hagynak jóvá, alacsonyabb szintre kerülhetnek. A gyakran módosított műveletek az ügynök gyengeségére utalnak, vagy egy szinttel feljebb a helyük. Az egy forrás, egy űrlap vagy egy csapat körül csoportosuló elutasítások többnyire olyan folyamathibát mutatnak, amelyet semmilyen modell nem javít ki.
Induljon szűken, aztán vigye lejjebb a műveleteket
Induláskor a jelentős következménnyel járó műveletek többsége a 3. és a 4. szinten legyen. Előre állapodjanak meg abban, mi számít jónak: mely eredmények helyesek, mely hibák elfogadhatók és melyek nem. Ezután ezekhez a kritériumokhoz mérjenek, például a NIST MI-kockázatkezelési keretrendszerének (külső webhelyet nyit meg) mérési funkcióit ellenőrzőlistaként használva.
Egy műveletet csak bizonyítékok alapján soroljon alacsonyabb szintre: kell egy időszak, amelyben a jóváhagyásokhoz nem kellett érdemi módosítás, tesztek a rosszul sikerült eseteken, és a folyamatgazda jóváhagyása. Ezt a döntést a rendszer bármely más változásához hasonlóan rögzítse, és tartsa meg a visszalépés lehetőségét.
Az MI kimenete lehet hibás. Ez nem ok arra, hogy az ügynököket távol tartsa a valódi munkától, hanem éppen ez az oka annak, hogy megtervezze, hol marad az irányítás az embernél. Az ügynökök azért hasznosak, mert cselekedni tudnak. A jóváhagyási lépések tudatos elhelyezése teszi lehetővé, hogy idővel több feladatot bízzon rájuk.
Források
- OWASP GenAI Security Project. LLM06:2025 Excessive Agency (megtekintve )
- OWASP GenAI Security Project. LLM01:2025 Prompt Injection (megtekintve )
- EUR-Lex. Az (EU) 2024/1689 rendelet (MI-rendelet), 14. és 26. cikk (megtekintve )
- Európai Bizottság, AI Act Service Desk. Article 26: Obligations of deployers of high-risk AI systems (angol nyelvű) (megtekintve )
- EUR-Lex. Az (EU) 2016/679 rendelet (általános adatvédelmi rendelet), 22. cikk (megtekintve )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (megtekintve )
- National Institute of Standards and Technology. AI Risk Management Framework (megtekintve )
- Holland kormány. A holland kormány algoritmus-nyilvántartása (megtekintve )
További olvasnivaló
- SzolgáltatásMI-ügynökök és automatizálásMI-ügynökök és munkafolyamatok, amelyek az Ön által meghatározott jogosultságokon belül cselekszenek, a jelentős lépések előtt jóváhagyást kérnek, és mindent naplóznak.
- ÁgazatKözszféraAkadálymentes, biztonságos és interoperábilis digitális szolgáltatások közszférabeli szervezeteknek.
- SzakcikkAz MI-rendelet a közszférában: mire kell felkészülni 2027 decemberéigA 2026-os módosítás után az MI-rendelet nagy kockázatú szabályai 2027 decemberétől alkalmazandók, de a rendelet jelentős része már ma is érvényes. Dátumokkal ellátott felkészülési terv közszférabeli alkalmazóknak.
- SzakcikkMitől megbízható a vállalati tudáskeresésÖt tulajdonság dönti el, hogy a munkatársak támaszkodhatnak-e a saját dokumentumaikból adott válaszokra: jogosultság, forrás, frissesség, őszinte hiány és mért minőség.
Tervezzük meg együtt az ügynök jóváhagyási lépéseit
Segítünk feltérképezni a műveleteket, elhelyezni a jóváhagyási lépéseket és megépíteni az ezeket kikényszerítő integrációkat, a folyamatgazdák bevonásával.