TekoälyagentitJulkinen sektori
Missä tekoälyagentit tarvitsevat ihmisen hyväksynnän
Tekoälyagentti voi valmistella lähes mitä tahansa. Suunnittelun kysymys on, mitkä toimet se saa viedä loppuun itse ja missä ihmisen on sanottava kyllä. Näin hyväksyntäpisteet sijoitetaan, ja näin niitä siirretään, kun näyttöä kertyy.
- Kirjoittaja
- FromNinen toimitus
- Julkaistu
- Lukuaika
- Lukuaika 6 min
Pääkohdat
- Sijoita hyväksyntäpisteet kunkin toimen seurausten ja peruttavuuden mukaan, älä sen mukaan, kuinka varmalta malli vaikuttaa.
- Hyväksyntä toimii vain, kun hyväksyjä näkee perusteet, ehdotetun toimen ja sen vaikutuksen yhdessä näkymässä ja voi sanoa ei yhtä helposti kuin kyllä.
- Pakota hyväksyntä siinä järjestelmässä, joka toimen suorittaa, kirjaa jokainen ehdotus ja päätös, ja siirrä toimi kevyemmälle tasolle vain näytön perusteella.
Sisältö
Agentti toimii, joten kysymys muuttuu
Keskusteleva avustaja luonnostelee tekstiä, ja ihminen päättää, mitä sillä tehdään. Agentti menee pidemmälle: se kutsuu työkaluja. Se päivittää tietueen, varaa ajan, ohjaa asian käsittelijälle, lähettää viestin tai valmistelee maksun. Kun ohjelmisto tekee toimia, olennainen kysymys ei ole enää vain ”onko vastaus hyvä?” vaan ”kuka vastaa tästä toimesta, ja milloin hän hyväksyi sen?”
Tietoturva-alalla tälle virheelle on nimi. OWASP:n Top 10 -lista kielimallisovellusten riskeistä nimeää liiallisen toimivallan (avautuu ulkoiselle sivustolle) (excessive agency) keskeiseksi riskiksi: agentilla on enemmän toimintoja, oikeuksia tai itsenäisyyttä kuin sen tehtävä vaatii. Ihmisen hyväksyntä on yksi hallintakeinoista. Jos sitä käytetään kaikkialla, työ hidastuu ja ihmiset oppivat painamaan ”hyväksy”. Jos sitä ei käytetä missään, jäljelle jää toimia, joista kukaan ei päättänyt. Varsinainen työ on hyväksynnän oikea sijoittaminen.
Lähde liikkeelle toimista, ei mallista
Luetteloi jokainen työkalu, jota agentti voi kutsua. Vastaa kunkin kohdalla neljään kysymykseen. Ne koskevat tarkoituksella toimea ja sen vaikutusta, eivät mallia.
- Voiko toimen perua? Ja millä kustannuksella: yhdellä klikkauksella, oikaisukirjeellä, hyvityksellä vai oikeudenkäynnillä?
- Keneen toimi vaikuttaa? Sisäiseen luonnokseen, työkaveriin, asiakkaaseen tai asukkaaseen, rahaan vai kolmanteen osapuoleen?
- Syntyykö sitoumus tai oikeusvaikutus? Henkilöä koskeva päätös, maksu, sopimus tai viesti, joka lähtee organisaatiosi nimissä.
- Kuinka usein ja kuinka nopeasti? Toimi, joka toistuu tuhansia kertoja päivässä, tarvitsee eri hallintakeinon kuin toimi, joka tehdään kahdesti viikossa.
Vastausten perusteella jokainen toimi sijoittuu yhdelle neljästä tasosta. Useimmat organisaatiot huomaavat, että muutama toimi kantaa lähes koko riskin. Se on hyvä uutinen: hyväksyntätyö kuuluu juuri niihin.
| Taso | Tyypilliset toimet | Hallintakeino |
|---|---|---|
| 1 · Toimi ja kirjaa | Haku ja lukeminen käyttäjän omin oikeuksin, tiivistäminen, sisäisten muistiinpanojen luonnostelu | Ei hyväksyntää. Jokainen kutsu kirjataan syötteineen ja tuloksineen. |
| 2 · Toimi, ilmoita, salli peruminen | Luonnostietueen luominen, asian luokittelu tai ohjaus, sisäisen tehtävän ajoitus | Agentti toimii; omistaja saa ilmoituksen ja voi perua toimen sovitun ajan kuluessa. |
| 3 · Agentti ehdottaa, ihminen hyväksyy | Ulkoisen viestin lähettäminen, perustietojen muuttaminen, hakijalle näkyvän käsittelytilan muuttaminen | Agentti valmistelee toimen ja sen perusteet; nimetty rooli hyväksyy, muokkaa tai hylkää sen. |
| 4 · Ihminen päättää, agentti avustaa | Päätökset, joilla on oikeusvaikutuksia henkilöön, raja-arvon ylittävät maksut, kaikki kirjatun ohjeistuksen ulkopuolinen | Agentti kokoaa tosiasiat ja luonnostelee; päätös ja sen perustelut kuuluvat ihmiselle. |
Esimerkki kunnasta: kaupungin rakennusvalvonnassa agentti voi tarkistaa, ovatko rakennuslupahakemuksen liitteet täydelliset, ja luonnostella täydennyspyynnön hakijalle (taso 3). Lupapäätöksen tekee aina viranhaltija (taso 4). Hyvinvointialueen palvelukeskuksessa ajanvarauksen siirto sovittujen sääntöjen rajoissa voi puolestaan olla tason 2 toimi, jonka työntekijä voi perua. Tasot ovat suunnitteluväline, eivät oikeudellinen luokittelu. Tarkista ne omaan toimintaasi sovellettavia sääntöjä vasten. Tietosuoja-asetus antaa ihmisille erityisiä oikeuksia, kun kyse on pelkästään automaattiseen käsittelyyn perustuvista päätöksistä (avautuu ulkoiselle sivustolle), joilla on oikeusvaikutuksia tai vastaavia merkittäviä vaikutuksia (22 artikla). Suuririskisiltä järjestelmiltä tekoälysäädös edellyttää, että ihmiset voivat valvoa niitä tehokkaasti (avautuu ulkoiselle sivustolle) (14 artikla). Nämä velvoitteet osuvat yleensä tasolle 4.
Kuva 1
Havainnollistava työnkulkuLue kaavio tekstinä
Pyyntö tai asia saapuu. Agentti valmistelee toimesta luonnoksen, esimerkiksi vastauksen tai tilamuutoksen, ja liittää perusteet: käyttämänsä lähteet, soveltamansa säännön ja vaikutuksen, joka toimella on.
Hyväksyntäpisteessä nimetty henkilö hyväksyy, muokkaa tai hylkää ehdotuksen. Hylkäys perusteluineen palaa agentille ja säilytetään arviointia varten.
Vain hyväksytty toimi suoritetaan, ja sen suorittaa järjestelmä, jolle toimi kuuluu. Pyyntö, ehdotus, päätös, hyväksyjä ja aikaleimat kirjataan.
Signaalit, joiden on aina tavoitettava ihminen
Jotkin tilanteet nostavat toimen ylemmälle tasolle riippumatta sen tavallisesta paikasta. Rakenna ne työnkulkuun erillisinä tarkistuksina, jotta ne eivät riipu siitä, huomaako agentti ne.
- Syöte poikkeaa siitä, millä agentti on testattu: uusi asiakirjatyyppi, harvinainen kieli, puuttuvat tai ristiriitaiset kentät.
- Agentin hakemat lähteet ovat ristiriidassa, tai ehdotettu toimi nojaa johonkin, mihin agentti ei pysty viittaamaan.
- Summa, laajuus tai muutettavien tietueiden määrä ylittää asettamasi raja-arvon.
- Asia koskee arkaluonteista aluetta: terveystietoja, alaikäisiä, valitusta, riitaa tai vireillä olevaa muutoksenhakua.
- Agentti on jo yrittänyt uudelleen, tai taustajärjestelmä on palauttanut virheen.
Listasta puuttuu tarkoituksella yksi signaali: mallin oma varmuus. Kielimallit voivat esittää virheellisiä asioita sujuvasti. Yhdysvaltain standardointi- ja teknologiainstituutti NIST kutsuu tätä generatiivisen tekoälyn riskiprofiilissaan konfabulaatioksi (avautuu ulkoiselle sivustolle). Mallin itse ilmoittama varmuus voi olla yksi syöte, mutta sen rinnalla on oltava ulkoisia tarkistuksia, kuten validointisääntöjä ja vertailu tietojärjestelmän tietoihin. Se ei koskaan korvaa niitä.
Hyväksyntä, jonka ihminen oikeasti pystyy antamaan
Jatkuva ”hyväksytäänkö?” -kehotteiden virta opettaa ihmiset hyväksymään. Tekoälysäädös nimeää riskin suoraan: suuririskistä järjestelmää valvovien ihmisten on voitava pysyä tietoisina automaatiovinoumasta.
“pysyä tietoisina mahdollisesta taipumuksesta luottaa automaattisesti tai liiallisesti suuririskisen tekoälyjärjestelmän tuottamiin tuotoksiin”
Neljä suunnitteluratkaisua tekee tästä tietoisuudesta käytännöllistä.
Näytä perusteet, älä vain vastausta
Esitä ehdotettu toimi selkeällä kielellä, sen lähteet (linkit, jotka avautuvat oikeasta kohdasta), sääntö tai ohje, jota se soveltaa, ja tarkalleen se, mikä muuttuu missäkin järjestelmässä. Jos hyväksyjän on avattava kolme sovellusta tarkistaakseen ehdotuksen, hän lakkaa kiireessä tarkistamasta.
Tee ”ei” yhtä helpoksi kuin ”kyllä”
Hylkäys ja muokkaus ovat tavallisia lopputuloksia, eivät poikkeuksia. Sijoita ne hyväksynnän viereen, pyydä hylkäyksestä lyhyt perustelu ja hyödynnä perusteluja arvioinnissa. Jos ehdotuksen muokkaaminen on työläämpää kuin sen kirjoittaminen alusta, ihmiset hyväksyvät puutteellisia ehdotuksia.
Anna hyväksyntä roolille, jolla on valtuudet
Hyväksyntä kuuluu nimetylle roolille, jolla on osaaminen, koulutus ja valtuudet ohittaa järjestelmä. Suuririskisten tekoälyjärjestelmien käyttöönottajilta tekoälysäädös edellyttää juuri tätä (26 artiklan 2 kohta (avautuu ulkoiselle sivustolle)). Nimeä varahenkilö ja eskalointipolku, ja mittaa, kuinka kauan asiat odottavat. Jono, jolla ei ole omistajaa, muuttuu pullonkaulaksi, joka saa tiimit kiertämään hyväksynnän.
Käsittele erissä vain aidosti vähäriskiset
Neljänkymmenen lähes samanlaisen kohteen läpikäynti yksi kerrallaan ei tee kenestäkään huolellisempaa. Tason 2 toimissa voi sallia eräkohtaisen tarkastuksen ja satunnaisotannan. Pidä tasojen 3 ja 4 kohteet yksittäin käsiteltävinä.
Pakota hyväksyntä järjestelmässä, ei kehotteessa
Kehotteeseen kirjoitettu ohje ei ole pääsynhallintaa. Agentin lukema teksti, kuten sähköposti, asiakirja tai verkkosivu, voi sisältää omia ohjeitaan. OWASP kutsuu tätä kehoteinjektioksi (avautuu ulkoiselle sivustolle) (prompt injection). Jos agentin ja peruuttamattoman toimen välissä on vain yksi lause sen ohjeissa, oleta, että lause ohitetaan jonain päivänä.
- Anna agentille oma identiteetti ja vain ne oikeudet, joita kukin työkalu tarvitsee, ja toimi pyytävän käyttäjän oikeuksin, jos alusta sen mahdollistaa.
- Pakota hyväksynnät integraatiokerroksessa: kirjeen lähettävä palvelu hylkää kutsun, ellei juuri tälle toimelle ole voimassa olevaa hyväksyntätietuetta.
- Aseta työkaluille summa-, määrä- ja tiheysrajat, jotka eivät riipu agentista.
- Pidä lukevat ja kirjoittavat työkalut erillään, jotta voit laajentaa sitä, mitä agentti näkee, laajentamatta sitä, mitä se saa tehdä.
Kirjaa se, mitä tarvitset myöhemmin perusteluun
Säilytä jokaisesta agentin ajosta pyyntö, haetut lähteet, jokainen työkalukutsu parametreineen, ehdotettu toimi, hyväksyjä, päätös, mahdolliset muokkaukset ja aikaleimat. Suuririskisten tekoälyjärjestelmien käyttöönottajien on säilytettävä automaattisesti syntyvät lokit vähintään kuusi kuukautta, ellei muussa laissa toisin säädetä (26 artiklan 6 kohta (avautuu ulkoiselle sivustolle)). Säilytä ne silloinkin, kun mikään sääntö ei sitä vaadi: lokeista opitaan.
Käy lokit läpi säännöllisesti. Toimet, jotka hyväksytään aina sellaisinaan, ovat ehdokkaita kevyemmälle tasolle. Usein muokattavat toimet kertovat agentin heikkoudesta tai kuuluvat tasoa ylemmäs. Jos hylkäykset kasautuvat yhteen lähteeseen, lomakkeeseen tai tiimiin, taustalla on yleensä prosessin ongelma, jota mikään malli ei korjaa.
Aloita suppeasti ja siirrä toimia kevyemmille tasoille
Aloita niin, että useimmat seurauksiltaan merkittävät toimet ovat tasoilla 3 ja 4. Sovi etukäteen, miltä hyvä näyttää: mitkä lopputulokset ovat oikeita, mitkä virheet ovat hyväksyttäviä ja mitkä eivät. Mittaa sitten näitä kriteerejä vasten, esimerkiksi käyttämällä NIST:n tekoälyn riskienhallinnan viitekehyksen (avautuu ulkoiselle sivustolle) mittaustoimintoja tarkistuslistana.
Siirrä toimi kevyemmälle tasolle vain näytön perusteella. Tarvitaan jakso, jolla hyväksynnät eivät vaatineet olennaisia muokkauksia, testit niillä tapauksilla, jotka menivät pieleen, ja prosessin omistajan hyväksyntä. Kirjaa päätös kuten minkä tahansa järjestelmämuutoksen, ja pidä mahdollisuus siirtää toimi takaisin.
Tekoälyn tuotos voi olla väärä. Se ei ole syy pitää agentteja erossa todellisesta työstä, vaan syy suunnitella, missä ihminen pitää ohjat. Agentit ovat hyödyllisiä, koska ne voivat toimia. Kun hyväksyntäpisteet sijoitetaan harkiten, agenteille voi ajan mittaan antaa enemmän tehtäviä.
Lähteet
- OWASP GenAI Security Project. LLM06:2025 Excessive Agency (viitattu )
- OWASP GenAI Security Project. LLM01:2025 Prompt Injection (viitattu )
- EUR-Lex. Asetus (EU) 2024/1689 (tekoälysäädös), 14 ja 26 artikla (viitattu )
- Euroopan komissio, AI Act Service Desk. 26 artikla: Suuririskisten tekoälyjärjestelmien käyttöönottajien velvollisuudet (viitattu )
- EUR-Lex. Asetus (EU) 2016/679 (yleinen tietosuoja-asetus), 22 artikla (viitattu )
- National Institute of Standards and Technology (NIST). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (viitattu )
- National Institute of Standards and Technology (NIST). AI Risk Management Framework (viitattu )
- Alankomaiden hallitus. Alankomaiden hallinnon algoritmirekisteri (viitattu )
Lue myös
- PalveluTekoälyagentit & automaatioAgentit ja työnkulut, jotka toimivat määrittämiesi oikeuksien rajoissa, kysyvät ennen merkittäviä vaiheita ja kirjaavat kaiken.
- ToimialaJulkinen sektoriSaavutettavat, turvalliset ja yhteentoimivat digitaaliset palvelut julkiselle sektorille.
- NäkökulmaTekoälysäädös julkiselle sektorille: mitä valmistella joulukuuhun 2027 mennessäVuonna 2026 muutettu tekoälysäädös soveltaa suuririskisiä järjestelmiä koskevia sääntöjä joulukuusta 2027, mutta suuri osa siitä on jo voimassa. Päivätty valmistelusuunnitelma julkisen sektorin käyttöönottajille ja Suomen valvontamalli.
- NäkökulmaMikä tekee organisaation tiedonhausta luotettavanViisi ominaisuutta ratkaisee, voiko omista asiakirjoista haettuihin vastauksiin luottaa: käyttöoikeudet, lähteet, ajantasaisuus, rehelliset aukot ja mitattu laatu.
Suunnitteletko agenttia, joka toimii järjestelmissäsi?
Autamme kartoittamaan toimet, sijoittamaan hyväksyntäpisteet ja rakentamaan integraatiot, jotka pakottavat ne. Prosessien omistajat ovat mukana alusta asti.