TI-arendusAndmed
Mis teeb ettevõtte teadmusotsingu usaldusväärseks
Küsimustele vastamist teie enda dokumentidest on lihtne demonstreerida ja raske usaldada. Usaldus tuleb viiest omadusest, mida saab kavandada, testida ja pidevalt edasi testida: õigused, päritolu, ajakohasus, ausad lüngad ja mõõdetud kvaliteet.
- Autor
- FromNine’i toimetus
- Avaldatud
- Lugemisaeg
- 5 min lugemist
Lühidalt
- Jõustage juurdepääsuõigused otsingu hetkel, iga kasutaja jaoks eraldi ja lähtesüsteemide põhjal. Ärge lootke, et mudel jätab välja lõigu, mille ta on juba kätte saanud.
- Iga väide vastuses peab viitama lõigule, mille inimene saab mõne sekundiga avada ja üle kontrollida, ning lõigu kuupäev ja olek peavad olema nähtavad.
- Mõõtke otsingu ja vastuste kvaliteeti päris küsimuste põhjal enne käivitamist ja ka pärast seda, sest sisu ja mudelid muutuvad teie teadmata.
Sisukord
Demonstratsiooni probleem
Enamik teadmusassistente järgib sama mustrit, mida nimetatakse otsinguga täiendatud genereerimiseks (avab välise veebisaidi) (retrieval-augmented generation, RAG): süsteem leiab küsimusele vastavad lõigud ja keelemudel kirjutab neile tuginedes vastuse. Viiekümnest hoolikalt valitud dokumendist koosneva kausta peal töötab see veenvalt juba nädalaga.
Tootmises on pilt teine. Kahekümne aasta jagatud kettad, vikid, tugipöördumised, lepingud ja korrad, paljud neist dubleeritud, aegunud või konfidentsiaalsed. Sellises keskkonnas ebaõnnestub assistent kahel viisil. Ta annab vale vastuse ja inimesed lõpetavad selle kasutamise. Või, mis veel hullem, annab ta vale vastuse enesekindlalt ja inimesed tegutsevad selle järgi.
Usaldusväärne teadmusotsing sõltub seega vähem mudelist ja rohkem viiest omadusest seda ümbritsevas süsteemis. Igaüht neist saab kavandada ja, mis kõige olulisem, testida.
Õigused: leidke ainult see, mida kasutaja tohib lugeda
Reegel on lihtne: assistent ei tohi kunagi näidata kellelegi lõiku, mida ta ei saaks lähtesüsteemis avada. Oluline on, kus seda reeglit jõustatakse. Kui lõik jõuab mudelini, eeldage, et see võib vastuses ilmuda. Seepärast tuleb õigusi rakendada enne genereerimist, otsingu hetkel ja küsiva kasutaja jaoks.
OWASP loetleb keelemudelite rakenduste peamiste riskide hulgas nii tundliku teabe avalikustamise (avab välise veebisaidi) kui ka vektorite ja vektoresituste nõrkused (avab välise veebisaidi) (embeddings), sealhulgas lekke üle õiguste piiride. Praktikas tuleneb sellest neli nõuet.
- Salvestage iga lähtedokumendi juurdepääsuõigused indeksis iga tekstilõigu juurde. Võtke need lähtesüsteemist, ärge määrake neid käsitsi uuesti.
- Filtreerige nende õiguste järgi päringu ajal, sisse loginud kasutaja identiteedi põhjal, enne järjestamist ja genereerimist.
- Sünkroonige õiguste muudatusi vähemalt sama kiiresti kui sisu muudatusi ja leppige kokku, kui kiiresti peab tühistatud õigus jõustuma.
- Testige päris rollidega. „Kas praktikant leiab palgaastmestiku?“ kuulub testikomplekti, mitte intsidendi järelanalüüsi.
Päritolu: viited, mida inimene saab kontrollida
Iga väide vastuses peab viitama lõigule, millest see pärineb: dokumendi pealkiri, versioon või kuupäev, omanik ja link, mis avaneb õigest kohast. Näidake lõiku ennast, mitte ainult dokumendi nime, et lugeja näeks mõne sekundiga, kas viide lauset toetab.
Kujundage vastuse vorm nii, et toetuseta tekst torkab silma. Kui ükski leitud lõik lauset ei toeta, peab süsteem selle välja jätma või märgistama. Seejärel kontrollige seda automaatselt: võrrelge iga viidatud lõiku väitega, mida see peaks toetama, ja laske inimesel tulemustest valim üle vaadata. Viited, mis on olemas, kuid väidet ei toeta, on sage ja vaikne viga.
Ajakohasus ja autoriteet
Organisatsiooni teadmusel on versioonid. Vana ja uus lähetuskord vastavad mõlemad küsimusele „kas ma võin broneerida äriklassi?“ ja annavad erineva vastuse. Indekseerige metaandmed, mis neid eristavad: kehtivuse algus, olek (mustand, kinnitatud, asendatud) ja omanik. Järjestage kehtivad ja kinnitatud dokumendid ettepoole, jätke asendatud dokumendid välja, kui kasutaja ei küsi ajalugu, ja näidake kuupäeva igas viites.
Otsustage teemade kaupa, milline allikas on autoriteetne. Personalikord tuleb personaliportaalist, mitte e-kirjast, mis tsiteerib selle eelmise aasta versiooni. Määrake iga allika uuesti indekseerimise rütm, juhtumiandmete puhul peaaegu reaalajas ja viki puhul kord päevas, ning jälgige seda: aegunud indeks annab vastuseid, mis näevad õiged välja, kuid ei ole.
Ausad lüngad: „Ma ei leidnud seda“
Sageli on kõige väärtuslikum vastus aus lünk. Keelemudelid võivad luua sujuvaid väiteid, mida miski ei toeta; USA riiklik standardite ja tehnoloogia instituut (NIST) nimetab seda oma generatiivse TI profiilis konfabulatsiooniks (avab välise veebisaidi). Leitud lõikudele tuginemine vähendab seda, kuid ei kõrvalda. OWASP käsitleb selle tagajärge, inimeste tegutsemist väära väljundi põhjal, eraldi riskina nimetuse väärinfo (avab välise veebisaidi) all.
Seadke asjakohasuse lävi, millest allpool ütleb süsteem, et usaldusväärset allikat ei leitud, ja soovitab, kust küsida. Kordi, õigusi või kohustusi puudutavates küsimustes ärge laske mudelil lünki üldteadmistega täita. Jälgige vastuseta jäänud küsimuste osakaalu teemade kaupa. Esimestel kuudel on see loetelu sageli kogu projekti kõige kasulikum tulemus: see näitab sisu omanikele täpselt, kus dokumentatsioon puudub.
Viie omaduse taga olev arhitektuur
Selleks ei ole vaja eksootilist tehnoloogiat. Vaja on, et õigused, metaandmed ja kontrollid oleksid töövoo täisväärtuslikud osad, mitte funktsioonid, mis lisatakse pärast demonstratsiooni.
Joonis 1
Illustreeriv töövoogLugege joonist tekstina
Dokumendid võetakse lähtesüsteemidest koos juurdepääsuõiguste ja metaandmetega, nagu kuupäev, olek ja omanik, ning indekseeritakse.
Küsimus saabub koos sisse loginud kasutaja identiteediga. Õiguste filter eemaldab iga lõigu, mida see kasutaja lugeda ei tohi, enne kui midagi mudelini jõuab.
Mudel koostab vastuse mustandi, mis viitab allesjäänud lõikudele. Allikakontroll võrdleb iga väidet viidatud lõiguga. Kasutaja saab kas viidetega vastuse või ausa teate, et usaldusväärset allikat ei leitud.
Isikuandmed vajavad eraldi tähelepanu. Dokumentide indeks on endiselt neis sisalduvate isikuandmete töötlemine, seega kehtivad isikuandmete kaitse üldmääruse (IKÜM) eesmärgi piirangu ja võimalikult väheste andmete kogumise (avab välise veebisaidi) põhimõtted (artikkel 5). Jätke välja allikad, mida kasutusjuhtum ei vaja, veenduge, et lähtesüsteemis kustutatud andmed kaovad ka indeksist, ja arvestage indeksiga, kui vastate andmetega tutvumise taotlusele. Eestis teeb IKÜM-i täitmise üle järelevalvet Andmekaitse Inspektsioon.
Mõõdetud kvaliteet enne ja pärast käivitamist
Usaldusväärsust ei saa hinnata, proovides koosolekul paari küsimust. Leppige kvaliteedikriteeriumid kokku sisu omanikega ja mõõtke iga kihti eraldi, et teaksite, kust probleemi parandada.
| Kiht | Küsimus | Kuidas mõõta |
|---|---|---|
| Otsing | Kas tulid tagasi õiged lõigud? | Saagis ja täpsus (recall, precision) märgendatud päris küsimuste kogumi põhjal |
| Allikatugi | Kas iga väidet toetab selle viide? | Automaatne väite ja lõigu võrdlus ning inimese tehtud valimikontroll |
| Vastus | Kas vastus on õige, täielik ja kasulik? | Eksperdi hinnang valimile kokkulepitud kriteeriumide järgi |
| Juurdepääs | Kas keegi nägi midagi, mida ta ei tohtinud näha? | Rollipõhine õiguste testikomplekt, mis käivitatakse iga indeksi või konnektori muudatuse korral |
| Kasutus | Kas inimesed tuginevad sellele ja kus see ebaõnnestub? | Tagasiside, vastuseta küsimuste osakaal teemade kaupa, jätkuküsimused, eskaleerimised |
Koostage testikogum päris küsimustest: otsingulogidest, kasutajatoe pöördumistest, küsimustest, mida uued kolleegid küsivad. Mõnisada küsimust koos sisu omanikega kokku lepitud vastustega on praktiline algus. Käivitage kogu kogum iga muudatuse korral, olgu see uus mudel, uus tükeldamise viis või uus allikas. Kvaliteet triivib sisu muutudes vaikselt ja ainult püsiv testikogum teeb selle triivi nähtavaks.
Mida usaldusväärsus kasutajale tähendab
Kasutajate jaoks taandub see kõik mõnele jälgitavale käitumisele. Assistent vastab ainult dokumentidest, mida nad tohivad lugeda. Igal väitel on viide, mida saab avada. Nad näevad, kui ajakohane allikas on. Neile öeldakse otse, kui usaldusväärset vastust ei ole. Ja nad teavad, et keegi mõõdab kvaliteeti, sest nad saavad valest vastusest teada anda ja näha, et see parandatakse.
TI väljund võib endiselt olla vale ja mõni küsimus vajab otsingu asemel inimest. Selle avatud arvestamine ei ole süsteemi nõrkus. Just see paneb inimesi ülejäänus sellele tuginema.
Allikad
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (vaadatud )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (vaadatud )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (vaadatud )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (vaadatud )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (vaadatud )
- EUR-Lex. Määrus (EL) 2016/679 (isikuandmete kaitse üldmäärus), artikkel 5 (vaadatud )
Lugege edasi
- TeenusTI-arendus ja generatiivne TIOtsing, mudelistrateegia, hindamine ja LLMOps generatiivsele tehisintellektile, mis peab vastu ka tootmiskeskkonnas.
- LahendusTeadmusotsingVastused teie enda dokumentidest, piiratud sellega, mida igaüks tohib näha, ja iga väite juures allikas.
- ArtikkelKus vajavad TI-agendid inimese kinnitustTI-agent suudab ette valmistada peaaegu kõike. Praktiline viis otsustada, milliseid toiminguid võib ta lõpule viia üksi ja millised vajavad inimese kinnitust.
- ArtikkelTehisintellekti määrus avalikule sektorile: mida valmistada ette detsembriks 20272026. aastal muudetud tehisintellekti määrus kohaldab suure riskiga süsteemide reegleid alates detsembrist 2027, kuid suur osa sellest kehtib juba täna. Kuupäevadega ettevalmistuskava avaliku sektori juurutajatele.
Soovite muuta oma teadmuse otsitavaks?
Ehitame teadmusassistente teie olemasolevatele allikatele, koos õiguste, viidete ja sisu omanikega kokku lepitud testikogumiga juba esimesest sprindist.