Razvoj UIPodatki
Kaj naredi iskanje po znanju organizacije zanesljivo
Odgovore iz lastnih dokumentov je z umetno inteligenco (UI) lahko pokazati, težko pa jim je zaupati. Zaupanje izhaja iz petih lastnosti, ki jih lahko zasnujete, preizkusite in preizkušate naprej: pravice dostopa, izvor, ažurnost, iskrene vrzeli in merjena kakovost.
- Avtor
- Uredništvo FromNine
- Objavljeno
- Čas branja
- 5 min branja
Na kratko
- Pravice dostopa uveljavljajte ob iskanju, za vsakega uporabnika posebej in iz izvornih sistemov. Nikoli se ne zanašajte na to, da bo model zadržal odlomek, ki ga je že dobil.
- Vsaka trditev v odgovoru naj kaže na odlomek, ki ga človek v nekaj sekundah odpre in preveri, z vidnim datumom in statusom.
- Kakovost iskanja in odgovorov izmerite na resničnih vprašanjih pred zagonom in merite naprej, ker se vsebine in modeli spreminjajo.
Vsebina
Težava predstavitve
Večina asistentov za znanje sledi istemu vzorcu, imenovanemu generiranje, obogateno z iskanjem (odpre zunanje spletno mesto) (retrieval-augmented generation, RAG): poiščejo odlomke, ki se ujemajo z vprašanjem, nato jezikovni model napiše odgovor, ki temelji na teh odlomkih. Na urejeni mapi s petdesetimi dokumenti to v enem tednu deluje prepričljivo.
V produkciji je drugače. Dvajset let skupnih map, wikijev, zahtevkov, pogodb, internih aktov in navodil, mnogi podvojeni, zastareli ali zaupni. V takem okolju asistent odpove na dva načina. Da napačen odgovor in ljudje ga nehajo uporabljati. Ali, še huje, napačen odgovor da samozavestno in ljudje po njem ravnajo.
Zanesljivo iskanje po znanju je zato manj odvisno od modela in bolj od petih lastnosti sistema okoli njega. Vsako je mogoče zasnovati in, kar je pomembno, preizkusiti.
Pravice dostopa: poiščite le, kar uporabnik sme brati
Pravilo je preprosto: asistent nikomur ne sme pokazati odlomka, ki ga ta ne bi mogel odpreti v izvornem sistemu. Ključno je, kje se pravilo uveljavlja. Če odlomek pride do modela, računajte s tem, da se lahko pojavi v odgovoru. Pravice je zato treba uporabiti pred generiranjem, ob iskanju, za uporabnika, ki sprašuje.
OWASP med glavnimi tveganji aplikacij z jezikovnimi modeli navaja tako razkritje občutljivih informacij (odpre zunanje spletno mesto) kot slabosti vektorjev in vdelav (odpre zunanje spletno mesto), vključno z uhajanjem prek meja pravic dostopa. V praksi iz tega sledijo štiri zahteve.
- Pravice dostopa vsakega izvornega dokumenta shranite z vsakim delom besedila v indeksu, prevzete iz izvornega sistema in ne ročno na novo določene.
- Ob poizvedbi filtrirajte po teh pravicah, z identiteto prijavljenega uporabnika, pred razvrščanjem in generiranjem.
- Spremembe pravic sinhronizirajte vsaj tako hitro kot spremembe vsebine in se dogovorite, kako hitro mora odvzeta pravica začeti učinkovati.
- Preizkušajte z resničnimi vlogami. Vprašanje »Ali pripravnik najde plačne razrede?« sodi v nabor testov, ne v analizo po incidentu.
Izvor: navedbe, ki jih človek lahko preveri
Vsaka trditev v odgovoru naj kaže na odlomek, iz katerega izhaja: naslov dokumenta, različico ali datum, lastnika in povezavo, ki se odpre na pravem mestu. Pokažite sam odlomek, ne le imena dokumenta, da bralec v nekaj sekundah vidi, ali navedba podpira stavek.
Obliko odgovora zasnujte tako, da nepodprto besedilo izstopa. Če stavka ne podpira noben najdeni odlomek, naj ga sistem izpusti ali označi. To nato preverjajte samodejno: vsak navedeni odlomek primerjajte s trditvijo, ki naj bi jo podpiral, in rezultate vzorčno dajte v pregled ljudem. Navedbe, ki obstajajo, a trditve ne podpirajo, so pogosta in tiha napaka.
Ažurnost in veljavnost
Znanje organizacije ima različice. Stari in novi interni akt o službenih potovanjih se oba ujemata z vprašanjem »ali lahko letim v poslovnem razredu?«, odgovarjata pa različno. Indeksirajte metapodatke, ki ju ločijo: datum začetka veljavnosti, status (osnutek, sprejet, nadomeščen) in lastnika. Veljavne, sprejete dokumente razvrstite prve, nadomeščene izključite, razen če uporabnik sprašuje po zgodovini, in v vsaki navedbi pokažite datum.
Za vsako temo določite, kateri vir je merodajen. Pri organu državne uprave ali banki to pomeni na primer, da kadrovska pravila pridejo iz zbirke internih aktov, ne iz e-sporočila, ki navaja lanskoletno različico. Za vsak vir določite ritem ponovnega indeksiranja, od skoraj sprotnega za podatke o zadevah do dnevnega za wiki, in ga spremljajte: zastarel indeks daje odgovore, ki so videti pravilni, pa niso.
Iskrene vrzeli: »tega nisem našel«
Pogosto je najdragocenejši odgovor iskreno priznana vrzel. Jezikovni modeli lahko tvorijo tekoče trditve, ki jih nič ne podpira, kar NIST v svojem profilu generativne UI imenuje konfabulacija (odpre zunanje spletno mesto). Opiranje na najdene odlomke to zmanjša, ne odpravi pa. OWASP posledico, ko ljudje ravnajo po napačnem izhodu, obravnava kot samostojno tveganje z imenom napačne informacije (odpre zunanje spletno mesto).
Določite prag ustreznosti, pod katerim sistem pove, da ni našel zanesljivega vira, in predlaga, koga vprašati. Pri vprašanjih o pravilih, pravicah ali obveznostih modelu ne dovolite, da vrzeli zapolni s splošnim znanjem. Nato spremljajte delež vprašanj brez odgovora po temah. V prvih mesecih je ta seznam pogosto najkoristnejši rezultat celotnega projekta: lastnikom vsebin natančno pokaže, kje dokumentacija manjka.
Arhitektura za petimi lastnostmi
Nič od tega ne zahteva eksotične tehnologije. Zahteva pa, da so pravice dostopa, metapodatki in preverjanja polnopravni deli cevovoda, ne funkcije, dodane po predstavitvi.
Slika 1
Ponazoritveni potek delaPreberite diagram kot besedilo
Dokumenti se iz izvornih sistemov prevzamejo skupaj s pravicami dostopa in metapodatki, kot so datum, status in lastnik, ter indeksirajo.
Vprašanje pride skupaj z identiteto prijavljenega uporabnika. Filter pravic odstrani vsak odlomek, ki ga ta uporabnik ne sme brati, preden karkoli pride do modela.
Model pripravi osnutek odgovora z navedbami preostalih odlomkov. Preverjanje utemeljenosti vsako trditev primerja z navedenim odlomkom. Uporabnik dobi odgovor z navedbami ali iskreno sporočilo, da zanesljiv vir ni bil najden.
Osebni podatki zahtevajo izrecno pozornost. Indeks dokumentov je še vedno obdelava osebnih podatkov v njih, zato veljata načeli omejitve namena in najmanjšega obsega podatkov (odpre zunanje spletno mesto) iz 5. člena splošne uredbe o varstvu podatkov (GDPR). Izpustite vire, ki jih primer uporabe ne potrebuje, poskrbite, da izbrisi v izvornem sistemu dosežejo indeks, in indeks vključite, ko odgovarjate na zahtevo za dostop do podatkov.
Merjena kakovost, pred zagonom in po njem
Zanesljivosti ne morete oceniti tako, da na sestanku preizkusite nekaj vprašanj. Z lastniki vsebin se dogovorite o merilih kakovosti in vsako plast merite posebej, da veste, kje težavo odpraviti.
| Plast | Vprašanje | Kako meriti |
|---|---|---|
| Iskanje | So bili najdeni pravi odlomki? | Priklic in natančnost na označenem naboru resničnih vprašanj |
| Utemeljenost | Ali vsako trditev podpira njena navedba? | Samodejno preverjanje trditev proti odlomkom in vzorčni pregled ljudi |
| Odgovor | Je odgovor pravilen, popoln in uporaben? | Strokovni pregled vzorca po dogovorjenih merilih |
| Dostop | Je kdo videl kaj, česar ne bi smel? | Nabor testov pravic za vsako vlogo, ob vsaki spremembi indeksa ali povezovalnika |
| Uporaba | Se ljudje nanj zanašajo in kje odpove? | Povratne informacije, delež vprašanj brez odgovora po temah, dodatna vprašanja, stopnjevanja |
Nabor testov sestavite iz resničnih vprašanj: dnevnikov iskanja, zahtevkov službe za pomoč uporabnikom in vprašanj, ki jih postavljajo novi sodelavci. Nekaj sto vprašanj z odgovori, o katerih so se dogovorili lastniki vsebin, je praktičen začetek. Celoten nabor poženite ob vsaki spremembi, naj gre za nov model, novo razdeljevanje besedila ali nov vir. Kakovost tiho drsi, ko se vsebine spreminjajo, in le stalen nabor testov to naredi vidno.
Kako je zanesljivost videti uporabniku
Za ljudi, ki asistenta uporabljajo, se vse to skrči na nekaj opaznih lastnosti. Asistent odgovarja le iz dokumentov, ki jih smejo brati. Vsaka trditev ima navedbo, ki jo lahko odprejo. Vidijo, kako ažuren je vir. Jasno jim pove, kadar zanesljivega odgovora ni. In vedo, da nekdo meri kakovost, ker lahko prijavijo napačen odgovor in vidijo, da je popravljen.
Izhodni podatki UI so lahko še vedno napačni, nekatera vprašanja pa si zaslužijo človeka in ne iskalnika. Če to odkrito upoštevate pri zasnovi, to ni slabost sistema. Prav zaradi tega se ljudje nanj zanesejo pri vsem drugem.
Viri
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis in sod., 2020) (pridobljeno )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (pridobljeno )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (pridobljeno )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (pridobljeno )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (pridobljeno )
- EUR-Lex. Uredba (EU) 2016/679 (Splošna uredba o varstvu podatkov), 5. člen (pridobljeno )
Preberite še
- StoritevRazvoj UI in generativna UIIskanje po virih, izbira modelov, vrednotenje in LLMOps za generativno umetno inteligenco, ki zdrži v produkciji.
- RešitevDostop do znanjaOdgovori iz vaših dokumentov, omejeni na to, kar sme posameznik videti, z virom za vsako trditev.
- ČlanekKje agenti UI potrebujejo odobritev človekaAgenti lahko pripravijo skoraj vse. Praktičen način, kako določiti, katera dejanja smejo izvesti sami in pri katerih mora pritrditi človek.
- ČlanekAkt o umetni inteligenci za javni sektor: kaj pripraviti do decembra 2027Po spremembah iz leta 2026 se pravila za visokotvegane sisteme UI uporabljajo od decembra 2027, veliko pa jih velja že danes. Načrt z datumi za organe javnega sektorja v Sloveniji.
Želite, da bo znanje vaše organizacije dostopno z iskanjem?
Asistente za znanje gradimo na vaših obstoječih virih, s pravicami dostopa, navedbami in naborom testov, o katerem se z lastniki vsebin dogovorimo že v prvem sprintu.