DI inžinerijaDuomenys
Kas daro organizacijos žinių paiešką patikimą
Atsakymus iš savų dokumentų lengva pademonstruoti, bet sunku jais pasitikėti. Pasitikėjimą kuria penkios savybės, kurias galima suprojektuoti, išbandyti ir nuolat tikrinti: prieigos teisės, šaltinių kilmė, aktualumas, sąžiningai pripažintos spragos ir išmatuota kokybė.
- Autorius
- FromNine redakcija
- Paskelbta
- Skaitymo trukmė
- 5 min. skaitymo
Svarbiausia
- Prieigos teises taikykite paieškos metu, kiekvienam naudotojui, pagal šaltinių sistemas. Niekada nesitikėkite, kad modelis nuslėps ištrauką, kurią jau gavo.
- Kiekvienas atsakymo teiginys turi rodyti į ištrauką, kurią žmogus gali atsidaryti ir patikrinti per kelias sekundes, matydamas jos datą ir statusą.
- Paieškos ir atsakymų kokybę išmatuokite su tikrais klausimais prieš paleidimą ir matuokite toliau, nes turinys ir modeliai nuolat keičiasi.
Turinys
Demonstracijos problema
Dauguma žinių asistentų veikia pagal tą patį principą, vadinamą paieška papildytu generavimu (atidaroma išorinė svetainė) (angl. retrieval-augmented generation, RAG): randamos su klausimu susijusios ištraukos, o kalbos modelis pagal jas parašo atsakymą. Su kruopščiai atrinktu penkiasdešimties dokumentų aplanku tai įtikinamai veikia jau po savaitės.
Realioje aplinkoje viskas kitaip. Dvidešimt metų kaupti bendri diskai, vikiai, užklausos, sutartys ir tvarkos, daugelis jų dubliuojasi, yra pasenę ar konfidencialūs. Tokioje aplinkoje asistentas suklysta dviem būdais. Jis pateikia klaidingą atsakymą, ir žmonės nustoja juo naudotis. Arba, kas dar blogiau, jis užtikrintai pateikia klaidingą atsakymą, ir žmonės pagal jį veikia.
Todėl patikima žinių paieška mažiau priklauso nuo modelio ir daugiau nuo penkių aplink jį veikiančios sistemos savybių. Kiekvieną iš jų galima suprojektuoti ir, svarbiausia, išbandyti. Jos vienodai galioja ministerijai, kurios darbuotojai ieško atsakymų įstatymuose, Vyriausybės nutarimuose ir ministro įsakymuose, valstybės įstaigai su daugybe vidaus tvarkų ir metodikų ar medienos apdirbimo įmonei, kurios technikai ieško įrangos priežiūros instrukcijų.
Prieigos teisės: rodykite tik tai, ką naudotojas gali skaityti
Taisyklė paprasta: asistentas niekada neturi parodyti ištraukos, kurios žmogus negalėtų atsidaryti šaltinio sistemoje. Svarbiausia, kur ši taisyklė užtikrinama. Jei ištrauka pasiekia modelį, laikykite, kad ji gali atsirasti atsakyme. Todėl prieigos teisės turi būti taikomos prieš generavimą, paieškos metu, klausiančiam naudotojui.
OWASP tarp pagrindinių kalbos modelių taikomųjų programų rizikų nurodo ir jautrios informacijos atskleidimą (atidaroma išorinė svetainė), ir vektorių bei įterpinių silpnybes (atidaroma išorinė svetainė), įskaitant nutekėjimą per prieigos teisių ribas. Praktiškai tai virsta keturiais reikalavimais.
- Kiekvieno šaltinio dokumento prieigos teises saugokite indekse su kiekviena ištrauka, imdami jas iš šaltinio sistemos, o ne apibrėždami iš naujo rankiniu būdu.
- Užklausos metu filtruokite pagal tas teises, naudodami prisijungusio naudotojo tapatybę, dar prieš rikiavimą ir generavimą.
- Prieigos teisių pakeitimus sinchronizuokite bent taip pat greitai kaip turinio pakeitimus ir susitarkite, per kiek laiko atšaukta teisė turi įsigalioti.
- Testuokite su tikrais vaidmenimis. Klausimas „ar praktikantas gali rasti darbo užmokesčio lenteles?“ turi būti testų rinkinyje, o ne incidento analizėje.
Kilmė: citatos, kurias žmogus gali patikrinti
Kiekvienas atsakymo teiginys turi rodyti į ištrauką, iš kurios jis paimtas: dokumento pavadinimą, versiją ar datą, savininką ir nuorodą, atsidarančią reikiamoje vietoje. Rodykite pačią ištrauką, ne tik dokumento pavadinimą, kad skaitytojas per kelias sekundes matytų, ar citata pagrindžia sakinį.
Atsakymo formatą sukurkite taip, kad nepagrįstas tekstas išsiskirtų. Jei sakinio nepagrindžia jokia rasta ištrauka, sistema turi jį praleisti arba pažymėti. Tada tai tikrinkite automatiškai: palyginkite kiekvieną cituojamą ištrauką su teiginiu, kurį ji turėtų pagrįsti, o dalį rezultatų atrankos būdu peržiūrėkite rankiniu būdu. Citatos, kurios yra, bet teiginio nepagrindžia, yra dažna ir sunkiai pastebima klaida.
Aktualumas ir autoritetas
Organizacijos žinios turi versijas. Ir senoji, ir naujoji komandiruočių tvarka atitinka klausimą „ar galiu skristi verslo klase?“, bet atsakymai skiriasi. Indeksuokite metaduomenis, kurie jas atskiria: įsigaliojimo datą, statusą (projektas, patvirtinta, nebegalioja) ir savininką. Pirmiausia rodykite galiojančius patvirtintus dokumentus, negaliojančius praleiskite, nebent naudotojas klausia apie istoriją, ir kiekvienoje citatoje rodykite datą. Institucijose tas pats galioja teisės aktams: įsakymas gali būti pakeistas ar pripažintas netekusiu galios, todėl asistentas turi remtis galiojančia redakcija.
Kiekvienai temai nuspręskite, kuris šaltinis yra autoritetingas. Personalo tvarka imama iš personalo portalo, o ne iš el. laiško, cituojančio pernykštę jos versiją. Kiekvienam šaltiniui nustatykite pakartotinio indeksavimo ritmą, nuo beveik realaus laiko bylų duomenims iki kartą per dieną vikiui, ir jį stebėkite: pasenęs indeksas pateikia atsakymus, kurie atrodo teisingi, bet tokie nėra.
Sąžiningos spragos: kai patikimo atsakymo nėra
Dažnai vertingiausias atsakymas yra sąžiningai pripažinta spraga. Kalbos modeliai gali pateikti sklandžių, bet niekuo nepagrįstų teiginių; NIST savo generatyvinio DI profilyje tai vadina konfabuliacija (atidaroma išorinė svetainė). Atsakymų grindimas rastomis ištraukomis tai sumažina, bet nepašalina. Pasekmę, kai žmonės veikia pagal klaidingą rezultatą, OWASP laiko atskira rizika ir aprašo ją kaip klaidingą informaciją (atidaroma išorinė svetainė).
Nustatykite aktualumo slenkstį, žemiau kurio sistema praneša neradusi patikimo šaltinio ir pasiūlo, kur kreiptis. Klausimuose apie tvarkas, teises ar pareigas neleiskite modeliui užpildyti spragų bendromis žiniomis. Tada stebėkite neatsakytų klausimų dalį pagal temas. Pirmaisiais mėnesiais šis sąrašas dažnai yra naudingiausias viso projekto rezultatas: jis turinio savininkams tiksliai parodo, kur trūksta dokumentacijos.
Architektūra, kuria remiasi penkios savybės
Tam nereikia egzotiškų technologijų. Reikia, kad prieigos teisės, metaduomenys ir patikros būtų visavertės duomenų srauto dalys, o ne funkcijos, pridėtos po demonstracijos.
Paveikslas 1
Iliustracinis darbo procesasSkaityti diagramą kaip tekstą
Dokumentai iš šaltinių sistemų paimami kartu su prieigos teisėmis ir metaduomenimis, pavyzdžiui, data, statusu ir savininku, ir indeksuojami.
Klausimas gaunamas kartu su prisijungusio naudotojo tapatybe. Prieigos filtras pašalina kiekvieną ištrauką, kurios tas naudotojas negali skaityti, dar prieš modeliui ką nors gaunant.
Modelis parengia atsakymą su nuorodomis į likusias ištraukas. Pagrįstumo patikra palygina kiekvieną teiginį su cituojama ištrauka. Naudotojas gauna arba atsakymą su citatomis, arba sąžiningą pranešimą, kad patikimo šaltinio nerasta.
Asmens duomenims reikia atskiro dėmesio. Dokumentų indeksas taip pat yra juose esančių asmens duomenų tvarkymas, todėl taikomi BDAR tikslo apribojimo ir duomenų kiekio mažinimo (atidaroma išorinė svetainė) principai (5 straipsnis). Neįtraukite šaltinių, kurių naudojimo atvejui nereikia, užtikrinkite, kad šaltinio sistemoje ištrinti duomenys būtų pašalinti ir iš indekso, o atsakydami į prašymą susipažinti su duomenimis įtraukite ir indeksą. Lietuvoje asmens duomenų apsaugą prižiūri Valstybinė duomenų apsaugos inspekcija (VDAI).
Išmatuota kokybė prieš paleidimą ir po jo
Patikimumo neįvertinsite susirinkime užduodami kelis klausimus. Kokybės kriterijus suderinkite su turinio savininkais ir kiekvieną sluoksnį matuokite atskirai, kad žinotumėte, kur taisyti problemą.
| Sluoksnis | Klausimas | Kaip matuoti |
|---|---|---|
| Paieška | Ar grįžo tinkamos ištraukos? | Išsamumas ir tikslumas (recall ir precision) pagal pažymėtą tikrų klausimų rinkinį |
| Pagrįstumas | Ar kiekvieną teiginį pagrindžia jo citata? | Automatinės teiginio ir ištraukos patikros bei atrankinė žmonių peržiūra |
| Atsakymas | Ar atsakymas teisingas, išsamus ir naudingas? | Ekspertų atliekama imties peržiūra pagal suderintus kriterijus |
| Prieiga | Ar kas nors pamatė tai, ko neturėjo matyti? | Prieigos testų rinkinys kiekvienam vaidmeniui, vykdomas po kiekvieno indekso ar jungties pakeitimo |
| Naudojimas | Ar žmonės juo pasikliauja ir kur jis klysta? | Atsiliepimai, neatsakytų klausimų dalis pagal temas, papildomi klausimai, eskalavimai |
Testų rinkinį sudarykite iš tikrų klausimų: paieškos žurnalų, pagalbos tarnybos užklausų, naujų kolegų klausimų. Praktiška pradžia yra keli šimtai klausimų su turinio savininkų suderintais atsakymais. Visą rinkinį vykdykite po kiekvieno pakeitimo, ar tai būtų naujas modelis, nauja skaidymo į ištraukas strategija, ar naujas šaltinis. Keičiantis turiniui kokybė tyliai prastėja, ir tik pastovus testų rinkinys tai parodo.
Kaip patikimumas atrodo naudotojui
Naudotojams visa tai virsta keliais pastebimais dalykais. Asistentas atsako tik pagal dokumentus, kuriuos jie gali skaityti. Kiekvienas teiginys turi citatą, kurią galima atsidaryti. Matyti, koks naujas yra šaltinis. Kai patikimo atsakymo nėra, tai pasakoma aiškiai. Ir jie žino, kad kokybė matuojama, nes gali pranešti apie klaidingą atsakymą ir matyti, kad jis ištaisytas.
DI rezultatai vis tiek gali būti klaidingi, o į kai kuriuos klausimus geriau atsako žmogus nei paieška. Atvirai į tai atsižvelgti projektuojant nėra sistemos silpnybė. Būtent tai ir leidžia žmonėms pasikliauti ja visais kitais atvejais.
Šaltiniai
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (žiūrėta )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (žiūrėta )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (žiūrėta )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (žiūrėta )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (žiūrėta )
- EUR-Lex. Reglamentas (ES) 2016/679 (Bendrasis duomenų apsaugos reglamentas, BDAR), 5 straipsnis (žiūrėta )
Skaitykite toliau
- PaslaugaDI inžinerija ir generatyvinis DIPaieška, modelių strategija, vertinimas ir LLMOps generatyviniam dirbtiniam intelektui, kuris patikimai veikia gamybinėje aplinkoje.
- SprendimasOrganizacijos žiniosAtsakymai iš Jūsų pačių dokumentų, tik tai, ką kiekvienas gali matyti, ir šaltinis kiekvienam teiginiui.
- ĮžvalgaKur DI agentams reikia žmogaus patvirtinimoAgentas gali parengti beveik viską. Praktiškas būdas nuspręsti, kuriuos veiksmus jis gali atlikti pats, o kuriems reikia žmogaus patvirtinimo.
- ĮžvalgaDirbtinio intelekto aktas viešojo sektoriaus institucijoms: ką parengti iki 2027 m. gruodžio2026 m. pakeistas Dirbtinio intelekto aktas didelės rizikos taisykles taikys nuo 2027 m. gruodžio, tačiau didelė jo dalis taikoma jau dabar. Planas su datomis viešojo sektoriaus diegėjams ir priežiūra Lietuvoje.
Norite, kad darbuotojai rastų atsakymus Jūsų dokumentuose?
Kuriame žinių asistentus, veikiančius su Jūsų esamais šaltiniais: su prieigos teisėmis, citatomis ir testų rinkiniu, kurį nuo pirmojo sprinto suderiname su turinio savininkais.