Čo robí vyhľadávanie vo firemných znalostiach dôveryhodným

01Problém ukážky

Väčšina znalostných asistentov stojí na rovnakom princípe, známom ako retrieval-augmented generation (otvorí externú stránku) (RAG): systém nájde úryvky, ktoré zodpovedajú otázke, a jazykový model z nich napíše odpoveď. Na vybranom priečinku s päťdesiatimi dokumentmi to do týždňa funguje presvedčivo.

Prevádzka vyzerá inak. Dvadsať rokov zdieľaných diskov, wiki, tiketov, zmlúv, interných smerníc a metodických pokynov, mnohé z nich duplicitné, zastarané alebo dôverné. V takom prostredí asistent zlyháva dvoma spôsobmi. Odpovie nesprávne a ľudia ho prestanú používať. Alebo, čo je horšie, odpovie nesprávne a sebaisto a ľudia podľa toho konajú.

Dôveryhodné vyhľadávanie vo firemných znalostiach preto menej závisí od modelu a viac od piatich vlastností systému okolo neho. Každú z nich možno navrhnúť a, čo je dôležité, otestovať.

02Oprávnenia: nájsť len to, čo používateľ smie čítať

Pravidlo je jednoduché: asistent nikdy nesmie nikomu ukázať úryvok, ktorý by ten človek nemohol otvoriť v zdrojovom systéme. Podstatné je, kde sa pravidlo vynucuje. Ak sa úryvok dostane k modelu, počítajte s tým, že sa môže objaviť v odpovedi. Oprávnenia sa preto musia uplatniť pred generovaním, už pri vyhľadávaní, a to pre používateľa, ktorý sa pýta.

OWASP medzi hlavnými rizikami aplikácií s jazykovými modelmi uvádza únik citlivých informácií (otvorí externú stránku) aj slabiny vektorov a embeddingov (otvorí externú stránku) vrátane úniku cez hranice oprávnení. V praxi z toho vyplývajú štyri požiadavky.

• Prístupové práva každého zdrojového dokumentu uložte v indexe ku každému úseku textu a preberajte ich zo zdrojového systému, neurčujte ich ručne nanovo.
• Pri dopyte filtrujte podľa týchto práv a podľa identity prihláseného používateľa, ešte pred zoraďovaním a generovaním.
• Zmeny oprávnení synchronizujte aspoň tak rýchlo ako zmeny obsahu a dohodnite sa, do kedy sa musí odobraté právo prejaviť.
• Testujte so skutočnými rolami. Otázka „nájde praktikant platové tabuľky?“ patrí do testovacej sady, nie do rozboru incidentu.

03Pôvod: citácie, ktoré si človek overí

Každé tvrdenie v odpovedi má odkazovať na úryvok, z ktorého pochádza: názov dokumentu, verziu alebo dátum, vlastníka a odkaz, ktorý sa otvorí na správnom mieste. Zobrazte samotný úryvok, nielen názov dokumentu, aby čitateľ za pár sekúnd videl, či citácia vetu naozaj podporuje. Pri metodickom pokyne to znamená číslo pokynu, dátum účinnosti a konkrétny bod.

Formát odpovede navrhnite tak, aby nepodložený text vynikol. Ak vetu nepodporuje žiadny nájdený úryvok, systém ju vynechá alebo označí. Potom to kontrolujte automaticky: porovnajte každý citovaný úryvok s tvrdením, ktoré má podporiť, a výsledky na vzorke posúďte aj ľudsky. Citácie, ktoré existujú, ale tvrdenie nepodporujú, sú častou a nenápadnou chybou.

04Aktuálnosť a záväznosť

Znalosti organizácie majú verzie. Stará aj nová smernica o pracovných cestách odpovedajú na otázku „môžem si rezervovať business class?“, a každá inak. Indexujte metadáta, ktoré ich rozlišujú: dátum účinnosti, stav (návrh, schválené, zrušené) a vlastníka. Aktuálne schválené dokumenty raďte na prvé miesto, zrušené vylúčte, ak sa používateľ výslovne nepýta na históriu, a dátum zobrazte pri každej citácii.

Pre každú tému určte, ktorý zdroj je záväzný. Personálna smernica pochádza z personálneho portálu, nie z e-mailu, ktorý cituje jej minuloročné znenie. V banke platí to isté pre interné predpisy k úverovému procesu alebo k poznaniu klienta. Pre každý zdroj nastavte rytmus opätovného indexovania, od takmer okamžitého pri údajoch o prípadoch po denný pri wiki, a sledujte ho: zastaraný index dáva odpovede, ktoré vyzerajú správne, ale nie sú.

05Priznané medzery: „Toto som nenašiel“

Najcennejšou odpoveďou je často priznaná medzera. Jazykové modely dokážu napísať plynulé tvrdenia, ktoré nič nepodopiera; NIST to vo svojom profile pre generatívnu AI nazýva konfabuláciou (otvorí externú stránku). Ukotvenie v nájdených úryvkoch to obmedzuje, ale neodstraňuje. OWASP považuje následný efekt, keď ľudia konajú podľa nepravdivého výstupu, za samostatné riziko pod názvom dezinformácie (otvorí externú stránku) (misinformation).

Nastavte prah relevancie, pod ktorým systém povie, že nenašiel spoľahlivý zdroj, a navrhne, kde sa opýtať. Pri otázkach o pravidlách, právach a povinnostiach nedovoľte modelu dopĺňať medzery zo všeobecných znalostí. Potom sledujte podiel otázok bez odpovede podľa tém. V prvých mesiacoch je tento zoznam často najužitočnejším výstupom celého projektu: vlastníkom obsahu presne ukáže, kde dokumentácia chýba.

06Architektúra za piatimi vlastnosťami

Nič z toho si nevyžaduje exotické technológie. Vyžaduje to, aby oprávnenia, metadáta a kontroly boli plnohodnotnou súčasťou spracovania, nie funkciami doplnenými po ukážke.

Osobné údaje si zaslúžia osobitnú pozornosť. Index dokumentov je stále spracúvaním osobných údajov, ktoré dokumenty obsahujú, preto platia zásady GDPR obmedzenia účelu a minimalizácie údajov (otvorí externú stránku) (článok 5). Vynechajte zdroje, ktoré daný prípad použitia nepotrebuje, zabezpečte, aby sa vymazanie v zdrojovom systéme prenieslo aj do indexu, a index zahrňte do odpovede na žiadosť dotknutej osoby o prístup.

07Meraná kvalita pred spustením aj po ňom

Dôveryhodnosť neposúdite tak, že na porade vyskúšate pár otázok. Kritériá kvality dohodnite s ľuďmi, ktorí za obsah zodpovedajú, a každú vrstvu merajte zvlášť, aby ste vedeli, kde problém opraviť.

Testovaciu sadu zostavte zo skutočných otázok: z logov vyhľadávania, tiketov helpdesku a otázok nových kolegov. Niekoľko stoviek otázok s odpoveďami, ktoré odsúhlasili vlastníci obsahu, je praktický začiatok. Celú sadu spustite pri každej zmene, či už ide o nový model, nový spôsob delenia textu, alebo nový zdroj. Kvalita sa pri zmenách obsahu potichu posúva a len pevná testovacia sada tento posun zviditeľní.

08Ako vyzerá dôveryhodnosť pre používateľa

Pre ľudí, ktorí asistenta používajú, sa to všetko zredukuje na niekoľko viditeľných znakov. Asistent odpovedá len z dokumentov, ktoré smú čítať. Každé tvrdenie má citáciu, ktorú otvoria. Vidia, aký aktuálny je zdroj. Keď spoľahlivá odpoveď neexistuje, dozvedia sa to priamo. A vedia, že kvalitu niekto meria, pretože nesprávnu odpoveď môžu nahlásiť a vidia, že sa opravila.

Výstup AI môže byť stále nesprávny a niektoré otázky si zaslúžia človeka, nie vyhľadávanie. Otvorene s tým počítať nie je slabina systému. Práve preto sa naň ľudia ochotne spoľahnú vo všetkom ostatnom.