Co dělá firemní vyhledávání ve znalostech důvěryhodným

01Problém předváděcí ukázky

Většina znalostních asistentů funguje podle stejného vzoru, kterému se říká generování rozšířené o vyhledávání (retrieval-augmented generation, RAG) (otevře externí web): najde pasáže, které odpovídají otázce, a jazykový model pak napíše odpověď opřenou o tyto pasáže. Nad pečlivě vybranou složkou padesáti dokumentů to do týdne přesvědčivě funguje.

Provoz vypadá jinak. Dvacet let sdílených disků, wiki, tiketů, smluv a směrnic, z nichž mnohé jsou zdvojené, zastaralé nebo důvěrné. Tam asistent selhává dvojím způsobem. Dá špatnou odpověď a lidé ho přestanou používat. Nebo, což je horší, dá špatnou odpověď sebejistě a lidé se podle ní zařídí.

Důvěryhodné vyhledávání ve znalostech proto stojí méně na modelu a více na pěti vlastnostech systému kolem něj. Platí to pro ministerstvo, jehož pracovníci hledají v interních směrnicích a metodikách, stejně jako pro dodavatele automobilového průmyslu s návody k údržbě nebo pro krajskou nemocnici a její postupy. Každou z těchto vlastností lze navrhnout a, což je důležité, otestovat.

02Oprávnění: vyhledat jen to, co uživatel smí číst

Pravidlo je jednoduché: asistent nesmí nikomu ukázat pasáž, kterou by ten člověk nemohl otevřít ve zdrojovém systému. Rozhoduje místo, kde se pravidlo vynucuje. Pokud se pasáž dostane k modelu, počítejte s tím, že se může objevit v odpovědi. Oprávnění se proto musí uplatnit před generováním, při vyhledávání, pro uživatele, který se ptá.

OWASP řadí mezi hlavní rizika aplikací s jazykovými modely jak únik citlivých informací (otevře externí web), tak slabiny vektorů a embeddingů (otevře externí web), včetně úniku přes hranice oprávnění. V praxi z toho plynou čtyři požadavky.

• U každé části dokumentu v indexu uložte přístupová práva zdrojového dokumentu, převzatá ze zdrojového systému, ne nově definovaná ručně.
• Při dotazu filtrujte podle těchto práv s identitou přihlášeného uživatele, a to před řazením výsledků a generováním.
• Změny oprávnění synchronizujte nejméně tak rychle jako změny obsahu a dohodněte se, jak rychle se musí odebrané právo projevit.
• Testujte se skutečnými rolemi. Otázka „Najde praktikant platové tabulky?“ patří do testovací sady, ne do rozboru po incidentu.

03Původ: citace, které člověk ověří

Každé tvrzení v odpovědi má odkazovat na pasáž, ze které pochází: název dokumentu, verzi nebo datum, vlastníka a odkaz, který se otevře na správném místě. Ukažte samotnou pasáž, nejen název dokumentu, aby čtenář během několika sekund viděl, zda citace větu skutečně podporuje.

Formát odpovědi navrhněte tak, aby nepodložený text byl vidět. Pokud větu nepodporuje žádná nalezená pasáž, systém ji má vynechat, nebo označit. Pak to kontrolujte automaticky: porovnejte každou citovanou pasáž s tvrzením, které má podporovat, a výsledky namátkově předávejte lidem ke kontrole. Citace, které existují, ale tvrzení nepodporují, jsou častou a nenápadnou chybou.

04Aktuálnost a závaznost

Znalosti organizace mají verze. Stará i nová cestovní směrnice odpovídají na otázku „mohu letět business třídou?“, a každá jinak. Indexujte metadata, která je odliší: datum účinnosti, stav (koncept, schváleno, nahrazeno) a vlastníka. Aktuální schválené dokumenty řaďte na první místo, nahrazené vylučte, pokud se uživatel výslovně neptá na historii, a v každé citaci ukažte datum. Ve veřejné správě to platí dvojnásob: interní směrnice a metodiky se mění a nahrazují a asistent musí pracovat se zněním, které právě platí.

Pro každé téma určete, který zdroj je závazný. Personální směrnice pochází z personálního portálu, ne z e-mailu, který cituje loňskou verzi. Pro každý zdroj nastavte rytmus přeindexování, od téměř reálného času u dat případů po denní u wiki, a sledujte ho: zastaralý index dává odpovědi, které vypadají správně, a nejsou.

05Poctivé mezery: „spolehlivý zdroj jsem nenašel“

Nejcennější odpovědí bývá poctivě přiznaná mezera. Jazykové modely umějí vytvářet plynulá tvrzení, která nic nepodporuje; NIST to ve svém profilu generativní AI nazývá konfabulací (otevře externí web). Opření o nalezené pasáže to omezuje, ale neodstraňuje. OWASP považuje navazující dopad, tedy to, že lidé jednají podle nepravdivého výstupu, za samostatné riziko v kategorii dezinformace (misinformation) (otevře externí web).

Stanovte práh relevance, pod kterým systém řekne, že spolehlivý zdroj nenašel, a doporučí, kde se zeptat jinde. U otázek na pravidla, práva nebo povinnosti nenechte model zaplňovat mezery obecnými znalostmi. Pak sledujte podíl otázek bez odpovědi podle témat. V prvních měsících bývá tento seznam nejužitečnějším výstupem celého projektu: vlastníkům obsahu přesně ukáže, kde dokumentace chybí.

06Architektura za pěti vlastnostmi

Nic z toho nevyžaduje exotickou technologii. Vyžaduje to, aby oprávnění, metadata a kontroly byly plnohodnotnou součástí zpracování, ne funkcemi přidanými až po předváděcí ukázce.

Zvláštní pozornost si zaslouží osobní údaje. Index dokumentů je stále zpracováním osobních údajů, které jsou v dokumentech obsažené, takže platí zásady GDPR účelového omezení a minimalizace údajů (otevře externí web) (článek 5). Vynechte zdroje, které daný případ užití nepotřebuje, zajistěte, aby se výmazy ve zdrojovém systému promítly do indexu, a index zahrňte do odpovědi na žádost o přístup. Dozorovým úřadem v Česku je Úřad pro ochranu osobních údajů (ÚOOÚ).

07Měřená kvalita před spuštěním i po něm

Důvěryhodnost nelze posoudit tím, že na poradě vyzkoušíte pár otázek. Kritéria kvality dohodněte s lidmi, kteří obsah vlastní, a každou vrstvu měřte zvlášť, abyste věděli, kde problém opravit.

Testovací sadu sestavte ze skutečných otázek: z vyhledávacích logů, z tiketů helpdesku a z otázek, které kladou noví kolegové. Několik set otázek s odpověďmi odsouhlasenými vlastníky obsahu je praktický začátek. Celou sadu spusťte při každé změně, ať jde o nový model, nové dělení dokumentů nebo nový zdroj. Kvalita se při změnách obsahu tiše posouvá a jen pevná testovací sada ten posun zviditelní.

08Jak důvěryhodnost vypadá pro uživatele

Pro lidi, kteří asistenta používají, se to všechno sejde v několika pozorovatelných vlastnostech. Asistent odpovídá jen z dokumentů, které smějí číst. Každé tvrzení má citaci, kterou mohou otevřít. Vidí, jak aktuální je zdroj. Jasně se dozvědí, když spolehlivá odpověď neexistuje. A vědí, že kvalitu někdo měří, protože mohou nahlásit špatnou odpověď a vidět, že se opravila.

Výstup AI může být i tak chybný a některé otázky si zaslouží člověka, ne vyhledávání. Otevřeně s tím počítat není slabina systému. Právě díky tomu se na něj lidé ve všem ostatním spolehnou.