Co sprawia, że wyszukiwanie wiedzy w organizacji jest wiarygodne

01Problem demonstracji

Większość asystentów wiedzy działa według tego samego wzorca, nazywanego generowaniem wspomaganym wyszukiwaniem (otwiera stronę zewnętrzną) (retrieval-augmented generation, RAG): system znajduje fragmenty pasujące do pytania, a model językowy pisze odpowiedź opartą na tych fragmentach. Na starannie dobranym folderze z pięćdziesięcioma dokumentami działa to przekonująco już po tygodniu.

Środowisko produkcyjne wygląda inaczej. Dwadzieścia lat dysków sieciowych, wiki, zgłoszeń, umów i regulaminów, często zdublowanych, nieaktualnych lub poufnych. W takim środowisku asystent zawodzi na dwa sposoby. Daje błędną odpowiedź i ludzie przestają go używać. Albo, co gorsze, daje błędną odpowiedź z pewnością siebie, a ludzie na jej podstawie działają.

Wiarygodne wyszukiwanie wiedzy zależy więc mniej od modelu, a bardziej od pięciu cech systemu wokół niego. Każdą z nich można zaprojektować i, co ważne, przetestować.

02Uprawnienia: wyszukiwać tylko to, co użytkownik może przeczytać

Zasada jest prosta: asystent nigdy nie może pokazać nikomu fragmentu, którego ta osoba nie mogłaby otworzyć w systemie źródłowym. Liczy się miejsce, w którym zasada jest egzekwowana. Jeśli fragment trafi do modelu, trzeba założyć, że może pojawić się w odpowiedzi. Uprawnienia stosuje się więc przed generowaniem, w chwili wyszukiwania, dla osoby, która zadaje pytanie.

OWASP wymienia zarówno ujawnienie informacji wrażliwych (otwiera stronę zewnętrzną), jak i słabości wektorów i osadzeń (otwiera stronę zewnętrzną), w tym wycieki ponad granicami uprawnień, wśród głównych ryzyk aplikacji opartych na modelach językowych. W praktyce prowadzi to do czterech wymagań.

• Prawa dostępu każdego dokumentu źródłowego zapisuje się przy każdym fragmencie w indeksie, pobrane z systemu źródłowego, a nie zdefiniowane ręcznie od nowa.
• W chwili zapytania filtruje się według tych praw, na podstawie tożsamości zalogowanego użytkownika, przed rankingiem i generowaniem.
• Zmiany uprawnień synchronizuje się co najmniej tak szybko jak zmiany treści i uzgadnia, jak szybko odebrane prawo ma przestać działać.
• Testy obejmują prawdziwe role. Pytanie „czy praktykant znajdzie tabele wynagrodzeń?” należy do zestawu testów, a nie do analizy po incydencie.

03Pochodzenie: cytowania, które człowiek może sprawdzić

Każde stwierdzenie w odpowiedzi powinno wskazywać fragment, z którego pochodzi: tytuł dokumentu, wersję lub datę, właściciela i link, który otwiera się we właściwym miejscu. Warto pokazać sam fragment, a nie tylko nazwę dokumentu, aby czytelnik w kilka sekund ocenił, czy cytowanie potwierdza zdanie.

Format odpowiedzi warto zaprojektować tak, aby tekst bez oparcia w źródłach się wyróżniał. Jeśli żaden znaleziony fragment nie potwierdza zdania, system powinien je pominąć albo oznaczyć. Potem trzeba to sprawdzać automatycznie: porównywać każdy cytowany fragment ze stwierdzeniem, które ma potwierdzać, i kierować próbkę wyników do przeglądu przez ludzi. Cytowania, które istnieją, ale nie potwierdzają stwierdzenia, to częsty i cichy błąd.

04Aktualność i autorytet źródła

Wiedza organizacji ma wersje. Stary i nowy regulamin podróży służbowych pasują do pytania „czy mogę zarezerwować klasę biznes?” i dają różne odpowiedzi. Trzeba indeksować metadane, które je odróżniają: datę obowiązywania, status (projekt, zatwierdzony, zastąpiony) i właściciela. Aktualne, zatwierdzone dokumenty powinny być na pierwszym miejscu, zastąpione wykluczone, chyba że użytkownik pyta o historię, a data powinna być widoczna w każdym cytowaniu.

Dla każdego tematu trzeba ustalić, które źródło jest rozstrzygające. Regulamin kadrowy pochodzi z portalu kadrowego, a nie z e-maila, który cytuje jego zeszłoroczną wersję. Tak samo procedury szpitala wojewódzkiego pochodzą z jego systemu dokumentacji, a instrukcje utrzymania ruchu w zakładzie produkcyjnym z aktualnej dokumentacji technicznej. Rytm ponownego indeksowania ustala się dla każdego źródła, od niemal bieżącego dla danych spraw po codzienny dla wiki, i monitoruje: nieaktualny indeks daje odpowiedzi, które wyglądają poprawnie, a nie są.

05Uczciwe luki: „Nie znaleziono tej informacji”

Często najcenniejszą odpowiedzią jest uczciwe przyznanie się do luki. Modele językowe potrafią formułować płynne stwierdzenia, których nic nie potwierdza; NIST w swoim profilu generatywnej AI nazywa to konfabulacją (otwiera stronę zewnętrzną). Oparcie odpowiedzi na znalezionych fragmentach to ogranicza, ale nie eliminuje. OWASP traktuje dalszy skutek, czyli działanie ludzi na podstawie fałszywego wyniku, jako odrębne ryzyko pod nazwą dezinformacji (otwiera stronę zewnętrzną).

Warto ustalić próg trafności, poniżej którego system mówi, że nie znalazł wiarygodnego źródła, i podpowiada, gdzie zapytać. Przy pytaniach o zasady, prawa i obowiązki model nie powinien uzupełniać luk wiedzą ogólną. Następnie śledzi się odsetek pytań bez odpowiedzi według tematów. W pierwszych miesiącach ta lista jest często najbardziej użytecznym wynikiem całego projektu: pokazuje właścicielom treści dokładnie, gdzie brakuje dokumentacji.

06Architektura stojąca za pięcioma cechami

Nic z tego nie wymaga egzotycznej technologii. Wymaga natomiast, aby uprawnienia, metadane i kontrole były pełnoprawną częścią potoku, a nie funkcjami dodanymi po demonstracji.

Dane osobowe wymagają szczególnej uwagi. Indeks dokumentów nadal jest przetwarzaniem zawartych w nich danych osobowych, więc stosuje się zasady RODO dotyczące ograniczenia celu i minimalizacji danych (otwiera stronę zewnętrzną) (art. 5). Warto pominąć źródła, których dane zastosowanie nie potrzebuje, zadbać, aby usunięcia w systemie źródłowym docierały do indeksu, i uwzględniać indeks przy odpowiadaniu na żądanie dostępu do danych. W Polsce RODO uzupełnia ustawa z dnia 10 maja 2018 r. o ochronie danych osobowych, a organem nadzorczym jest Prezes UODO.

07Mierzona jakość, przed uruchomieniem i po nim

Wiarygodności nie da się ocenić, zadając kilka pytań na spotkaniu. Kryteria jakości warto uzgodnić z właścicielami treści i mierzyć każdą warstwę osobno, aby wiedzieć, gdzie naprawić problem.

Zestaw testowy buduje się z prawdziwych pytań: logów wyszukiwania, zgłoszeń do helpdesku, pytań zadawanych przez nowych pracowników. Kilkaset pytań z odpowiedziami uzgodnionymi z właścicielami treści to praktyczny początek. Pełny zestaw uruchamia się przy każdej zmianie, czy to nowego modelu, nowej strategii dzielenia dokumentów, czy nowego źródła. Jakość zmienia się po cichu, gdy zmieniają się treści, a tylko stały zestaw testowy pozwala to zauważyć.

08Jak wiarygodność wygląda dla użytkownika

Dla osób, które z niego korzystają, wszystko to sprowadza się do kilku widocznych zachowań. Asystent odpowiada tylko na podstawie dokumentów, które wolno im czytać. Każde stwierdzenie ma cytowanie, które mogą otworzyć. Widzą, jak aktualne jest źródło. Gdy nie ma wiarygodnej odpowiedzi, słyszą to wprost. I wiedzą, że ktoś mierzy jakość, bo mogą zgłosić błędną odpowiedź i zobaczyć, że została poprawiona.

Wynik AI nadal może być błędny, a niektóre pytania wymagają człowieka, a nie wyszukiwarki. Otwarte projektowanie z myślą o tym nie jest słabością systemu. To właśnie sprawia, że w pozostałych sprawach ludzie chcą na nim polegać.