Hvad gør videnssøgning i organisationen troværdig

01Problemet med demonstrationen

De fleste videnassistenter følger det samme mønster, kendt som retrieval-augmented generation (åbner et eksternt websted) (RAG): find de passager der passer til et spørgsmål, og lad en sprogmodel skrive et svar der bygger på dem. På en udvalgt mappe med halvtreds dokumenter virker det overbevisende inden for en uge.

I drift ser det anderledes ud. Tyve års fællesdrev, wikier, supportsager, kontrakter og retningslinjer, mange af dem dubletter, forældede eller fortrolige. Her fejler assistenten på to måder. Den giver et forkert svar, og folk holder op med at bruge den. Eller værre: den giver et forkert svar med stor sikkerhed, og folk handler på det.

Troværdig videnssøgning handler derfor mindre om modellen og mere om fem egenskaber ved systemet omkring den. Hver af dem kan designes og, vigtigst, testes.

02Rettigheder: find kun det brugeren må læse

Reglen er enkel: assistenten må aldrig vise nogen en passage som de ikke kunne åbne i kildesystemet. Det afgørende er hvor reglen håndhæves. Når en passage når frem til modellen, så gå ud fra at den kan dukke op i svaret. Rettighederne skal derfor anvendes før svaret genereres, når der søges, og for den bruger der spørger.

OWASP nævner både videregivelse af følsomme oplysninger (åbner et eksternt websted) og svagheder i vektorer og embeddings (åbner et eksternt websted), herunder lækage på tværs af rettighedsgrænser, blandt de største risici ved applikationer med sprogmodeller. I praksis fører det til fire krav.

• Gem adgangsrettighederne for hvert kildedokument sammen med hvert tekststykke i indekset, hentet fra kildesystemet i stedet for at blive defineret igen i hånden.
• Filtrér på disse rettigheder i søgeøjeblikket med den indloggede brugers identitet, før rangering og generering.
• Synkronisér ændringer i rettigheder mindst lige så hurtigt som ændringer i indhold, og aftal hvor hurtigt en fjernet rettighed skal slå igennem.
• Test med rigtige roller. »Kan en praktikant finde lønoversigten?« hører hjemme i testsættet, ikke i en gennemgang efter en hændelse.

03Kildehenvisning: henvisninger en person kan kontrollere

Hvert udsagn i et svar skal pege på den passage det kommer fra: dokumentets titel, version eller dato, ejer og et link der åbner det rette sted. Vis selve passagen, ikke kun dokumentets navn, så læseren på få sekunder kan se om henvisningen understøtter sætningen. En sagsbehandler i en kommune der spørger til praksis på et område, skal kunne se hvilken vejledning og hvilken version svaret bygger på.

Design svarformatet så tekst uden belæg skiller sig ud. Hvis ingen fundet passage understøtter en sætning, skal systemet udelade den eller markere den. Kontrollér det derefter automatisk: sammenlign hver henvist passage med det udsagn den skal understøtte, og tag stikprøver til menneskelig gennemgang. Henvisninger der findes, men ikke understøtter udsagnet, er en almindelig og stille fejl.

04Aktualitet og autoritet

Viden i en organisation har versioner. Den gamle og den nye rejsepolitik passer begge til spørgsmålet »må jeg bestille business class?«, og de giver forskellige svar. Indeksér de metadata der skiller dem ad: gyldighedsdato, status (udkast, godkendt, erstattet) og ejer. Rangér aktuelle, godkendte dokumenter først, udelad erstattede dokumenter, medmindre brugeren beder om historikken, og vis datoen i hver henvisning.

Beslut for hvert emne hvilken kilde der er autoritativ. Personalepolitikken kommer fra HR-portalen, ikke fra en e-mail der citerer sidste års version. Fastlæg en rytme for genindeksering for hver kilde, fra næsten realtid for sagsdata til dagligt for en wiki, og overvåg den: et forældet indeks giver svar der ser rigtige ud uden at være det.

05Ærlige huller: »det kunne jeg ikke finde«

Ofte er det mest værdifulde svar et ærligt hul. Sprogmodeller kan skrive flydende udsagn som intet understøtter, hvad NIST kalder konfabulation (åbner et eksternt websted) i sin profil for generativ AI. At forankre svaret i fundne passager mindsker problemet, men fjerner det ikke. OWASP behandler følgevirkningen, at folk handler på forkert output, som en selvstændig risiko under misinformation (åbner et eksternt websted).

Sæt en relevansgrænse hvor systemet under grænsen siger at det ikke fandt en pålidelig kilde, og foreslår hvor man i stedet kan spørge. Ved spørgsmål om retningslinjer, rettigheder eller pligter må modellen ikke fylde huller ud med generel viden. Følg derefter andelen af spørgsmål uden svar, fordelt på emner. I de første måneder er den liste ofte det mest nyttige resultat af hele projektet: den viser indholdsejerne præcis hvor dokumentationen mangler.

06Arkitekturen bag de fem egenskaber

Intet af dette kræver en eksotisk teknologistak. Det kræver at rettigheder, metadata og kontroller er fuldgyldige dele af pipelinen og ikke funktioner der tilføjes efter demonstrationen.

Personoplysninger kræver særlig opmærksomhed. Et indeks over dokumenter er stadig en behandling af de personoplysninger der står i dem, så databeskyttelsesforordningens principper om formålsbegrænsning og dataminimering (åbner et eksternt websted) (artikel 5) gælder. Udelad kilder som brugsscenariet ikke har brug for, sørg for at sletninger i et kildesystem også når indekset, og tag indekset med, når du besvarer en anmodning om indsigt. I Danmark fører Datatilsynet tilsyn med reglerne.

07Målt kvalitet, før og efter idriftsættelse

Du kan ikke vurdere troværdighed ved at prøve et par spørgsmål på et møde. Aftal kvalitetskriterier med dem der ejer indholdet, og mål hvert lag for sig, så du ved hvor et problem skal løses.

Byg testsættet af rigtige spørgsmål: søgelogge, supportsager, de spørgsmål nye kolleger stiller. Et par hundrede spørgsmål med svar som indholdsejerne har godkendt, er en praktisk start. Kør hele sættet ved hver ændring, uanset om det er en ny model, en ny måde at opdele teksten på eller en ny kilde. Kvaliteten glider stille, når indholdet ændrer sig, og kun et fast testsæt gør den glidning synlig.

08Sådan ser troværdighed ud for brugeren

For dem der bruger assistenten, koger det hele ned til nogle få synlige egenskaber. Assistenten svarer kun ud fra dokumenter de må læse. Hvert udsagn har en henvisning de kan åbne. De kan se hvor aktuel en kilde er. De får klar besked, når der ikke findes et pålideligt svar. Og de ved at nogen måler kvaliteten, fordi de kan melde et forkert svar og se det blive rettet.

AI-output kan stadig være forkert, og nogle spørgsmål fortjener en person frem for en søgning. At designe åbent for det er ikke en svaghed ved systemet. Det er det der gør folk villige til at stole på det i resten af tilfældene.