Pålitlig kunskapssökning i organisationen

01Problemet med demonstrationen

De flesta kunskapsassistenter följer samma mönster, som kallas hämtningsförstärkt generering (öppnar en extern webbplats) (retrieval-augmented generation, RAG): hitta de avsnitt som matchar en fråga och låt sedan en språkmodell skriva ett svar som bygger på dem. På en utvald mapp med femtio dokument fungerar det övertygande inom en vecka.

I drift ser det annorlunda ut. Tjugo år av gemensamma filytor, wikier, ärenden, avtal, styrdokument och rutiner, många av dem dubbletter, inaktuella eller sekretessbelagda. Tänk på en statlig myndighet med flera generationer av riktlinjer, eller ett försäkringsbolag med villkor i många versioner. Där misslyckas assistenten på två sätt. Den ger ett felaktigt svar och människor slutar använda den. Eller, värre, den ger ett felaktigt svar med säkerhet och människor agerar på det.

Pålitlig kunskapssökning handlar därför mindre om modellen och mer om fem egenskaper hos systemet runt den. Var och en kan utformas och, viktigast, testas.

02Behörigheter: hämta bara det som användaren får läsa

Regeln är enkel: assistenten får aldrig visa någon ett avsnitt som personen inte kunde öppna i källsystemet. Det som avgör är var regeln upprätthålls. Om ett avsnitt når modellen, utgå från att det kan dyka upp i svaret. Behörigheterna måste därför tillämpas före genereringen, vid sökningen, för den användare som frågar.

OWASP räknar både röjande av känslig information (öppnar en extern webbplats) och svagheter i vektorer och inbäddningar (öppnar en extern webbplats), bland annat läckage över behörighetsgränser, till de största riskerna i applikationer med språkmodeller. I praktiken leder det till fyra krav.

• Spara åtkomsträttigheterna för varje källdokument tillsammans med varje textavsnitt i indexet, hämtade från källsystemet och inte definierade på nytt för hand.
• Filtrera på rättigheterna vid frågetillfället, med den inloggade användarens identitet, före rankning och generering.
• Synkronisera ändrade behörigheter minst lika snabbt som ändrat innehåll, och kom överens om hur snabbt en återkallad rättighet ska få effekt.
• Testa med verkliga roller. ”Kan en praktikant hitta lönelistorna?” hör hemma i testsviten, inte i en utredning efter en incident.

03Källhänvisningar som en människa kan kontrollera

Varje påstående i ett svar ska peka på det avsnitt det kommer från: dokumentets titel, version eller datum, ägare och en länk som öppnas på rätt ställe. Visa själva avsnittet, inte bara dokumentnamnet, så att läsaren på några sekunder ser om hänvisningen stöder meningen.

Utforma svarsformatet så att text utan stöd sticker ut. Om inget hämtat avsnitt stöder en mening ska systemet utelämna den eller markera den. Kontrollera sedan detta automatiskt: jämför varje hänvisat avsnitt med påståendet det ska stödja, och låt en människa granska ett urval av resultaten. Hänvisningar som finns men inte stöder påståendet är ett vanligt och tyst fel.

04Aktualitet och auktoritet

Kunskapen i en organisation har versioner. Den gamla resepolicyn och den nya matchar båda frågan ”får jag boka business class?”, och de ger olika svar. Indexera de metadata som skiljer dem åt: datum då dokumentet börjar gälla, status (utkast, fastställt, upphävt) och ägare. Ranka gällande, fastställda dokument först, uteslut upphävda om inte användaren frågar efter historiken, och visa datumet i varje hänvisning.

Bestäm per ämne vilken källa som är styrande. Personalpolicyn kommer från HR-portalen, inte från ett mejl som citerar förra årets version. Bestäm en takt för omindexering per källa, från nästan realtid för ärendedata till en gång om dagen för en wiki, och övervaka den: ett inaktuellt index ger svar som ser rätt ut men inte är det.

05Ärliga luckor: ”jag hittade inget om detta”

Ofta är det mest värdefulla svaret en ärlig lucka. Språkmodeller kan formulera flytande påståenden som inte har stöd i något, vilket NIST kallar konfabulering (öppnar en extern webbplats) i sin profil för generativ AI. Att förankra svaren i hämtade avsnitt minskar problemet men tar inte bort det. OWASP behandlar följden, att människor agerar på felaktiga utdata, som en egen risk under felinformation (öppnar en extern webbplats).

Sätt en relevansgräns under vilken systemet säger att det inte hittade någon tillförlitlig källa, och föreslår var användaren kan fråga i stället. För frågor om riktlinjer, rättigheter eller skyldigheter: låt inte modellen fylla luckor med allmän kunskap. Följ sedan andelen frågor utan svar per ämne. De första månaderna är den listan ofta projektets mest användbara resultat: den visar innehållsägarna exakt var dokumentationen saknas.

06Arkitekturen bakom de fem egenskaperna

Inget av detta kräver en exotisk teknikstack. Det kräver att behörigheter, metadata och kontroller är fullvärdiga delar av kedjan och inte funktioner som läggs till efter demonstrationen.

Personuppgifter kräver särskild uppmärksamhet. Ett index över dokument är fortfarande en behandling av personuppgifterna i dem, så principerna om ändamålsbegränsning och uppgiftsminimering (öppnar en extern webbplats) i dataskyddsförordningen (artikel 5) gäller. Utelämna källor som användningsfallet inte behöver, se till att det som raderas i ett källsystem också försvinner ur indexet, och ta med indexet när du besvarar en begäran om registerutdrag från en registrerad.

07Mätt kvalitet, före och efter lansering

Du kan inte bedöma hur pålitligt systemet är genom att pröva några frågor på ett möte. Kom överens om kvalitetskriterier med dem som äger innehållet och mät varje lager för sig, så att du vet var ett problem ska rättas.

Bygg testuppsättningen av verkliga frågor: sökloggar, ärenden till supporten, frågor som nya kollegor ställer. Några hundra frågor med svar som innehållsägarna har godkänt är en praktisk start. Kör hela uppsättningen vid varje ändring, oavsett om det är en ny modell, ett nytt sätt att dela upp texten eller en ny källa. Kvaliteten glider tyst när innehållet ändras, och bara en fast testuppsättning gör glidningen synlig.

08Hur pålitligt ser ut för användaren

För dem som använder assistenten handlar allt detta om några få beteenden som går att se. Assistenten svarar bara utifrån dokument som de får läsa. Varje påstående har en hänvisning som de kan öppna. De ser hur aktuell en källa är. De får veta rakt ut när det inte finns något tillförlitligt svar. Och de vet att någon mäter kvaliteten, eftersom de kan rapportera ett felaktigt svar och se det rättas.

AI kan fortfarande ha fel, och vissa frågor förtjänar en människa snarare än en sökning. Att utforma för det öppet är ingen svaghet hos systemet. Det är det som gör att människor vill lita på det i allt annat.