Kunskapssökning i organisationen som går att lita på

01Problemet med demon­strationen

Nästan alla kunskapsassistenter bygger på samma princip, hämtningsförstärkt generering (öppnar en extern webbplats) eller RAG: systemet letar fram avsnitt som passar frågan och låter en språkmodell formulera ett svar utifrån dem. Med femtio handplockade dokument i en mapp ser resultatet övertygande ut efter någon vecka.

I skarp drift är läget ett annat. Där finns tjugo års nätverksenheter, wikisidor, ärenden, avtal och anvisningar, ofta i flera exemplar, föråldrade eller sekretessbelagda, och i en tvåspråkig organisation dessutom i en finsk och en svensk version som inte alltid har hållits i takt. Under sådana förhållanden går assistenten fel på två sätt. Antingen svarar den fel och slutar användas, eller så svarar den fel med full övertygelse och någon handlar efter svaret.

Om sökningen ska gå att lita på avgörs därför mindre av modellen än av fem egenskaper i systemet kring den. Var och en går att bygga in och, lika viktigt, att pröva.

02Behörigheter: bara det användaren har rätt att läsa

Grundregeln är kort: ingen ska genom assistenten få se ett avsnitt som personen inte skulle få öppna i källsystemet. Frågan är var regeln verkställs. Har ett avsnitt väl nått modellen kan det också hamna i svaret. Därför ska behörigheterna tillämpas innan svaret genereras, i själva hämtningen och för just den som frågar.

Bland de största riskerna med tillämpningar som bygger på språkmodeller räknar OWASP både röjande av känslig information (öppnar en extern webbplats) och svagheter i vektorer och inbäddningar (öppnar en extern webbplats), till exempel att information läcker mellan behörighetsnivåer. Av det följer fyra krav.

• Varje textavsnitt i indexet bär med sig åtkomsträttigheterna för sitt källdokument, hämtade ur källsystemet och inte inmatade på nytt för hand.
• Filtreringen sker när frågan ställs, utifrån den inloggade användarens identitet och innan avsnitten rangordnas och svaret skrivs.
• Ändrade rättigheter synkroniseras minst lika fort som ändrat innehåll, och det finns en överenskommen tid inom vilken en indragen rättighet slår igenom.
• Testerna görs med verkliga roller. Frågan om en sommarvikarie kan hitta lönetabellerna hör hemma i testerna, inte i utredningen efter en incident.

03Spårbara källor som går att kontrollera

Varje uppgift i svaret ska kunna spåras till sitt avsnitt: dokumentets namn, version eller datum, vem som äger det och en länk som öppnar rätt ställe. Visa själva texten och inte bara dokumentnamnet, så ser läsaren direkt om källan verkligen säger det som påstås.

I en tvåspråkig organisation finns samma anvisning ofta på både finska och svenska. Svaret ges på användarens språk och hänvisar till källan på samma språk när en sådan version finns. Finns anvisningen bara på finska ska svaret säga det rakt ut och inte i det tysta hänvisa till en översättning som ingen har godkänt. Indexera språkversionerna som en helhet, så att systemet vet vilka dokument som hör ihop och kan visa när de inte stämmer överens.

Utforma svaren så att text utan stöd syns. Saknas ett hämtat avsnitt som bär upp en mening ska meningen strykas eller märkas. Gör sedan en automatisk kontroll där varje citerat avsnitt jämförs med den uppgift det ska stödja, och låt en person granska ett stickprov. Hänvisningar som finns men inte håller är ett vanligt fel som sällan märks.

04Aktualitet och giltighet

Kunskapen i en organisation finns i flera versioner. Både det gamla och det nya resereglementet passar frågan om man får resa i affärsklass, men svaren skiljer sig. Indexera därför de uppgifter som håller isär versionerna: datum då dokumentet börjar gälla, status (utkast, fastställt, ersatt) och ägare. Låt gällande, fastställda dokument komma först, håll ersatta dokument utanför om användaren inte uttryckligen frågar efter äldre versioner, och visa datumet vid varje källa. Se också till att den finska och den svenska versionen har samma status, så att en ersatt översättning inte lever vidare.

Bestäm för varje ämne vilken källa som är den gällande. Personalanvisningen hämtas från intranätets personalsidor, inte från ett e-postmeddelande som återger fjolårets text. Lägg upp en takt för indexeringen per källa, allt från nästan realtid för ärendeuppgifter till en gång per dygn för en wiki, och följ upp att den hålls: ett föråldrat index ger svar som verkar riktiga men inte är det.

05Ärliga luckor: ”Det hittade jag inget om”

Ibland är det bästa svaret att inget svar finns. Språkmodeller kan i flytande text påstå sådant som saknar grund, något som NIST i sin profil för generativ AI kallar konfabulering (öppnar en extern webbplats). När svaren förankras i hämtade avsnitt blir det mindre vanligt, men det försvinner inte. Att människor fattar beslut på felaktiga uppgifter behandlar OWASP som en egen risk, felaktig information (öppnar en extern webbplats).

Bestäm en gräns för relevans under vilken systemet svarar att det saknar en tillförlitlig källa och hänvisar till var frågan kan ställas i stället. När frågan gäller anvisningar, rättigheter eller skyldigheter ska modellen inte fylla i med allmänkunskap. Räkna sedan andelen obesvarade frågor per ämne och per språk. De första månaderna blir den listan ofta det mest värdefulla som projektet levererar, eftersom den visar dem som ansvarar för innehållet exakt var dokumentationen brister, också där den svenska eller den finska versionen saknas.

06Arkitekturen bakom egenskaperna

Ingenting av detta kräver ovanlig teknik. Det kräver att behörigheter, metadata och kontroller ingår i flödet från början och inte läggs till när demonstrationen redan är klar.

Personuppgifter behöver särskild omsorg. Också ett sökindex behandlar de personuppgifter som finns i dokumenten, och därför gäller dataskyddsförordningens principer om ändamålsbegränsning och uppgiftsminimering (öppnar en extern webbplats) i artikel 5. I Finland kompletteras förordningen av dataskyddslagen (1050/2018), med dataombudsmannen som tillsynsmyndighet. Ta inte med källor som användningsfallet inte behöver, se till att det som raderas i ett källsystem också försvinner ur indexet och räkna med indexet när någon begär att få ta del av sina uppgifter.

07Uppmätt kvalitet före och efter införandet

Hur pålitlig en assistent är går inte att avgöra med några provfrågor under ett möte. Kom överens med innehållsägarna om vad som är god kvalitet, och mät varje skikt för sig så att du vet var felet sitter.

Testfrågorna hämtas ur verkligheten: sökloggar, supportärenden och sådant som nyanställda brukar fråga. Ett par hundra frågor med svar som innehållsägarna har godkänt räcker långt i början; i en tvåspråkig organisation ska frågorna finnas på båda språken. Kör hela samlingen efter varje förändring, oavsett om det gäller en ny modell, ett nytt sätt att dela upp texterna eller en ny källa. Kvaliteten försämras i det tysta när innehållet ändras, och bara en fast testsamling avslöjar det.

08Så märker användaren att systemet håller

För den som använder assistenten syns allt detta i några konkreta drag. Svaren bygger bara på dokument som personen har rätt att läsa. Varje uppgift har en källa som går att öppna. Det framgår hur färsk källan är. När det saknas ett tillförlitligt svar sägs det rakt ut. Svaret kommer på personens eget språk, finska eller svenska. Och det märks att någon följer upp kvaliteten, eftersom ett felaktigt svar kan anmälas och sedan rättas.

Det AI producerar kan fortfarande vara fel, och vissa frågor ska hellre besvaras av en människa än av en sökning. Att bygga systemet öppet kring det är ingen svaghet. Det är just det som gör att människor vågar lita på det i allt annat.