Kas padara uzņēmuma zināšanu meklēšanu uzticamu

01Demonstrācijas problēma

Lielākā daļa zināšanu asistentu darbojas pēc viena principa, ko sauc par izguvē papildinātu ģenerēšanu (atver ārēju tīmekļvietni) (retrieval-augmented generation, RAG): atrod fragmentus, kas atbilst jautājumam, un liek valodas modelim uzrakstīt atbildi, kas balstīta šajos fragmentos. Ar atlasītu mapi, kurā ir piecdesmit dokumentu, tas nedēļas laikā darbojas pārliecinoši.

Reālajā darbībā aina ir cita. Divdesmit gadu koplietotie diski, vikivietnes, pieteikumi, līgumi un iekšējie noteikumi, daudzi no tiem dublēti, novecojuši vai konfidenciāli. Šādā vidē asistents kļūdās divējādi. Tas sniedz nepareizu atbildi, un cilvēki to pārstāj lietot. Vai, vēl sliktāk, tas sniedz nepareizu atbildi pārliecinoši, un cilvēki pēc tās rīkojas.

Tāpēc uzticama zināšanu meklēšana mazāk ir atkarīga no modeļa un vairāk no piecām apkārtējās sistēmas īpašībām. Katru no tām var projektēt un, kas ir svarīgi, testēt. Tas attiecas gan uz valsts aģentūru, kas meklē savos iekšējos noteikumos un procedūrās, gan uz kokapstrādes rūpnīcu, kurā apkopes zināšanas glabājas rokasgrāmatās un remontu pierakstos.

02Piekļuves tiesības: izgūt tikai to, ko lietotājs drīkst lasīt

Noteikums ir vienkāršs: asistents nekad nedrīkst parādīt fragmentu, ko cilvēks nevarētu atvērt avota sistēmā. Būtiska ir vieta, kur to nodrošina. Ja fragments nonāk līdz modelim, pieņemiet, ka tas var parādīties atbildē. Tāpēc tiesības jāpiemēro pirms ģenerēšanas, izguves brīdī, tam lietotājam, kurš jautā.

OWASP starp galvenajiem valodas modeļu lietojumprogrammu riskiem min gan sensitīvas informācijas atklāšanu (atver ārēju tīmekļvietni), gan vektoru un iegultņu vājās vietas (atver ārēju tīmekļvietni), tostarp noplūdi pāri tiesību robežām. Praksē no tā izriet četras prasības.

• Katra avota dokumenta piekļuves tiesības glabājiet indeksā kopā ar katru fragmentu, ņemot tās no avota sistēmas, nevis definējot no jauna ar roku.
• Pēc šīm tiesībām filtrējiet vaicājuma brīdī, izmantojot pierakstījušā lietotāja identitāti, pirms ranžēšanas un ģenerēšanas.
• Tiesību izmaiņas sinhronizējiet vismaz tikpat ātri kā satura izmaiņas un vienojieties, cik ātri atsauktām tiesībām jāstājas spēkā.
• Testējiet ar reālām lomām. Jautājums „Vai praktikants var atrast atalgojuma skalas?” pieder testu kopai, nevis incidenta pārskatam.

03Izcelsme: atsauces, ko cilvēks var pārbaudīt

Katram atbildes apgalvojumam jānorāda fragments, no kura tas ņemts: dokumenta nosaukums, versija vai datums, atbildīgais un saite, kas atveras pareizajā vietā. Rādiet pašu fragmentu, ne tikai dokumenta nosaukumu, lai lasītājs dažās sekundēs redzētu, vai atsauce apgalvojumu pamato.

Atbildes formātu veidojiet tā, lai nepamatots teksts būtu pamanāms. Ja neviens atrastais fragments teikumu nepamato, sistēmai tas jāizlaiž vai jāatzīmē. Pēc tam to pārbaudiet automātiski: salīdziniet katru citēto fragmentu ar apgalvojumu, kas tam jāpamato, un rezultātu izlasi nododiet cilvēkam pārbaudei. Atsauces, kas eksistē, bet apgalvojumu nepamato, ir bieža un klusa kļūme.

04Aktualitāte un autoritāte

Organizācijas zināšanām ir versijas. Vecā un jaunā komandējumu kārtība abas atbilst jautājumam „vai drīkstu rezervēt biznesa klasi?”, un tās atbild atšķirīgi. Indeksējiet metadatus, kas tās atšķir: spēkā stāšanās datumu, statusu (projekts, apstiprināts, aizstāts) un atbildīgo. Spēkā esošus, apstiprinātus dokumentus ranžējiet pirmos, aizstātos izslēdziet, ja vien lietotājs nejautā par vēsturi, un katrā atsaucē rādiet datumu.

Katrai tēmai nosakiet autoritatīvo avotu. Personāla kārtība nāk no personāla portāla, nevis no e-pasta, kurā citēta pagājušā gada versija. Katram avotam nosakiet pārindeksēšanas ritmu, no gandrīz reāllaika lietu datiem līdz reizei dienā vikivietnei, un uzraugiet to: novecojis indekss rada atbildes, kas izskatās pareizas, bet tādas nav. Slimnīcā tas nozīmē, ka klīniskās vadlīnijas asistents meklē tikai spēkā esošajā versijā un katrā atsaucē rāda tās apstiprināšanas datumu.

05Godīgi robi: „to es neatradu”

Bieži vērtīgākā atbilde ir godīgi atzīts robs. Valodas modeļi var radīt raitus apgalvojumus, kurus nekas nepamato; NIST savā ģeneratīvā MI profilā to sauc par konfabulāciju (atver ārēju tīmekļvietni). Atbilžu balstīšana atrastajos fragmentos to mazina, bet nenovērš. Sekas, kad cilvēki rīkojas pēc nepatiesa iznākuma, OWASP uzskata par atsevišķu risku, ko sauc par nepatiesu informāciju (atver ārēju tīmekļvietni) (misinformation).

Nosakiet atbilstības slieksni, zem kura sistēma pasaka, ka uzticamu avotu neatrada, un iesaka, kur jautāt. Jautājumos par kārtību, tiesībām vai pienākumiem neļaujiet modelim aizpildīt robus no vispārējām zināšanām. Pēc tam sekojiet neatbildēto jautājumu īpatsvaram pa tēmām. Pirmajos mēnešos šis saraksts bieži ir viss projekta noderīgākais rezultāts: tas satura īpašniekiem precīzi parāda, kur trūkst dokumentācijas.

06Arhitektūra aiz piecām īpašībām

Nekas no tā neprasa eksotisku tehnoloģiju kopu. Tas prasa, lai tiesības, metadati un pārbaudes būtu pilnvērtīgas plūsmas daļas, nevis funkcijas, kas pievienotas pēc demonstrācijas.

Personas datiem vajadzīga īpaša uzmanība. Dokumentu indekss joprojām ir tajos esošo personas datu apstrāde, tāpēc piemērojami VDAR principi par nolūka ierobežojumu un datu minimizēšanu (atver ārēju tīmekļvietni) (5. pants). Neiekļaujiet avotus, kas lietojumam nav vajadzīgi, pārliecinieties, ka dzēšana avota sistēmā sasniedz arī indeksu, un iekļaujiet indeksu, kad atbildat uz piekļuves pieprasījumu.

07Izmērīta kvalitāte pirms un pēc ieviešanas

Uzticamību nevar novērtēt, sanāksmē uzdodot dažus jautājumus. Kvalitātes kritērijus saskaņojiet ar cilvēkiem, kuriem pieder saturs, un mēriet katru slāni atsevišķi, lai zinātu, kur problēmu labot.

Testu kopu veidojiet no reāliem jautājumiem: meklēšanas žurnāliem, atbalsta pieteikumiem, jautājumiem, ko uzdod jaunie kolēģi. Daži simti jautājumu ar atbildēm, ko saskaņojuši satura īpašnieki, ir praktisks sākums. Visu kopu palaidiet pie katras izmaiņas, vai tas būtu jauns modelis, jauna sadalīšanas stratēģija vai jauns avots. Kvalitāte, mainoties saturam, slīd nemanāmi, un tikai fiksēta testu kopa šo slīdējumu padara redzamu.

08Kā uzticamība izskatās lietotājam

Tiem, kas asistentu lieto, viss iepriekš teiktais nozīmē dažas novērojamas lietas. Asistents atbild tikai no dokumentiem, kurus viņi drīkst lasīt. Katram apgalvojumam ir atsauce, ko var atvērt. Viņi redz, cik aktuāls ir avots. Viņiem skaidri pasaka, ja uzticamas atbildes nav. Un viņi zina, ka kvalitāti kāds mēra, jo var ziņot par nepareizu atbildi un redzēt, ka to izlabo.

MI iznākumi joprojām var būt kļūdaini, un dažiem jautājumiem pienākas cilvēks, nevis meklēšana. Atklāti ņemt to vērā projektēšanā nav sistēmas vājums. Tieši tas liek cilvēkiem uzticēties tai visā pārējā.