Какво прави търсенето в корпора­тивните знания надеждно

01Проблемът с демонстра­цията

Повечето асистенти за знания следват един и същ модел, известен като генериране, допълнено с търсене (отваря външен сайт) (retrieval-augmented generation, RAG): системата намира пасажите, които отговарят на въпроса, а езиков модел пише отговор, основан на тези пасажи. Върху подбрана папка с петдесет документа това работи убедително още след седмица.

В реална среда картината е друга. Двадесет години споделени папки, уикита, заявки към поддръжката, договори, вътрешни правила и указания, много от тях дублирани, остарели или поверителни. В такава среда асистентът се проваля по два начина. Дава грешен отговор и хората спират да го използват. Или, по-лошо, дава грешен отговор уверено и хората действат според него.

Затова надеждното търсене в знанията зависи по-малко от модела и повече от пет свойства на системата около него. Всяко от тях може да бъде проектирано и, което е важно, тествано.

02Права на достъп: намирайте само това, което потребителят може да чете

Правилото е просто: асистентът никога не бива да показва на някого пасаж, който той не би могъл да отвори в системата източник. Важно е къде се прилага това правило. Ако пасажът стигне до модела, приемете, че може да се появи в отговора. Затова правата трябва да се прилагат преди генерирането, в момента на търсенето, за потребителя, който задава въпроса.

OWASP посочва както разкриването на чувствителна информация (отваря външен сайт), така и слабостите на векторите и представянията (отваря външен сайт), включително изтичане през границите на правата на достъп, сред основните рискове на приложенията с езикови модели. На практика това води до четири изисквания.

• Съхранявайте правата на достъп до всеки документ източник с всеки фрагмент в индекса, като ги взимате от системата източник, а не ги определяте наново ръчно.
• Филтрирайте по тези права при всяка заявка, с идентичността на влезлия потребител, преди подреждането на резултатите и генерирането.
• Синхронизирайте промените в правата поне толкова бързо, колкото промените в съдържанието, и договорете колко бързо трябва да подейства отнето право.
• Тествайте с реални роли. Въпросът „Може ли стажант да намери таблицата с работните заплати?“ трябва да е в тестовете, а не в анализа след инцидент.

03Произход: цитати, които човек може да провери

Всяко твърдение в отговора трябва да сочи към пасажа, от който идва: заглавие на документа, версия или дата, отговорник и връзка, която се отваря на точното място. Показвайте самия пасаж, а не само името на документа, за да може читателят за секунди да види дали цитатът подкрепя изречението.

Проектирайте формата на отговора така, че неподкрепеният текст да се откроява. Ако нито един намерен пасаж не подкрепя дадено изречение, системата трябва да го пропусне или да го отбележи. След това проверявайте това автоматично: сравнявайте всеки цитиран пасаж с твърдението, което трябва да подкрепя, и давайте извадка от резултатите за преглед от човек. Цитати, които съществуват, но не подкрепят твърдението, са честа и незабележима грешка.

04Актуалност и авторитетен източник

Знанията в организацията имат версии. Старите и новите вътрешни правила за командировки отговарят еднакво добре на въпроса „Мога ли да пътувам в бизнес класа?“, но дават различни отговори. Индексирайте метаданните, които ги различават: дата на влизане в сила, статус (проект, одобрен, отменен) и отговорник. Подреждайте първо актуалните одобрени документи, изключвайте отменените, освен ако потребителят не търси историята, и показвайте датата във всеки цитат. В държавна агенция или банка, където вътрешните правила, указанията и процедурите се изменят често, това е разликата между верен и опасен отговор.

Решете за всяка тема кой източник е авторитетен. Правилата за персонала идват от портала на отдел „Човешки ресурси“, а не от имейл, който цитира миналогодишната им версия. Определете ритъм на повторното индексиране за всеки източник, от почти реално време за данните по преписки до ежедневно за уикито, и го наблюдавайте: остарелият индекс дава отговори, които изглеждат верни, но не са.

05Честни празноти: „Не намерих това“

Често най-ценният отговор е честно признатата празнота. Езиковите модели могат да произвеждат гладки твърдения, които не се подкрепят от нищо. NIST нарича това конфабулация (отваря външен сайт) в своя профил за генеративния изкуствен интелект. Опората в намерените пасажи намалява този риск, но не го премахва. OWASP разглежда последицата, хора, които действат според невярна информация, като самостоятелен риск под името дезинформация (отваря външен сайт).

Определете праг на релевантност, под който системата казва, че не е намерила надежден източник, и предлага къде да се попита. При въпроси за правила, права или задължения не позволявайте на модела да запълва празнотите с общи знания. След това следете дела на въпросите без отговор по теми. През първите месеци този списък често е най-полезният резултат от целия проект: той показва на отговорниците за съдържанието точно къде липсва документация.

06Архитектурата зад петте свойства

Нищо от това не изисква екзотични технологии. Изисква правата на достъп, метаданните и проверките да бъдат пълноправни части от веригата, а не функции, добавени след демонстрацията.

Личните данни заслужават изрично внимание. Индексът от документи също е обработване на личните данни в тях, затова се прилагат принципите на Общия регламент относно защитата на данните (GDPR) за ограничение на целите и свеждане на данните до минимум (отваря външен сайт) (член 5), заедно със Закона за защита на личните данни. Не включвайте източници, които не са нужни за задачата, погрижете се изтриванията в системата източник да стигат до индекса и включвайте индекса, когато отговаряте на искане за достъп.

07Измерено качество преди и след пускането

Надеждността не може да се оцени с няколко въпроса на една среща. Договорете критерии за качество с хората, които отговарят за съдържанието, и измервайте всеки слой поотделно, за да знаете къде да отстраните проблема.

Съставете тестовия набор от реални въпроси: дневници на търсенето, заявки към поддръжката, въпроси на нови колеги. Няколкостотин въпроса с отговори, одобрени от отговорниците за съдържанието, са практично начало. Пускайте целия набор при всяка промяна, било то нов модел, нов начин на разделяне на документите или нов източник. Качеството се променя незабелязано, когато се променя съдържанието, и само постоянният тестов набор прави тази промяна видима.

08Как изглежда надеждността за потребителя

За хората, които го използват, всичко това се свежда до няколко видими поведения. Асистентът отговаря само от документи, които те имат право да четат. Всяко твърдение има цитат, който могат да отворят. Виждат колко актуален е източникът. Казва им се ясно, когато няма надежден отговор. И знаят, че някой измерва качеството, защото могат да съобщят за грешен отговор и да видят, че е поправен.

Резултатите от изкуствен интелект все още могат да бъдат грешни, а някои въпроси заслужават човек, а не търсене. Да проектирате открито за това не е слабост на системата. Точно това кара хората да разчитат на нея за всичко останало.