Che cosa rende affidabile la ricerca della conoscenza aziendale

01Il problema della demo

La maggior parte degli assistenti per la conoscenza segue lo stesso schema, noto come retrieval-augmented generation (apre un sito esterno) (RAG): si cercano i passaggi pertinenti a una domanda, poi un modello linguistico scrive una risposta fondata su quei passaggi. Su una cartella selezionata di cinquanta documenti, il risultato convince nel giro di una settimana.

In produzione il quadro è diverso. Vent’anni di cartelle condivise, wiki, ticket, contratti e policy, molti duplicati, superati o riservati. In questo contesto l’assistente sbaglia in due modi. Dà una risposta errata e le persone smettono di usarlo. Oppure, peggio, dà una risposta errata con sicurezza e le persone agiscono di conseguenza.

Una ricerca affidabile nella conoscenza aziendale dipende quindi meno dal modello e più da cinque proprietà del sistema che lo circonda. Ciascuna si può progettare e, soprattutto, testare.

02Permessi: recuperare solo ciò che l’utente può leggere

La regola è semplice: l’assistente non deve mai mostrare a qualcuno un passaggio che quella persona non potrebbe aprire nel sistema di origine. Ciò che conta è il punto in cui la regola viene applicata. Se un passaggio arriva al modello, si deve presumere che possa comparire nella risposta. I permessi vanno quindi applicati prima della generazione, nel momento del retrieval, per l’utente che pone la domanda.

OWASP colloca sia la sensitive information disclosure (apre un sito esterno) sia le vector and embedding weaknesses (apre un sito esterno), compresa la fuga di dati oltre i confini dei permessi, tra i rischi principali delle applicazioni basate su modelli linguistici. In pratica ne derivano quattro requisiti.

• Memorizzare nell’indice, insieme a ogni frammento, i diritti di accesso del documento di origine, ripresi dal sistema di origine e non ridefiniti a mano.
• Filtrare su quei diritti al momento della query, con l’identità dell’utente autenticato, prima del ranking e della generazione.
• Sincronizzare le modifiche ai permessi almeno con la stessa rapidità delle modifiche ai contenuti, e concordare entro quanto tempo un diritto revocato debba diventare effettivo.
• Testare con ruoli reali. «Un tirocinante riesce a trovare le tabelle retributive?» è una domanda che appartiene alla suite di test, non all’analisi dopo un incidente.

03Provenienza: citazioni che una persona può verificare

Ogni affermazione di una risposta dovrebbe rimandare al passaggio da cui proviene: titolo del documento, versione o data, responsabile e un link che si apre nel punto giusto. Mostri il passaggio stesso, non solo il nome del documento, così chi legge vede in pochi secondi se la citazione sostiene davvero la frase.

Progetti il formato della risposta in modo che il testo non supportato salti all’occhio. Se nessun passaggio recuperato sostiene una frase, il sistema dovrebbe ometterla o segnalarla. Poi lo verifichi in modo automatico: confronti ogni passaggio citato con l’affermazione che dovrebbe sostenere e sottoponga un campione dei risultati a revisione umana. Le citazioni presenti ma che non sostengono l’affermazione sono un errore frequente e silenzioso.

04Aggiornamento e autorevolezza

La conoscenza di un’organizzazione ha più versioni. La vecchia policy sulle trasferte e quella nuova rispondono entrambe alla domanda «posso prenotare in business class?», e danno risposte diverse. Indicizzi i metadati che le distinguono: data di efficacia, stato (bozza, approvato, superato) e responsabile. Metta in cima i documenti vigenti e approvati, escluda quelli superati salvo che l’utente chieda lo storico e mostri la data in ogni citazione.

Stabilisca per ogni argomento quale fonte fa testo. La policy del personale proviene dal portale HR, non da un’e-mail che ne cita la versione dell’anno scorso. Definisca una frequenza di reindicizzazione per ciascuna fonte, dal quasi tempo reale per i dati delle pratiche al giornaliero per un wiki, e la monitori: un indice non aggiornato produce risposte che sembrano giuste e non lo sono.

05Lacune dichiarate: «Non ho trovato questa informazione»

Spesso la risposta più preziosa è una lacuna dichiarata con onestà. I modelli linguistici possono produrre affermazioni scorrevoli che non poggiano su nulla, ciò che il NIST chiama confabulation (apre un sito esterno) nel suo profilo per l’IA generativa. Ancorare le risposte ai passaggi recuperati riduce il fenomeno, ma non lo elimina. OWASP tratta l’effetto a valle, cioè le persone che agiscono sulla base di output falsi, come un rischio a sé stante, sotto la voce misinformation (apre un sito esterno).

Fissi una soglia di pertinenza al di sotto della quale il sistema dichiara di non aver trovato una fonte affidabile e suggerisce a chi rivolgersi. Per le domande su policy, diritti o obblighi, non lasci che il modello colmi le lacune con conoscenze generali. Poi tenga traccia del tasso di mancate risposte per argomento. Nei primi mesi quell’elenco è spesso il risultato più utile dell’intero progetto: mostra ai responsabili dei contenuti esattamente dove manca la documentazione.

06L’architettura dietro le cinque proprietà

Nulla di tutto questo richiede uno stack esotico. Richiede che permessi, metadati e controlli siano parti integranti della pipeline, non funzionalità aggiunte dopo la demo.

I dati personali meritano un’attenzione esplicita. Indicizzare documenti è comunque un trattamento dei dati personali che contengono, quindi si applicano i principi di limitazione della finalità e minimizzazione dei dati (apre un sito esterno) del GDPR (articolo 5). Escluda le fonti di cui il caso d’uso non ha bisogno, faccia in modo che le cancellazioni nei sistemi di origine arrivino anche all’indice e includa l’indice quando risponde a una richiesta di accesso.

07Qualità misurata, prima e dopo l’avvio

L’affidabilità non si valuta provando qualche domanda durante una riunione. Concordi i criteri di qualità con chi è responsabile dei contenuti e misuri ogni livello separatamente, così da sapere dove intervenire quando qualcosa non va.

Costruisca l’insieme di test a partire da domande reali: log delle ricerche, ticket dell’helpdesk, domande che pongono i nuovi colleghi. Qualche centinaio di domande, con risposte concordate con i responsabili dei contenuti, è un buon punto di partenza. Esegua l’intero insieme a ogni modifica, che si tratti di un nuovo modello, di una nuova strategia di suddivisione in frammenti o di una nuova fonte. Quando i contenuti cambiano, la qualità deriva in silenzio, e solo un insieme di test fisso rende visibile quella deriva.

08Che aspetto ha l’affidabilità per chi la usa

Per le persone che lo utilizzano, tutto questo si riduce ad alcuni comportamenti osservabili. L’assistente risponde solo a partire da documenti che sono autorizzate a leggere. Ogni affermazione ha una citazione che possono aprire. Possono vedere quanto è aggiornata una fonte. Vengono avvisate chiaramente quando non esiste una risposta affidabile. E sanno che qualcuno misura la qualità, perché possono segnalare una risposta sbagliata e vederla corretta.

Gli output dell’IA possono comunque essere sbagliati, e alcune domande meritano una persona più che una ricerca. Progettare apertamente per questo non è una debolezza del sistema. È ciò che porta le persone a fidarsene per tutto il resto.