Enginyeria d’IADades
Què fa fiable la cerca en el coneixement corporatiu
Respondre preguntes a partir dels vostres documents és fàcil de demostrar i difícil de fer fiable. La confiança surt de cinc propietats que podeu dissenyar, provar i continuar provant: permisos, procedència, vigència, buits honestos i qualitat mesurada.
- Autoria
- Redacció de FromNine
- Publicat
- Temps de lectura
- 6 min de lectura
Idees clau
- Apliqueu els drets d’accés en el moment de la recuperació, per a cada persona usuària i a partir dels sistemes d’origen. No confieu mai que el model amagui un passatge que ja ha rebut.
- Cada afirmació d’una resposta ha de remetre a un passatge que una persona pugui obrir i comprovar en pocs segons, amb la data i l’estat visibles.
- Mesureu la qualitat de la recuperació i de les respostes amb preguntes reals abans de la posada en marxa, i continueu mesurant-la, perquè els continguts i els models canvien.
Índex
El problema de la demostració
La majoria d’assistents de coneixement segueixen el mateix patró, conegut com a generació augmentada per recuperació (obre un lloc web extern) (RAG): trobar els passatges que responen a una pregunta i fer que un model de llenguatge redacti una resposta basada en aquests passatges. Amb una carpeta seleccionada de cinquanta documents, això funciona de manera convincent en una setmana.
En producció, la realitat és una altra. Vint anys d’unitats compartides, wikis, tiquets, contractes i normativa interna, molts duplicats, obsolets o confidencials. Penseu en les instruccions i els procediments interns d’un organisme de l’administració, o en els procediments de sinistres d’una asseguradora. En aquest context, l’assistent falla de dues maneres. Dona una resposta errònia i la gent el deixa d’utilitzar. O, encara pitjor, dona una resposta errònia amb seguretat i la gent hi actua.
Per això, una cerca de coneixement fiable depèn menys del model i més de cinc propietats del sistema que l’envolta. Cadascuna es pot dissenyar i, sobretot, provar.
Permisos: recuperar només el que la persona pot llegir
La regla és senzilla: l’assistent no pot mostrar mai a ningú un passatge que no podria obrir al sistema d’origen. El que compta és on s’aplica. Si un passatge arriba al model, cal donar per fet que pot aparèixer a la resposta. Per tant, els permisos s’han d’aplicar abans de la generació, en el moment de la recuperació, per a la persona que fa la pregunta.
OWASP inclou tant la divulgació d’informació sensible (obre un lloc web extern) com les febleses de vectors i incrustacions (obre un lloc web extern), incloses les fuites a través dels límits de permisos, entre els riscos principals de les aplicacions de models de llenguatge. A la pràctica, això porta a quatre requisits.
- Deseu els drets d’accés de cada document d’origen amb cada fragment de l’índex, presos del sistema d’origen i no redefinits a mà.
- Filtreu per aquests drets en el moment de la consulta, amb la identitat de la persona que ha iniciat la sessió, abans de l’ordenació i la generació.
- Sincronitzeu els canvis de permisos com a mínim tan de pressa com els canvis de contingut, i acordeu en quant de temps ha de tenir efecte un dret retirat.
- Feu proves amb rols reals. «Pot una persona en pràctiques trobar les taules salarials?» ha de ser al joc de proves, no a l’anàlisi posterior a un incident.
Procedència: cites que una persona pot comprovar
Cada afirmació d’una resposta ha de remetre al passatge d’on surt: títol del document, versió o data, persona responsable i un enllaç que s’obri al lloc exacte. Mostreu el passatge mateix, no només el nom del document, perquè el lector vegi en pocs segons si la cita sosté la frase.
Dissenyeu el format de la resposta perquè el text sense suport es noti. Si cap passatge recuperat no sosté una frase, el sistema l’ha d’ometre o marcar. Després, comproveu-ho automàticament: compareu cada passatge citat amb l’afirmació que ha de sostenir, i reviseu-ne una mostra amb persones. Les cites que existeixen però no sostenen l’afirmació són un error freqüent i silenciós.
Vigència i autoritat
El coneixement d’una organització té versions. La normativa interna de viatges antiga i la nova responen totes dues a la pregunta «puc reservar en classe preferent?», i donen respostes diferents. Indexeu les metadades que les distingeixen: data d’efecte, estat (esborrany, aprovat, substituït) i persona responsable. Poseu primer els documents vigents i aprovats, excloeu els substituïts tret que es demani l’històric, i mostreu la data a cada cita.
Decidiu per a cada tema quina és la font de referència. La política de personal surt del portal de recursos humans, no d’un correu que en cita la versió de l’any passat. Fixeu un ritme de reindexació per a cada font, des de gairebé en temps real per a les dades d’expedients fins a diari per a una wiki, i superviseu-lo: un índex desactualitzat produeix respostes que semblen correctes i no ho són.
Buits honestos: «no ho he trobat»
Sovint la resposta més valuosa és un buit reconegut. Els models de llenguatge poden produir afirmacions fluides que no se sostenen en res, cosa que el NIST anomena confabulació (obre un lloc web extern) en el seu perfil de la IA generativa. Basar la resposta en passatges recuperats ho redueix, però no ho elimina. OWASP tracta l’efecte posterior, que les persones actuïn a partir d’un resultat fals, com un risc propi amb el nom de desinformació (obre un lloc web extern).
Fixeu un llindar de rellevància per sota del qual el sistema digui que no ha trobat cap font fiable, i suggereixi on es pot preguntar. En preguntes sobre normativa, drets o obligacions, no deixeu que el model ompli els buits amb coneixement general. Després, feu el seguiment de la taxa de preguntes sense resposta per tema. Els primers mesos, aquesta llista sol ser el resultat més útil de tot el projecte: mostra a les persones responsables dels continguts on falta documentació.
L’arquitectura que hi ha darrere de les cinc propietats
Res d’això no requereix una plataforma exòtica. Requereix que els permisos, les metadades i les comprovacions siguin parts essencials del procés, i no funcions afegides després de la demostració.
Figura 1
Flux de treball il·lustratiuLlegiu el diagrama en format de text
Els documents es prenen dels sistemes d’origen juntament amb els drets d’accés i metadades com la data, l’estat i la persona responsable, i s’indexen.
Arriba una pregunta amb la identitat de la persona que ha iniciat la sessió. Un filtre de permisos elimina tots els passatges que aquesta persona no pot llegir abans que res arribi al model.
El model redacta una resposta amb cites als passatges restants. Una comprovació compara cada afirmació amb el passatge citat. La persona rep una resposta amb cites o una declaració clara que no s’ha trobat cap font fiable.
Les dades personals mereixen una atenció explícita. Un índex de documents continua sent un tractament de les dades personals que contenen, de manera que s’hi apliquen els principis de l’RGPD de limitació de la finalitat i minimització de dades (obre un lloc web extern) (article 5). Deixeu fora les fonts que el cas d’ús no necessita, assegureu-vos que les supressions als sistemes d’origen arribin a l’índex, i incloeu l’índex quan respongueu una sol·licitud d’accés d’una persona interessada.
Qualitat mesurada, abans i després de la posada en marxa
No podeu valorar la fiabilitat provant unes quantes preguntes en una reunió. Acordeu els criteris de qualitat amb les persones responsables dels continguts i mesureu cada capa per separat, per saber on cal corregir un problema.
| Capa | Pregunta | Com es mesura |
|---|---|---|
| Recuperació | Han sortit els passatges correctes? | Exhaustivitat i precisió amb un conjunt etiquetat de preguntes reals |
| Fonamentació | Cada afirmació té el suport de la seva cita? | Comprovacions automàtiques entre afirmació i passatge, més una revisió humana per mostreig |
| Resposta | La resposta és correcta, completa i útil? | Revisió experta d’una mostra amb criteris acordats |
| Accés | Algú ha vist alguna cosa que no havia de veure? | Un joc de proves de permisos per rol, executat a cada canvi d’índex o de connector |
| Ús | Les persones s’hi fien, i on falla? | Valoracions, taxa de preguntes sense resposta per tema, preguntes de seguiment, escalades |
Construïu el conjunt de proves amb preguntes reals: registres de cerca, tiquets del servei d’assistència, preguntes que fan les persones noves. Unes quantes centenes de preguntes amb respostes acordades amb les persones responsables dels continguts són un bon punt de partida. Executeu el conjunt sencer a cada canvi, sigui un model nou, una nova estratègia de fragmentació o una font nova. La qualitat es degrada en silenci quan canvien els continguts, i només un conjunt de proves fix fa visible aquesta deriva.
Com es veu la fiabilitat des del punt de vista de la persona usuària
Per a les persones que l’utilitzen, tot això es resumeix en uns quants comportaments observables. L’assistent només respon a partir de documents que poden llegir. Cada afirmació té una cita que poden obrir. Poden veure si una font és actual. Se’ls diu clarament quan no hi ha cap resposta fiable. I saben que algú mesura la qualitat, perquè poden avisar d’una resposta errònia i veure que es corregeix.
Els resultats de la IA poden continuar sent erronis, i algunes preguntes mereixen una persona més que una cerca. Dissenyar-ho obertament no és una feblesa del sistema. És el que fa que les persones s’hi vulguin fiar per a la resta.
Fonts
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (consulta: )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (divulgació d’informació sensible) (consulta: )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (febleses de vectors i incrustacions) (consulta: )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (desinformació) (consulta: )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (consulta: )
- EUR-Lex. Reglament (UE) 2016/679 (Reglament general de protecció de dades), article 5 (consulta: )
Continueu llegint
- ServeiEnginyeria d’IA i IA generativaRecuperació d’informació, estratègia de models, avaluació i LLMOps per a una IA generativa que funciona en producció.
- SolucióConeixement corporatiuRespostes a partir dels vostres documents, limitades al que cada persona pot veure, amb una font per a cada afirmació.
- AnàlisiQuan els agents d’IA necessiten aprovació humanaUn agent pot preparar gairebé qualsevol cosa. Una manera pràctica de decidir quines accions pot completar tot sol i quines necessiten que una persona hi digui que sí.
- AnàlisiEl Reglament d’IA a les administracions públiques: què cal preparar abans del desembre del 2027Amb les modificacions del 2026, el Reglament d’intel·ligència artificial aplica les normes d’alt risc a partir del desembre del 2027, però bona part ja s’aplica avui. Un pla amb dates per als organismes públics que utilitzen IA, amb la situació a Espanya.
Voleu fer cercable el coneixement de la vostra organització?
Construïm assistents de coneixement sobre les fonts que ja teniu, amb permisos, cites i un conjunt de proves acordat amb les persones responsables dels continguts des del primer sprint.