Enxeñaría de IADatos
Que fai fiable a busca no coñecemento corporativo
Responder preguntas a partir dos documentos propios é fácil de demostrar e difícil de facer fiable. A confianza vén de cinco propiedades que se poden deseñar, probar e seguir probando: permisos, procedencia, actualidade, lagoas recoñecidas e calidade medida.
- Autoría
- Redacción de FromNine
- Publicado
- Tempo de lectura
- 7 min de lectura
Ideas clave
- Aplique os dereitos de acceso no momento da recuperación, para cada persoa usuaria e a partir dos sistemas de orixe. Non confíe en que o modelo oculte un fragmento que xa recibiu.
- Cada afirmación dunha resposta debe remitir a un fragmento que unha persoa poida abrir e comprobar en segundos, coa súa data e o seu estado á vista.
- Mida a calidade da recuperación e das respostas con preguntas reais antes da posta en produción, e siga medindo, porque o contido e os modelos cambian sen avisar.
Índice
O problema da demostración
A maioría dos asistentes de coñecemento seguen o mesmo patrón, coñecido como xeración aumentada por recuperación (abre un sitio web externo) (RAG): atopar os fragmentos que encaixan cunha pregunta e pedirlle despois a un modelo de linguaxe que redacte unha resposta baseada neses fragmentos. Sobre un cartafol coidado de cincuenta documentos, isto funciona de forma convincente en menos dunha semana.
En produción, a situación é outra. Vinte anos de unidades compartidas, wikis, incidencias, contratos e políticas internas, moitos duplicados, desactualizados ou confidenciais. Nese contexto, o asistente falla de dúas maneiras. Dá unha resposta errada e a xente deixa de usalo. Ou, peor aínda, dá unha resposta errada con seguridade e a xente actúa en consecuencia.
Por iso, unha busca de coñecemento fiable depende menos do modelo e máis de cinco propiedades do sistema que o rodea. Cada unha pódese deseñar e, sobre todo, probar.
Permisos: recuperar só o que a persoa pode ler
A regra é sinxela: o asistente nunca debe mostrarlle a ninguén un fragmento que esa persoa non podería abrir no sistema de orixe. O que importa é onde se aplica. Se un fragmento chega ao modelo, hai que supoñer que pode aparecer na resposta. Por iso os permisos deben aplicarse antes da xeración, no momento da recuperación, para a persoa que pregunta.
OWASP inclúe tanto a divulgación de información sensible (abre un sitio web externo) como as debilidades de vectores e embeddings (abre un sitio web externo), entre elas as fugas a través dos límites de permisos, entre os riscos principais das aplicacións de modelos de linguaxe. Na práctica, iso tradúcese en catro requisitos.
- Garde no índice, con cada fragmento, os dereitos de acceso do documento de orixe, tomados do sistema de orixe e non redefinidos a man.
- Filtre por eses dereitos no momento da consulta, coa identidade da persoa que iniciou sesión, antes da ordenación e da xeración.
- Sincronice os cambios de permisos polo menos tan rápido como os cambios de contido, e acorde canto tempo pode pasar ata que un dereito retirado deixe de ter efecto.
- Probe con roles reais. «Pode unha persoa en prácticas atopar as táboas salariais?» pertence ao conxunto de probas, non á análise posterior a un incidente.
Procedencia: citas que unha persoa pode comprobar
Cada afirmación dunha resposta debe remitir ao fragmento do que procede: título do documento, versión ou data, persoa responsable e unha ligazón que abra no lugar exacto. Mostre o propio fragmento, non só o nome do documento, para que quen le vexa en segundos se a cita sostén a frase.
Deseñe o formato da resposta para que o texto sen apoio destaque. Se ningún fragmento recuperado sostén unha frase, o sistema debe omitila ou marcala. Despois compróbeo de forma automática: compare cada fragmento citado coa afirmación que debería sustentar e revise unha mostra dos resultados con persoas. As citas que existen pero non sosteñen a afirmación son un fallo frecuente e silencioso.
Actualidade e autoridade
O coñecemento dunha organización ten versións. A instrución de viaxes antiga e a nova encaixan coa pregunta «podo reservar en clase business?», e dan respostas distintas. Indexe os metadatos que as distinguen: data de efectos, estado (borrador, aprobado, substituído) e persoa responsable. Ordene primeiro os documentos vixentes e aprobados, exclúa os substituídos salvo que a persoa pida o histórico, e mostre a data en cada cita.
Decida para cada tema que fonte ten autoridade. A política de persoal vén do portal de recursos humanos, non dun correo que cita a versión do ano pasado. Fixe un ritmo de reindexación para cada fonte, desde case en tempo real para os datos de expedientes ata unha vez ao día para unha wiki, e vixíeo: un índice desactualizado produce respostas que parecen correctas e non o son.
Nun organismo público autonómico ou nun banco, a mesma instrución ou circular adoita existir en galego e en castelán. Trate as dúas versións como un só documento en dúas linguas, coa mesma data, o mesmo estado e os mesmos permisos, para que a busca non devolva a versión vixente nunha lingua e a substituída na outra. Quen pregunta faino na lingua que prefire, e a resposta cita o fragmento orixinal coa súa lingua á vista.
Lagoas recoñecidas: «non atopei isto»
Moitas veces a resposta máis valiosa é recoñecer unha lagoa. Os modelos de linguaxe poden producir afirmacións fluídas que nada sostén, o que o NIST chama confabulación (abre un sitio web externo) no seu perfil de IA xenerativa. Basear a resposta en fragmentos recuperados reduce o problema, pero non o elimina. OWASP trata o efecto posterior, que as persoas actúen a partir de información falsa, como un risco en si mesmo co nome de desinformación (abre un sitio web externo).
Fixe un limiar de relevancia por debaixo do cal o sistema diga que non atopou ningunha fonte fiable, e suxira onde preguntar. Nas preguntas sobre políticas, dereitos ou obrigas, non deixe que o modelo encha as lagoas co seu coñecemento xeral. Despois siga a taxa de preguntas sen resposta por tema. Nos primeiros meses, esa lista adoita ser o resultado máis útil de todo o proxecto: amósalles ás persoas responsables do contido exactamente onde falta documentación.
A arquitectura detrás das cinco propiedades
Nada disto require unha tecnoloxía exótica. Require que os permisos, os metadatos e as comprobacións sexan partes de pleno dereito da cadea de procesamento, e non funcións engadidas despois da demostración.
Figura 1
Fluxo de traballo ilustrativoLer o diagrama como texto
Os documentos tómanse dos sistemas de orixe xunto cos seus dereitos de acceso e cos metadatos, como a data, o estado e a persoa responsable, e indéxanse.
Chega unha pregunta coa identidade da persoa que iniciou sesión. Un filtro de permisos elimina cada fragmento que esa persoa non pode ler, antes de que nada chegue ao modelo.
O modelo redacta unha resposta con citas aos fragmentos restantes. Unha comprobación de fundamentación compara cada afirmación co fragmento citado. A persoa recibe unha resposta con citas ou unha declaración clara de que non se atopou ningunha fonte fiable.
Os datos persoais merecen atención expresa. Un índice de documentos segue a ser un tratamento dos datos persoais que conteñen, polo que se aplican os principios do RXPD de limitación da finalidade e minimización de datos (abre un sitio web externo) (artigo 5), que en España completa a Lei orgánica 3/2018, do 5 de decembro (LOPDGDD). Deixe fóra as fontes que o caso de uso non precisa, asegúrese de que as eliminacións nun sistema de orixe chegan ao índice e inclúa o índice cando responda a unha solicitude de acceso.
Calidade medida, antes e despois da posta en produción
Non se pode avaliar a fiabilidade probando unhas cantas preguntas nunha reunión. Acorde os criterios de calidade coas persoas responsables do contido e mida cada capa por separado, para saber onde corrixir un problema.
| Capa | Pregunta | Como medilo |
|---|---|---|
| Recuperación | Volveron os fragmentos correctos? | Exhaustividade e precisión fronte a un conxunto etiquetado de preguntas reais |
| Fundamentación | Sostén a cita cada afirmación? | Comprobacións automáticas entre afirmación e fragmento, máis revisión humana dunha mostra |
| Resposta | É a resposta correcta, completa e útil? | Revisión experta dunha mostra con criterios acordados |
| Acceso | Viu alguén algo que non debía ver? | Un conxunto de probas de permisos por rol, executado en cada cambio do índice ou dun conector |
| Uso | Confían as persoas no asistente, e onde falla? | Valoracións, taxa sen resposta por tema, preguntas de seguimento, escalados |
Constrúa o conxunto de probas con preguntas reais: rexistros de busca, incidencias do servizo de axuda, as preguntas que fan as persoas recén incorporadas. Uns centos de preguntas con respostas acordadas coas persoas responsables do contido son un comezo práctico. Execute o conxunto completo en cada cambio, sexa un modelo novo, outra estratexia de fragmentación ou unha fonte nova. A calidade deriva en silencio cando cambia o contido, e só un conxunto de probas fixo fai visible esa deriva.
Como ve a fiabilidade quen usa o asistente
Para quen o usa, todo isto redúcese a uns poucos comportamentos observables. O asistente só responde a partir de documentos que esa persoa ten permiso para ler. Cada afirmación ten unha cita que pode abrir. Pode ver se unha fonte está ao día. Recibe un aviso claro cando non hai unha resposta fiable. E sabe que alguén mide a calidade, porque pode informar dunha resposta errada e ver como se corrixe.
Os resultados da IA aínda poden ser erróneos, e algunhas preguntas merecen unha persoa e non unha busca. Deseñar para iso abertamente non é unha debilidade do sistema. É o que fai que as persoas estean dispostas a confiar nel para todo o demais.
Fontes
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (consulta: )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (consulta: )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (consulta: )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (consulta: )
- National Institute of Standards and Technology (NIST). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (consulta: )
- EUR-Lex. Regulamento (UE) 2016/679 (Regulamento xeral de protección de datos), artigo 5 (consulta: )
Siga lendo
- ServizoEnxeñaría de IA e IA xenerativaRecuperación, estratexia de modelos, avaliación e LLMOps para unha IA xenerativa que funciona en produción.
- SoluciónCoñecemento corporativoRespostas a partir dos seus propios documentos, limitadas ao que cada persoa pode ver e cunha fonte para cada afirmación.
- AnáliseOnde precisan aprobación humana os axentes de IAUn axente pode preparar case calquera cousa. Unha forma práctica de decidir que accións pode completar só e cales precisan que unha persoa diga si.
- AnáliseO Regulamento de IA da UE nas administracións públicas: que preparar antes de decembro de 2027Tras a modificación de 2026, o Regulamento de IA aplica as normas de alto risco desde decembro de 2027, pero boa parte del xa está en vigor. Un plan de preparación con datas para as administracións, coa situación en España.
Quere poder buscar no coñecemento da súa organización?
Construímos asistentes de coñecemento sobre as fontes que xa ten, con permisos, citas e un conxunto de probas acordado coas persoas responsables do contido desde a primeira iteración.