Ingeniería de IADatos
Qué hace fiable la búsqueda de conocimiento empresarial
Responder preguntas a partir de sus propios documentos es fácil de demostrar y difícil de convertir en algo fiable. La confianza nace de cinco propiedades que se pueden diseñar, probar y seguir probando: permisos, procedencia, vigencia, lagunas reconocidas y calidad medida.
- Por
- Equipo editorial de FromNine
- Publicado
- Tiempo de lectura
- 7 min de lectura
Claves
- Aplique los derechos de acceso en el momento de la recuperación, por usuario y a partir de los sistemas de origen. Nunca confíe en que el modelo se guarde un pasaje que ya ha recibido.
- Cada afirmación de una respuesta debe remitir a un pasaje que una persona pueda abrir y comprobar en segundos, con su fecha y su estado a la vista.
- Mida la calidad de la recuperación y de las respuestas con preguntas reales antes de la puesta en producción, y siga midiendo, porque los contenidos y los modelos cambian sin avisar.
Contenido
El problema de la demostración
La mayoría de los asistentes de conocimiento siguen el mismo patrón, conocido como generación aumentada por recuperación (se abre en un sitio externo) (RAG): localizar los pasajes que encajan con una pregunta y pedir a un modelo de lenguaje que redacte una respuesta basada en ellos. Sobre una carpeta seleccionada de cincuenta documentos, esto funciona de forma convincente en una semana.
En producción, el panorama es otro. Veinte años de unidades compartidas, wikis, incidencias, contratos y políticas, muchos de ellos duplicados, obsoletos o confidenciales. En ese contexto, el asistente falla de dos maneras. Da una respuesta errónea y la gente deja de usarlo. O, peor aún, da una respuesta errónea con aplomo y la gente actúa en consecuencia.
Por eso, una búsqueda de conocimiento fiable depende menos del modelo y más de cinco propiedades del sistema que lo rodea. Cada una se puede diseñar y, sobre todo, probar.
Permisos: recuperar solo lo que el usuario puede leer
La regla es sencilla: el asistente nunca debe mostrar a nadie un pasaje que no podría abrir en el sistema de origen. Lo que importa es dónde se aplica. Si un pasaje llega al modelo, dé por hecho que puede aparecer en la respuesta. Por tanto, los permisos deben aplicarse antes de la generación, en el momento de la recuperación, para el usuario que hace la pregunta.
OWASP incluye tanto la divulgación de información sensible (se abre en un sitio externo) como las debilidades de vectores y embeddings (se abre en un sitio externo), entre ellas las filtraciones entre ámbitos de permisos, entre los principales riesgos de las aplicaciones de modelos de lenguaje. En la práctica, eso se traduce en cuatro requisitos.
- Guarde en el índice, junto a cada fragmento, los derechos de acceso del documento de origen, tomados del sistema de origen y no redefinidos a mano.
- Filtre por esos derechos en el momento de la consulta, con la identidad del usuario que ha iniciado sesión, antes de la ordenación y de la generación.
- Sincronice los cambios de permisos al menos con la misma rapidez que los cambios de contenido, y acuerde en cuánto tiempo debe surtir efecto la retirada de un derecho.
- Haga pruebas con roles reales. «¿Puede un becario encontrar las tablas salariales?» tiene que estar en el conjunto de pruebas, no en el análisis posterior a un incidente.
Procedencia: citas que una persona puede comprobar
Cada afirmación de una respuesta debe remitir al pasaje del que procede: título del documento, versión o fecha, responsable y un enlace que se abra en el lugar exacto. Muestre el propio pasaje, no solo el nombre del documento, para que el lector vea en segundos si la cita respalda la frase.
Diseñe el formato de respuesta de modo que el texto sin respaldo salte a la vista. Si ningún pasaje recuperado respalda una frase, el sistema debe omitirla o señalarla. Después, compruébelo de forma automática: compare cada pasaje citado con la afirmación que debería respaldar y revise una muestra de los resultados a mano. Las citas que existen pero no respaldan la afirmación son un fallo frecuente y silencioso.
Vigencia y autoridad
El conocimiento de una organización tiene versiones. La política de viajes antigua y la nueva responden a la misma pregunta, «¿puedo viajar en clase business?», y dan respuestas distintas. Indexe los metadatos que las distinguen: fecha de entrada en vigor, estado (borrador, aprobado, sustituido) y responsable. Ordene primero los documentos vigentes y aprobados, excluya los sustituidos salvo que el usuario pida el histórico y muestre la fecha en cada cita.
Decida para cada tema qué fuente es la de referencia. La política de recursos humanos procede del portal de RR. HH., no de un correo que cita la versión del año pasado. Fije una frecuencia de reindexación por fuente, desde casi en tiempo real para los datos de expedientes hasta diaria para una wiki, y vigílela: un índice desactualizado produce respuestas que parecen correctas y no lo son.
Lagunas reconocidas: «No he encontrado esta información»
A menudo, la respuesta más valiosa es reconocer una laguna. Los modelos de lenguaje pueden producir afirmaciones fluidas que no se apoyan en nada, lo que el NIST denomina confabulación (se abre en un sitio externo) en su perfil de IA generativa. Basar las respuestas en los pasajes recuperados lo reduce, pero no lo elimina. OWASP trata el efecto posterior, que las personas actúen a partir de resultados falsos, como un riesgo en sí mismo bajo el epígrafe de desinformación (se abre en un sitio externo).
Establezca un umbral de relevancia por debajo del cual el sistema indique que no ha encontrado una fuente fiable y sugiera a quién preguntar. En las preguntas sobre políticas, derechos u obligaciones, no deje que el modelo rellene los huecos con conocimiento general. Después, haga un seguimiento de la tasa de preguntas sin respuesta por tema. En los primeros meses, esa lista suele ser el resultado más útil de todo el proyecto: muestra a los responsables de contenidos exactamente dónde falta documentación.
La arquitectura que sostiene las cinco propiedades
Nada de esto exige una pila tecnológica exótica. Exige que los permisos, los metadatos y las comprobaciones formen parte de pleno derecho del flujo de procesamiento, y no funciones añadidas después de la demostración.
Figura 1
Flujo de trabajo ilustrativoLeer el diagrama como texto
Los documentos se toman de los sistemas de origen junto con sus derechos de acceso y metadatos como la fecha, el estado y el responsable, y se indexan.
Llega una pregunta con la identidad del usuario que ha iniciado sesión. Un filtro de permisos elimina todos los pasajes que ese usuario no puede leer, antes de que nada llegue al modelo.
El modelo redacta una respuesta con citas a los pasajes restantes. Una comprobación de respaldo compara cada afirmación con el pasaje citado. El usuario recibe una respuesta con citas o una indicación clara de que no se ha encontrado una fuente fiable.
Los datos personales merecen una atención explícita. Un índice de documentos sigue siendo un tratamiento de los datos personales que contienen, por lo que se aplican los principios del RGPD de limitación de la finalidad y minimización de datos (se abre en un sitio externo) (artículo 5). Deje fuera las fuentes que el caso de uso no necesita, asegúrese de que las supresiones en un sistema de origen llegan al índice e incluya el índice cuando atienda una solicitud de acceso.
Calidad medida, antes y después de la puesta en producción
La fiabilidad no se evalúa probando unas cuantas preguntas en una reunión. Acuerde criterios de calidad con los responsables de los contenidos y mida cada capa por separado, para saber dónde corregir un problema.
| Capa | Pregunta | Cómo medirlo |
|---|---|---|
| Recuperación | ¿Se han recuperado los pasajes correctos? | Exhaustividad (recall) y precisión frente a un conjunto etiquetado de preguntas reales |
| Respaldo | ¿Cada afirmación está respaldada por su cita? | Comprobaciones automáticas de afirmación frente a pasaje, más revisión humana por muestreo |
| Respuesta | ¿La respuesta es correcta, completa y útil? | Revisión experta de una muestra según criterios acordados |
| Acceso | ¿Alguien ha visto algo que no debía? | Un conjunto de pruebas de permisos por rol, ejecutado con cada cambio en el índice o en un conector |
| Uso | ¿La gente confía en el asistente y dónde falla? | Valoraciones, tasa de preguntas sin respuesta por tema, preguntas de seguimiento, escalados |
Construya el conjunto de pruebas con preguntas reales: registros de búsqueda, incidencias del servicio de soporte, las preguntas que hacen los compañeros recién incorporados. Unos cientos de preguntas con respuestas acordadas por los responsables de contenidos son un punto de partida práctico. Ejecute el conjunto completo con cada cambio, ya sea un modelo nuevo, una nueva estrategia de fragmentación o una fuente nueva. La calidad se degrada en silencio cuando cambian los contenidos, y solo un conjunto de pruebas fijo hace visible esa deriva.
Cómo se ve la fiabilidad desde el lado del usuario
Para quienes lo utilizan, todo esto se reduce a unos pocos comportamientos observables. El asistente responde solo a partir de documentos que pueden leer. Cada afirmación lleva una cita que pueden abrir. Pueden ver lo actualizada que está una fuente. Se les dice con claridad cuándo no hay una respuesta fiable. Y saben que alguien mide la calidad, porque pueden notificar una respuesta errónea y ver cómo se corrige.
Los resultados de la IA pueden seguir siendo erróneos, y algunas preguntas merecen una persona y no una búsqueda. Diseñar para ello abiertamente no es una debilidad del sistema. Es lo que hace que la gente esté dispuesta a confiar en él para todo lo demás.
Fuentes
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (consultado el )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (consultado el )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (consultado el )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (consultado el )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (consultado el )
- EUR-Lex. Reglamento (UE) 2016/679 (Reglamento General de Protección de Datos), artículo 5 (consultado el )
Seguir leyendo
- ServicioIngeniería de IA e IA generativaRecuperación de información, estrategia de modelos, evaluación y LLMOps para una IA generativa que se sostiene en producción.
- SoluciónConocimiento corporativoRespuestas a partir de sus propios documentos, limitadas a lo que cada persona puede ver, con una fuente para cada afirmación.
- PerspectivaDónde necesitan los agentes de IA una aprobación humanaUn agente puede preparar casi cualquier cosa. Un método práctico para decidir qué acciones puede completar por sí solo y cuáles necesitan el visto bueno de una persona.
- PerspectivaEl Reglamento de IA para los organismos públicos: qué preparar para diciembre de 2027En su versión modificada de 2026, el Reglamento de IA aplica sus normas de alto riesgo desde diciembre de 2027, pero buena parte ya se aplica hoy. Un plan de preparación con fechas para los organismos públicos que despliegan IA.
¿Quiere que su propio conocimiento se pueda consultar?
Construimos asistentes de conocimiento sobre sus fuentes existentes, con permisos, citas y un conjunto de pruebas acordado con los responsables de sus contenidos desde el primer sprint.