O que torna fiável a pesquisa de conhecimento empresarial

01O problema da demonstração

A maioria dos assistentes de conhecimento segue o mesmo padrão, conhecido como geração aumentada por recuperação (abre um site externo) (RAG): encontrar os excertos que correspondem a uma pergunta e pedir a um modelo de linguagem que escreva uma resposta assente nesses excertos. Numa pasta selecionada com cinquenta documentos, isto funciona de forma convincente ao fim de uma semana.

Em produção, o cenário é outro. Vinte anos de pastas partilhadas, wikis, pedidos de suporte, contratos e normas internas, muitos duplicados, desatualizados ou confidenciais. Nesse contexto, o assistente falha de duas formas. Dá uma resposta errada e as pessoas deixam de o usar. Ou, pior, dá uma resposta errada com segurança e as pessoas agem com base nela.

Uma pesquisa de conhecimento fiável depende, por isso, menos do modelo e mais de cinco propriedades do sistema que o rodeia. Cada uma pode ser concebida e, sobretudo, testada. O raciocínio vale para uma câmara municipal que pesquisa regulamentos e despachos, para um instituto público com circulares e orientações, ou para uma seguradora com manuais de subscrição.

02Permissões: recuperar só o que o utilizador pode ler

A regra é simples: o assistente nunca deve mostrar a alguém um excerto que essa pessoa não poderia abrir no sistema de origem. O que importa é onde a regra é aplicada. Se um excerto chega ao modelo, parta do princípio de que pode aparecer na resposta. As permissões têm, por isso, de ser aplicadas antes da geração, no momento da recuperação, para o utilizador que faz a pergunta.

O OWASP inclui tanto a divulgação de informação sensível (abre um site externo) como as fragilidades de vetores e embeddings (abre um site externo), incluindo fugas entre limites de permissões, entre os principais riscos das aplicações de modelos de linguagem. Na prática, isso traduz-se em quatro requisitos.

• Guarde os direitos de acesso de cada documento de origem com cada fragmento no índice, obtidos do sistema de origem e não redefinidos à mão.
• Filtre por esses direitos no momento da consulta, com a identidade do utilizador autenticado, antes da ordenação e da geração.
• Sincronize as alterações de permissões pelo menos tão depressa como as alterações de conteúdo, e acorde em quanto tempo um direito revogado deve deixar de produzir efeito.
• Teste com funções reais. «Um estagiário consegue encontrar as tabelas salariais?» pertence ao conjunto de testes, não à análise posterior a um incidente.

03Origem: citações que uma pessoa consegue verificar

Cada afirmação de uma resposta deve remeter para o excerto de onde veio: título do documento, versão ou data, responsável e uma ligação que abre no sítio certo. Mostre o próprio excerto, e não apenas o nome do documento, para que o leitor veja em segundos se a citação sustenta a frase.

Conceba o formato da resposta de modo que o texto sem suporte se destaque. Se nenhum excerto recuperado sustenta uma frase, o sistema deve omiti-la ou assinalá-la. Depois verifique-o automaticamente: compare cada excerto citado com a afirmação que deve sustentar e reveja uma amostra dos resultados. Citações que existem mas não sustentam a afirmação são uma falha comum e silenciosa.

04Atualidade e autoridade

O conhecimento de uma organização tem versões. A norma de deslocações antiga e a nova respondem ambas à pergunta «posso viajar em classe executiva?», e dão respostas diferentes. Indexe os metadados que as distinguem: data de produção de efeitos, estado (rascunho, aprovado, substituído) e responsável. Coloque primeiro os documentos atuais e aprovados, exclua os substituídos salvo se o utilizador pedir o histórico, e mostre a data em cada citação.

Decida por tema qual é a fonte de referência. A política de recursos humanos vem do portal de recursos humanos, não de um e-mail que cita a versão do ano passado. Defina um ritmo de reindexação por fonte, de quase tempo real para dados de processos a diário para uma wiki, e monitorize-o: um índice desatualizado produz respostas que parecem certas e não são.

05Lacunas assumidas: «não encontrei isto»

Muitas vezes, a resposta mais valiosa é uma lacuna assumida. Os modelos de linguagem podem produzir afirmações fluentes sem qualquer suporte, aquilo a que o NIST chama confabulação (abre um site externo) no seu perfil para a inteligência artificial (IA) generativa. Basear a resposta em excertos recuperados reduz o problema, mas não o elimina. O OWASP trata o efeito a jusante, pessoas a agir com base em resultados falsos, como um risco próprio, sob o nome de desinformação (abre um site externo).

Defina um limiar de relevância abaixo do qual o sistema diz que não encontrou uma fonte fiável e sugere a quem perguntar. Em perguntas sobre políticas, direitos ou obrigações, não deixe o modelo preencher lacunas com conhecimento geral. Depois acompanhe a taxa de perguntas sem resposta por tema. Nos primeiros meses, essa lista é muitas vezes o resultado mais útil de todo o projeto: mostra aos responsáveis pelos conteúdos exatamente onde falta documentação.

06A arquitetura por trás das cinco propriedades

Nada disto exige uma tecnologia exótica. Exige que as permissões, os metadados e as verificações sejam partes de primeira ordem do processo, e não funcionalidades acrescentadas depois da demonstração.

Os dados pessoais merecem atenção explícita. Um índice de documentos continua a ser um tratamento dos dados pessoais que esses documentos contêm, pelo que se aplicam os princípios do RGPD de limitação das finalidades e minimização dos dados (abre um site externo) (artigo 5.º). Deixe de fora as fontes de que o caso de utilização não precisa, garanta que as eliminações num sistema de origem chegam ao índice e inclua o índice quando responder a um pedido de acesso. Em Portugal, a autoridade de controlo é a Comissão Nacional de Proteção de Dados (CNPD).

07Qualidade medida, antes e depois do arranque

Não é possível avaliar a fiabilidade experimentando algumas perguntas numa reunião. Acorde critérios de qualidade com os responsáveis pelos conteúdos e meça cada camada separadamente, para saber onde corrigir um problema.

Construa o conjunto de testes a partir de perguntas reais: registos de pesquisa, pedidos ao apoio interno, perguntas que os novos colegas fazem. Algumas centenas de perguntas com respostas acordadas pelos responsáveis pelos conteúdos são um começo prático. Execute o conjunto completo em cada alteração, seja um novo modelo, uma nova forma de dividir os documentos ou uma nova fonte. A qualidade degrada-se em silêncio quando os conteúdos mudam, e só um conjunto de testes fixo torna essa degradação visível.

08Como a fiabilidade se vê do lado do utilizador

Para quem o usa, tudo isto resume-se a alguns comportamentos observáveis. O assistente responde apenas a partir de documentos que a pessoa pode ler. Cada afirmação tem uma citação que se pode abrir. É possível ver se uma fonte está atualizada. Quando não há uma resposta fiável, o assistente di-lo claramente. E há alguém a medir a qualidade, porque é possível assinalar uma resposta errada e vê-la corrigida.

Os resultados da IA podem continuar a estar errados, e algumas perguntas merecem uma pessoa e não uma pesquisa. Assumir isso abertamente na conceção não é uma fraqueza do sistema. É o que leva as pessoas a confiar nele para tudo o resto.