Onde os agentes de IA precisam de aprovação humana

01Os agentes agem, e a pergunta muda

Um assistente de conversação redige texto e uma pessoa decide o que fazer com ele. Um agente de inteligência artificial (IA) vai mais longe: chama ferramentas. Atualiza um registo, marca uma vaga na agenda, encaminha um processo, envia uma mensagem ou prepara um pagamento. A partir do momento em que o software executa ações, a pergunta útil deixa de ser apenas «esta resposta está correta?» e passa a ser «quem responde por esta ação, e quando a aprovou?»

A comunidade de segurança tem um nome para o erro. O OWASP Top 10 para aplicações de modelos de linguagem de grande dimensão inclui a agência excessiva (abre um site externo) entre os riscos principais: um agente com mais funcionalidades, mais permissões ou mais autonomia do que a tarefa exige. A aprovação humana é um dos controlos. Aplicada em todo o lado, atrasa o trabalho e habitua as pessoas a carregar em «aprovar». Ausente, deixa ações que ninguém decidiu. O trabalho está em decidir onde colocá-la.

02Começar pelas ações, não pelo modelo

Faça um inventário de todas as ferramentas que o agente pode chamar. Para cada uma, responda a quatro perguntas. Dizem respeito, de propósito, à ação e ao seu efeito, e não ao modelo.

1. 01Pode ser revertida? E a que custo: um clique, uma carta de retificação, um reembolso, um processo em tribunal?
2. 02Quem é afetado? Um rascunho interno, um colega, um cliente ou um cidadão, dinheiro, um terceiro?
3. 03Cria um compromisso ou um efeito jurídico? Uma decisão sobre uma pessoa, um pagamento, um contrato, uma mensagem enviada em nome da organização.
4. 04Com que frequência e a que velocidade? Uma ação que ocorre milhares de vezes por dia exige um controlo diferente de uma que ocorre duas vezes por semana.

As respostas colocam cada ação num de quatro níveis. A maioria das organizações descobre que um pequeno número de ações concentra quase todo o risco, o que é uma boa notícia: é aí que o esforço de aprovação deve estar.

Um exemplo numa câmara municipal: pesquisar regulamentos municipais e despachos internos é nível 1; classificar um requerimento recebido e encaminhá-lo para o serviço certo é nível 2; pedir ao requerente um documento em falta é nível 3; deferir ou indeferir o pedido é nível 4, e essa decisão continua a ser do serviço.

Os níveis são um instrumento de conceção, não uma classificação jurídica. Confronte-os com as regras aplicáveis. O RGPD confere às pessoas direitos específicos perante decisões tomadas exclusivamente com base no tratamento automatizado (abre um site externo) que produzam efeitos jurídicos ou que as afetem significativamente de forma similar (artigo 22.º). Para os sistemas de risco elevado, o Regulamento da IA exige que possam ser efetivamente supervisionados por pessoas (abre um site externo) (artigo 14.º). É normalmente no nível 4 que estas obrigações se concretizam.

03Sinais que devem chegar sempre a uma pessoa

Algumas situações devem fazer subir uma ação de nível, seja qual for o seu lugar habitual. Construa-as como verificações explícitas no fluxo de trabalho, para que não dependam de o agente as detetar.

• A entrada está fora do que foi testado: um novo tipo de documento, uma língua invulgar, campos em falta ou contraditórios. Num fabricante exportador, por exemplo, uma encomenda de um novo mercado com outras regras de faturação.
• As fontes recuperadas pelo agente contradizem-se, ou a ação proposta assenta em algo que o agente não consegue citar.
• O montante, o âmbito ou o número de registos afetados ultrapassa um limite definido.
• O processo toca uma categoria sensível: dados de saúde, menores, uma reclamação, um litígio ou um recurso em curso.
• O agente já repetiu a tentativa, ou um sistema a jusante devolveu um erro.

Falta nesta lista, de propósito, um sinal: a confiança do próprio modelo. Os modelos de linguagem podem afirmar coisas erradas com fluência, aquilo que o National Institute of Standards and Technology dos Estados Unidos descreve como confabulação (abre um site externo) no seu perfil de risco para a IA generativa. Uma pontuação atribuída pelo próprio modelo pode ser um dado entre outros, mas deve estar ao lado de verificações externas, como regras de validação e a comparação com o sistema de referência, e nunca substituí-las.

04Uma aprovação que as pessoas consigam realmente dar

Uma sucessão de pedidos «aprovar?» ensina as pessoas a aprovar. O Regulamento da IA identifica este risco: quem supervisiona um sistema de risco elevado deve manter-se consciente da possível tendência para confiar automaticamente, ou em excesso, nos resultados que o sistema produz (artigo 14.º, n.º 4, alínea b) (abre um site externo)).

Quatro opções de conceção tornam essa consciência praticável.

Mostrar a evidência, não apenas a resposta

Apresente a ação proposta em linguagem clara, as fontes em que assenta (com ligações que abrem no excerto certo), a regra ou política aplicada e o que muda exatamente, e em que sistema. Um revisor que tem de abrir três aplicações para verificar uma proposta acaba, sob pressão de tempo, por deixar de verificar.

Dizer «não» tão facilmente como «sim»

Rejeitar e editar são resultados normais, não exceções. Coloque-os ao lado de aprovar, peça um motivo curto a quem rejeita e use esses motivos na avaliação. Se editar uma proposta for mais difícil do que escrevê-la de raiz, as pessoas acabam por aprovar propostas imperfeitas.

Atribuir a aprovação a uma função com autoridade

A aprovação cabe a uma função designada, com a competência, a formação e a autoridade necessárias para contrariar o sistema; para os sistemas de IA de risco elevado, o Regulamento da IA pede exatamente isto aos responsáveis pela implantação (artigo 26.º, n.º 2 (abre um site externo)). Preveja um substituto e uma via de escalonamento, e meça quanto tempo os pedidos ficam à espera. Uma fila sem responsável torna-se o estrangulamento que leva as equipas a contornar o controlo.

Agrupar apenas o que é realmente de baixo risco

Rever quarenta pedidos quase idênticos um a um não torna ninguém mais cuidadoso. Para as ações de nível 2, permita a revisão em lote com amostragem aleatória. Mantenha individuais os pedidos de nível 3 e de nível 4.

05Impor o controlo no sistema, não nas instruções

Uma instrução dada ao modelo não é um controlo de acessos. O texto que o agente lê, como um e-mail, um documento ou uma página web, pode conter instruções próprias, aquilo a que o OWASP chama injeção de prompts (abre um site externo). Se a única coisa entre um agente e uma ação irreversível for uma frase nas suas instruções, parta do princípio de que essa frase vai um dia ser contornada.

• Dê ao agente uma identidade própria com os privilégios mínimos de que cada ferramenta precisa e, quando a plataforma o permitir, faça-o agir dentro dos direitos do utilizador que fez o pedido.
• Imponha as aprovações na camada de integração: o serviço que envia a carta recusa a chamada se não existir um registo de aprovação válido para essa ação exata.
• Aplique às ferramentas limites de valor, de volume e de frequência, independentes do agente.
• Separe as ferramentas de leitura das de escrita, para poder alargar o que o agente vê sem alargar o que pode fazer.

06Registar o que será preciso explicar mais tarde

Em cada execução do agente, guarde o pedido, as fontes recuperadas, cada chamada de ferramenta com os respetivos parâmetros, a ação proposta, quem aprovou, a decisão, eventuais edições e as datas e horas. Para os sistemas de IA de risco elevado, os responsáveis pela implantação devem conservar os registos gerados automaticamente durante, pelo menos, seis meses, salvo disposição em contrário noutra legislação (artigo 26.º, n.º 6 (abre um site externo)). Onde nenhuma regra o exija, guarde-os na mesma: é com os registos que se aprende.

Reveja os registos com uma periodicidade fixa. Ações sempre aprovadas sem alterações são candidatas a descer de nível. Ações editadas com frequência apontam para uma fragilidade do agente, ou pertencem a um nível acima. Rejeições que se concentram numa fonte, num formulário ou numa equipa revelam, em regra, um problema de processo que nenhum modelo vai resolver.

07Começar de forma restrita e aliviar o controlo com evidência

Arranque com as ações de maior consequência nos níveis 3 e 4. Acorde antes o que é um bom resultado: que resultados contam como corretos, que erros são aceitáveis e quais não são. Depois meça face a esses critérios, por exemplo usando as funções de medição do NIST AI Risk Management Framework (abre um site externo) como lista de verificação.

Numa seguradora, isto pode significar começar com o agente a preparar a resposta a uma participação de sinistro para um técnico aprovar, e só passar a enviar automaticamente as confirmações de receção quando os registos mostrarem que deixaram de precisar de correções.

Passe uma ação para um nível mais leve apenas com evidência: um período em que as aprovações não exigiram alterações relevantes, testes sobre os casos que correram mal e a concordância do responsável pelo processo. Registe essa decisão como qualquer outra alteração ao sistema e mantenha a possibilidade de recuar.

Os resultados da IA podem estar errados. Isso não é razão para manter os agentes longe do trabalho real; é a razão para definir onde as pessoas mantêm o controlo. Os agentes são úteis porque podem agir. Colocar os pontos de aprovação de forma deliberada é o que permite confiar-lhes mais trabalho ao longo do tempo.