Erro plausível atravessa três níveis de aprovação; erro absurdo para na primeira leitura

Restrição de escopo na instrução: o sistema sabe sobre o que pode falar e, principalmente, sobre o que não pode. Ancoragem da resposta em base controlada por recuperação: a resposta se apoia em documentos da empresa, não na memória do modelo.

Ajuste fino para domínios muito específicos: vocabulário e padrões de um campo estreito, quando recuperação sozinha não basta. Validação automática da saída antes do efeito: formato, presença de citação, coerência com regras conhecidas. Revisão humana por amostragem em domínios críticos. A combinação mais comum é recuperação somada a validação, com ajuste fino reservado a casos específicos.

Recuperação reduz invenção, mas não impede resposta fora de escopo: o sistema pode usar o documento certo para responder a pergunta que não deveria responder. Validação pega formato e não pega conteúdo errado bem formatado: uma norma inexistente com número no padrão correto passa.

Revisão humana funciona até o volume exceder a capacidade de examinar — e o volume sempre excede, porque o objetivo da automação é justamente escalar. A defesa real é a composição: cada camada cobra o tipo de erro que a anterior deixa passar.

Há ainda o custo da falsa sensação de proteção. Empresa que adota uma camada única e a anuncia como solução tende a relaxar as demais defesas: se a recuperação 'garante' a resposta, por que validar a saída? É nesse relaxamento que o erro plausível encontra caminho livre até o cliente.

Sem medição, a empresa acumula camadas sem saber qual reduziu erro — e paga por todas. Cada camada tem custo de construção e de operação; saber qual delas está trabalhando é o que permite investir na próxima certa.

Duas formas complementares: avaliação antes da publicação, com conjunto de casos conhecidos e respostas esperadas; e telemetria contínua em produção, ligando cada resposta ao que foi recuperado e à versão do sistema. A primeira responde "está pronto"; a segunda, "continua bom".

Zero erro não é meta realista nem economicamente racional em todo processo. O custo de aproximar a taxa de zero cresce exponencialmente, e em muitos processos o dinheiro rende mais em outra frente.

A meta é definir o limite por consequência: o que é tolerável num rascunho interno não é tolerável numa resposta ao cliente, e o que passa numa resposta ao cliente não passa numa decisão com efeito regulatório. Limite explícito permite medir; exigência genérica de perfeição só produz discussão.

A telemetria contínua tem uma função adicional que a avaliação prévia não cumpre: ela captura a deriva. O sistema que passou no conjunto de testes em janeiro pode degradar em abril por mudança de versão do modelo ou de comportamento dos usuários, e só a medição em produção percebe a diferença antes que ela vire reclamação.