O modelo não sabe nada sobre a sua operação, e isso é o ponto de partida, não o defeito

RAG — retrieval-augmented generation, ou geração aumentada por recuperação — é o desenho em que o sistema busca trechos relevantes em uma base própria e os entrega ao modelo junto com a pergunta, para que a resposta se apoie neles em vez de na memória do treinamento.

A arquitetura tem dois momentos: recuperar (encontrar os trechos certos na base) e gerar (redigir a resposta apoiada neles). Os dois podem falhar separadamente, e diagnosticar qual falhou é metade do trabalho de correção.

Documento desatualizado, versão duplicada, política revogada que permanece no repositório: tudo isso é recuperado com a mesma tranquilidade que o documento correto. O sistema não distingue a política vigente da que foi substituída em março — as duas estão lá, e as duas parecem igualmente oficiais.

O resultado é que a empresa passa a receber respostas erradas com fundamentação aparente: o assistente cita a política de 2023 com a mesma confiança com que citaria a de 2026. Trocar de modelo não resolve; a falha está no que foi recuperado, não em quem redigiu a resposta.

O sintoma típico é a troca de modelo como resposta automática: a resposta veio errada, troca-se o modelo, o erro permanece, e conclui-se que 'IA não funciona para o nosso caso'. O diagnóstico correto separa as duas metades do sistema — se o trecho recuperado estava certo e a resposta saiu errada, o problema é de geração; se o trecho estava errado, o problema é da base ou da busca. Metade dos casos se resolve sem tocar no modelo.

Definir a fonte oficial de cada assunto: para cada tema, um documento que manda. Remover versões superadas: o que foi revogado sai do repositório ou fica marcado como histórico fora do alcance da recuperação.

Marcar data de validade: política sem validade explícita vira política eterna aos olhos do sistema. Registrar quem é o dono de cada documento: alguém responde por atualizá-lo quando a regra muda. Nenhuma dessas etapas é técnica — e todas determinam o resultado mais que a escolha do modelo.

Toda resposta deve indicar de qual documento veio. A citação permite verificar a resposta, corrigir a base quando ela está errada e responsabilizar o dono do documento quando a fonte está desatualizada.

Sistema que responde sem citar não é auditável: não há como distinguir resposta ancorada na base de resposta inventada pela memória do modelo. A citação é o mecanismo que transforma confiança cega em verificação possível.

Groundedness: o quanto da resposta está efetivamente apoiada no conteúdo recuperado, e não na imaginação do modelo. Relevância do contexto recuperado: se os trechos entregues à geração eram de fato os pertinentes à pergunta.

Proporção de perguntas sem resposta na base: quando sobe, indica lacuna de conteúdo, não falha do modelo. Empresas que monitoram essa métrica descobrem o que precisa ser documentado; as que não monitoram trocam de modelo esperando que ele adivinhe o que nunca foi escrito.