Um agente que envia uma cobrança errada produz efeito imediato no cliente. A pergunta que vem em seguida, feita pelo próprio cliente ou pela auditoria, é curta: quem autorizou isso.
Sistemas que agem, e não apenas respondem, criam uma lacuna de responsabilidade que nenhuma ferramenta preenche sozinha. Responsabilidade não é atributo técnico de um sistema, é atribuição de gestão feita antes de ele entrar em produção.
A diferença entre responder e agir
Um sistema que sugere deixa a decisão com a pessoa. O texto proposto pode estar errado, mas existe alguém entre a saída do modelo e o efeito no mundo.
Um agente que executa — envia mensagem, aprova pedido, altera cadastro, dispara cobrança — produz efeito sem decisão humana no meio. A diferença não é de sofisticação, é de consequência.
Só a segunda categoria exige dono nomeado antes da entrada em operação. Tratar as duas com a mesma política é o que faz uma organização descobrir a lacuna depois do primeiro incidente.
Considere um agente autorizado a reenviar boletos vencidos. A ação parece administrativa, mas alcança o cliente diretamente e, feita fora de critério, produz atrito comercial que ninguém programou.
O critério prático é simples: se a saída do sistema produz efeito sem passar por uma pessoa, ela é uma ação da empresa, com todas as consequências que uma ação da empresa carrega.
O que significa ser dono de um agente
Aprovar o escopo do que o agente pode fazer, por escrito, incluindo o que ele está proibido de executar mesmo que seja tecnicamente capaz.
Definir o limite de valor ou de criticidade acima do qual a ação exige validação humana antes de produzir efeito.
Revisar os registros em periodicidade fixa, responder pelo erro perante o cliente e a auditoria e decidir a desativação. Cinco obrigações concretas: sem elas, o nome ao lado do agente é decorativo.
Nenhuma dessas obrigações é técnica, e é por isso que elas não podem ser delegadas ao fornecedor nem à área que instalou a integração.
O escopo aprovado precisa ser específico o bastante para permitir uma resposta binária diante de um caso concreto. Escopo redigido em termos amplos protege o processo de aprovação e não protege a operação.
O erro de atribuir a responsabilidade à TI
A área de tecnologia opera a infraestrutura, mantém a integração e responde pela disponibilidade. Nada disso a torna capaz de julgar se uma aprovação de crédito deveria ter sido concedida.
Quem responde é quem responde pela decisão que o agente executa. Crédito responde pelo agente de crédito, comercial pelo agente de proposta, financeiro pelo agente de cobrança.
Atribuir tudo à tecnologia produz um dono formal sem autoridade sobre o processo. Quando o incidente chega, o responsável nomeado não tinha poder para mudar a regra que o causou.
Existe uma exceção parcial: a tecnologia responde pelos controles que sustentam a operação do agente, como credencial, registro e disponibilidade. Responder pelo controle não é o mesmo que responder pela decisão.
Registro mínimo para que a pergunta tenha resposta
Entrada recebida, versão do modelo utilizada, saída produzida, ação efetivamente executada, quem aprovou o escopo e em que data. Cinco campos que transformam uma apuração em consulta.
Sem trilha, a investigação de um incidente vira reconstrução por memória, feita semanas depois por pessoas que participaram de partes distintas do processo.
Quando a decisão afeta interesses de titular de dados pessoais, o registro se conecta ao direito de revisão previsto no art. 20 da LGPD. Responder a esse pedido exige saber o que o sistema recebeu e o que ele decidiu.
A periodicidade da revisão precisa estar definida junto com o registro. Trilha que ninguém lê cumpre requisito formal e não impede a repetição do erro, porque o desvio só aparece quando alguém compara ações executadas com escopo aprovado.
O que define o dono de um agente
- Delimitação
- O que o agente pode e o que ele não pode fazer, por escrito.
- Origem
- Qual decisão de negócio ele executa em nome da empresa.
- Nome
- Pessoa responsável identificada, não uma área.
- Observação
- Trilha de auditoria e revisão periódica dos registros.
- Desligamento
- Quem desativa o agente e sob qual critério.
Case relacionado
Profissionalização sem destruir a cultura da empresa familiarFontes e referências
LGPD — Lei nº 13.709/2018, art. 20
Direito à revisão de decisões tomadas com base em tratamento automatizado.
Acessar a fonteNIST — AI RMF, perfil de inteligência artificial generativa
Perfil complementar do AI RMF dedicado a riscos de sistemas generativos.
Acessar a fonteISO/IEC 42001:2023
Norma internacional de sistema de gestão de inteligência artificial.
Acessar a fonte
Diagnóstico ÍON de IA aplicada à gestão
Uma sessão de 90 minutos, sem custo, para mapear onde a inteligência artificial já está em uso na sua operação, o que ela mudou no processo e o que ainda não foi medido. Você envia a lista de ferramentas contratadas e um exemplo do processo em que elas deveriam atuar. A devolutiva escrita chega em cinco dias úteis.
Solução ÍON relacionada
Estratégia & Gestão Empresarial
Dúvidas frequentes
- Quem deve responder por um agente de IA?
- A pessoa que responde pela decisão de negócio que o agente executa, e não a área de tecnologia. Crédito responde pelo agente de crédito, comercial pelo agente de proposta.
- Qual a diferença entre copiloto e agente?
- Um copiloto sugere e mantém a decisão com a pessoa. Um agente executa a ação e produz efeito sem decisão humana no meio, o que exige escopo aprovado, limite de validação e dono nomeado.
- O que registrar sobre a atuação de um agente?
- Entrada recebida, versão do modelo, saída produzida, ação executada, quem aprovou o escopo e a data. Sem esses campos, apurar um incidente depende de memória e de reconstrução manual.
- A responsabilidade pode ser do fornecedor?
- O contrato pode alocar obrigações técnicas ao fornecedor, mas quem responde ao cliente e à auditoria pela decisão executada é a empresa que colocou o agente em operação.
- Quando exigir validação humana?
- Acima do limite de valor ou de criticidade definido no escopo, e sempre que a ação for cara de reverter ou afetar diretamente interesses de titular de dados pessoais.
Autor
Leandro Bryk
Consultor responsável pela ÍON Soluções, atuando em inteligência comercial, estratégia, gestão financeira, marketing e imagem corporativa.
LinkedIn