A diretoria rejeitou o sistema de triagem porque errava 1,5% dos casos. Ninguém na sala sabia — ou quis perguntar — que a triagem manual errava 4%, com os erros concentrados nos casos mais complexos, aqueles em que o erro custa mais caro. A tese deste artigo: a tolerância a erro precisa ser definida por consequência e comparada com a linha de base humana. Sem esses dois parâmetros, a discussão vira aversão a risco seletiva: rigor absoluto para a máquina, indulgência total para o processo que ela substitui.
Compare com o processo atual, não com o ideal
A pergunta útil não é "o sistema erra?". É "erra mais ou menos que o processo que ele substitui, e os erros são do mesmo tipo?". Todo processo manual tem uma taxa de erro — raramente medida, o que permite tratá-la como zero na comparação.
Erro humano é distribuído e erro de sistema é sistemático, e essa diferença importa mais que a taxa. O analista erra por cansaço em casos variados; o sistema, quando erra, tende a errar sempre no mesmo tipo de caso — o que é simultaneamente mais perigoso e mais corrigível.
Graduar por consequência
Rascunho interno: tolerância alta, correção barata — quem usa revisa antes de usar. Comunicação ao cliente: tolerância baixa, porque o custo é reputacional e não há revisão depois do envio. Decisão com efeito financeiro ou regulatório: tolerância mínima e supervisão obrigatória, com o art. 20 da LGPD garantindo revisão de decisões automatizadas quando afetam o titular.
Aplicar a mesma exigência aos três é desperdiçar controle onde não precisa e faltar onde precisa. A graduação por consequência é o que permite automatizar mais processos com mais segurança, não menos.
A graduação também protege a adoção. Processos de baixa consequência automatizados cedo geram aprendizado, evidência e confiança para automatizar os de consequência maior depois. Empresa que exige padrão de decisão regulatória para um rascunho interno nunca começa; empresa que trata comunicação ao cliente com a tolerância de um rascunho quebra a credibilidade que sustenta o programa inteiro.
Erro sistemático exige tratamento diferente
Sistema que erra sempre no mesmo tipo de caso produz dano concentrado em um grupo: todos os clientes de uma região, todos os contratos de um formato, todas as solicitações de um perfil. A taxa agregada pode parecer aceitável enquanto um segmento inteiro é prejudicado de forma consistente.
Além da taxa, medir a distribuição: onde os erros se concentram e quem é afetado por eles. É a diferença entre estatística de qualidade e análise de dano — e é o que a revisão de decisões automatizadas prevista na LGPD espera encontrar.
O que fazer quando o erro acontece
Definir antes: como o erro é detectado, quem é notificado, como se corrige o caso concreto, se o cliente é informado e como o caso alimenta a base de avaliação para não se repetir.
Processo de erro definido depois do primeiro erro é improviso documentado. A empresa que decide o ritual de correção no desenho responde em horas; a que improvisa responde em semanas, com o dano crescendo a cada dia de indecisão.
Quatro parâmetros de tolerância a erro
- Linha de base humana do processo atual, medida
- Consequência do erro por tipo de saída
- Distribuição dos erros: onde se concentram e quem afetam
- Processo de correção definido antes do primeiro erro
Case relacionado
Projeto Horizonte 180Fontes e referências
NIST AI Risk Management Framework 1.0 (2023)
Acessar a fonteISO/IEC 42001:2023 — Sistema de gestão de IA
Acessar a fonteLei nº 13.709/2018 (LGPD), art. 20 — revisão de decisões automatizadas
Acessar a fonte
Solução ÍON relacionada
Estratégia & Gestão Empresarial
Dúvidas frequentes
- Qual taxa de erro é aceitável?
- A definida pela consequência do erro e pela comparação com a linha de base humana. Se o processo manual erra 4%, um sistema que erra 1,5% com erros mais corrigíveis já é melhoria — ainda que não seja zero. Exigir zero do sistema enquanto se convive com 4% no manual é aversão seletiva a risco, e custa caro em automação não feita.
- Como comparar com o erro humano?
- Medindo o processo atual antes de automatizar: amostre casos executados por humanos e verifique a taxa e o tipo de erro. Quase nunca essa medição existe, o que permite tratar o manual como zero na comparação. Sem linha de base medida, toda discussão sobre erro do sistema é ideológica.
- O que é erro sistemático?
- É o erro que se repete sempre no mesmo tipo de caso: todos os contratos de um formato, todos os clientes de um perfil. Diferente do erro humano, que é distribuído e variado, o erro sistemático concentra dano em um grupo — mas também é mais corrigível, porque tem causa única identificável. Por isso, além da taxa, é preciso medir a distribuição.
- Quando exigir supervisão humana?
- Quando a consequência do erro é alta e não reversível: decisão com efeito financeiro relevante, regulatório ou sobre direitos do titular — situação em que o art. 20 da LGPD garante revisão. Em saídas de baixa consequência e correção barata, supervisão integral desperdiça o ganho da automação.
- O que fazer quando o sistema erra?
- Executar o processo definido antes do primeiro erro: como o erro é detectado, quem é notificado, como o caso é corrigido, se o cliente é informado e como o caso entra na base de avaliação. Quem define o ritual no desenho responde em horas; quem improvisa depois do incidente responde em semanas, com o dano crescendo.
Autor
Leandro Bryk
Consultor responsável pela ÍON Soluções, atuando em inteligência comercial, estratégia, gestão financeira, marketing e imagem corporativa.
LinkedIn