A pergunta “a IA aumentou a produtividade?” chega à diretoria alguns meses depois da implantação, e a resposta costuma ser uma narrativa com um número escolhido a dedo. Não por má-fé: porque ninguém instrumentou o antes, e sem o antes não existe depois. A tese deste artigo é que o problema da medição de produtividade é de instrumentação, não de fórmula. Quem não registrou o tempo, o volume e o retrabalho antes da ferramenta só consegue produzir comparações que confirmam o que já queria concluir.
A unidade de medida precisa ser a mesma nos dois períodos
Toda medição começa pela escolha de uma unidade observável: um pedido processado, um chamado resolvido, uma proposta emitida, um fechamento contábil concluído. A unidade precisa existir nos dois períodos e significar a mesma coisa nos dois.
O erro mais comum é trocar a régua no meio do jogo: medir “tempo médio da equipe” antes e “tempo do processo” depois, e apresentar a diferença como ganho. As duas medidas podem ser honestas e a comparação continua sendo inválida.
Definir a unidade por escrito antes da implantação resolve a discussão antes que ela vire política. Quando o número aparece, ninguém pode acusar a régua de ter sido escolhida para favorecer o resultado.
O que instrumentar, e como, sem projeto de BI
A primeira forma é o carimbo de tempo em duas etapas do sistema que já existe: quando a unidade entra e quando ela sai. Não exige ferramenta nova, exige decidir quais dois eventos marcam o ciclo.
A segunda forma é a amostragem manual em período definido: alguém acompanha uma amostra de casos durante duas semanas e anota tempo e esforço. É trabalhosa, é imperfeita e é infinitamente melhor que nenhuma medida.
A terceira forma é a contagem de volume e retrabalho no registro atual: quantas unidades entraram, quantas voltaram. A mineração de processos — process mining, a reconstrução do fluxo real a partir dos registros de eventos — automatiza exatamente isso quando os sistemas gravam eventos, mas a contagem manual já sustenta a comparação.
Comparar períodos equivalentes
Volume, composição de equipe, sazonalidade e mix de casos precisam ser comparáveis entre o antes e o depois. Mês de pico contra mês fraco produz qualquer resultado que alguém deseje, em qualquer direção.
A sazonalidade é a armadilha mais frequente em operação comercial e financeira. Comparar o mês da implantação com o mesmo mês do ano anterior reduz o efeito; comparar com o mês imediatamente anterior quase sempre contamina.
O mix de casos merece a mesma atenção. Se depois da ferramenta os casos difíceis passaram a ir direto para pessoas, o tempo médio cai sem que nada tenha melhorado: a dificuldade apenas mudou de fila.
O que quase sempre contamina o resultado
O efeito de novidade infla as primeiras semanas: todo mundo usa, todo mundo presta atenção, e a medição captura entusiasmo em vez de rotina. Medir cedo demais produz um número que a operação não sustenta no trimestre seguinte.
A seleção dos casos fáceis para o piloto é a segunda contaminação. O piloto roda sobre o vinte por cento mais simples do volume e o resultado é apresentado como se fosse do processo inteiro.
A mudança simultânea de processo é a terceira: se junto com a ferramenta mudaram fila, responsável e critério de priorização, não há como atribuir a variação a ela. Registrar essas três condições antes de medir é o que separa medição de justificativa.
Cinco condições para uma comparação válida
- Mesma unidade
- A unidade observável existe e significa a mesma coisa nos dois períodos?
- Mesmo critério
- O critério de início e fim do ciclo não mudou entre antes e depois?
- Período equivalente
- Volume, equipe, sazonalidade e mix de casos são comparáveis?
- Sem mudança simultânea
- Nenhuma outra mudança de processo aconteceu junto com a ferramenta?
- Efeito de novidade descontado
- A medição foi feita depois que o uso virou rotina, não nas primeiras semanas?
Modelo de cálculo ÍON
Considere um processo que movia trezentas unidades por mês com tempo médio medido de quarenta minutos por unidade. Depois da implantação, o mesmo período equivalente registra trezentas unidades a vinte e oito minutos. O ganho é doze minutos por unidade multiplicado por trezentas unidades, ou sessenta horas por mês — número que só é defensável se a unidade, o critério e o período forem os mesmos nos dois lados.
Case relacionado
Projeto Horizonte 180Fontes e referências
van der Aalst — Process Mining
Referência acadêmica sobre mineração de processos a partir de registros de eventos.
Acessar a fonteIEEE Task Force on Process Mining — Process Mining Manifesto
Manifesto com princípios e desafios da mineração de processos.
Acessar a fonteNIST — AI Risk Management Framework
Referência de gestão de risco em sistemas de inteligência artificial.
Acessar a fonte
Diagnóstico ÍON de IA aplicada à gestão
Uma sessão de 90 minutos, sem custo, para mapear onde a inteligência artificial já está em uso na sua operação, o que ela mudou no processo e o que ainda não foi medido. Você envia a lista de ferramentas contratadas e um exemplo do processo em que elas deveriam atuar. A devolutiva escrita chega em cinco dias úteis.
Solução ÍON relacionada
Estratégia & Gestão Empresarial
Dúvidas frequentes
- Como medir produtividade antes da IA?
- Escolhendo uma unidade observável e registrando tempo de ciclo, volume e retrabalho antes da implantação, por carimbo de tempo no sistema existente, amostragem manual ou contagem no registro atual. Sem o antes instrumentado, toda comparação posterior é narrativa.
- Que unidade usar?
- A que já existe no processo e significa a mesma coisa nos dois períodos: pedido, chamado, proposta, fechamento. A pior unidade é a que só passou a existir depois da ferramenta.
- Quanto tempo medir?
- O suficiente para capturar rotina, não novidade: em geral algumas semanas de linha de base antes e o mesmo período equivalente depois, evitando as primeiras semanas de uso entusiasmado.
- O que contamina a comparação?
- Efeito de novidade, seleção de casos fáceis no piloto e mudança simultânea de processo. Registrar as três condições antes de medir é o que separa medição de justificativa.
- Preciso de ferramenta de BI?
- Não. Carimbo de tempo em duas etapas do sistema existente, amostragem manual em período definido e contagem de volume e retrabalho no registro atual funcionam em duas semanas, sem ferramenta nova.
Autor
Leandro Bryk
Consultor responsável pela ÍON Soluções, atuando em inteligência comercial, estratégia, gestão financeira, marketing e imagem corporativa.
LinkedIn