Satisfação com o treinamento não é evidência de que alguma coisa mudou

Reação é o quanto o participante avaliou bem a experiência. Aprendizado é ele saber algo que não sabia antes. Comportamento é ele fazer diferente no trabalho. Resultado é o indicador do negócio se mover.

A pesquisa aplicada no fim da aula mede a primeira camada. Quase toda decisão de renovar, ampliar ou cancelar um programa é justificada com ela, embora reação e comportamento possam caminhar em direções opostas.

Separar as camadas não é preciosismo metodológico: cada uma exige um instrumento diferente, coletado em momento diferente. Quem coleta só a primeira nunca terá como responder à pergunta que a diretoria faz no ano seguinte.

Um programa pode ser mal avaliado pela turma e ainda assim mudar comportamento, porque exigiu esforço e confrontou hábito. O contrário também ocorre: uma experiência agradável, bem conduzida e sem nenhuma consequência prática na rotina de trabalho.

Antes da primeira turma, três coisas precisam estar registradas: o indicador de negócio que deveria mudar, o comportamento observável que produziria essa mudança e o período que será usado como comparação.

Definir a métrica depois da turma formada é escolher, entre os números disponíveis, aquele que já ficou bom. O procedimento produz relatório favorável e nenhuma informação nova sobre o programa.

A linha de base também protege o programa na direção contrária. Sem estado anterior registrado, uma melhora real fica sem prova e o investimento é cortado no primeiro ajuste orçamentário.

Registrar a linha de base não exige instrumento sofisticado. Exige data, número, definição do que está sendo contado e a assinatura de quem aprovou aquele recorte antes de a turma começar.

"Mais preparado" e "mais engajado" não são comportamentos. São impressões, e impressões variam com quem observa e com o dia da observação.

"Registra a próxima ação no sistema comercial em até 24 horas" é comportamento. "Confere o resultado antes de enviar ao cliente" é comportamento. A diferença está em outra pessoa conseguir verificar o cumprimento sem entrevistar ninguém.

A medição de capacitação fica séria quando o comportamento alvo é escrito nesse nível de concretude. Escrito assim, ele também vira instrução de trabalho, e o próprio programa ganha um objetivo que a operação entende.

Comportamento leva semanas para mudar e meses para estabilizar. Medir na semana seguinte captura entusiasmo de turma recém-formada, que costuma decair sem que nada tenha sido aprendido de forma duradoura.

Medir um ano depois captura tudo o que aconteceu no período, inclusive mudanças de time, de meta e de mercado que nada têm a ver com o programa.

A janela precisa ser definida antes e os períodos comparados precisam ser equivalentes em volume, contexto e composição de equipe. Comparar um trimestre de baixa com um trimestre de pico não avalia treinamento, avalia sazonalidade.

Uma prática simples reduz distorção: medir duas vezes, uma logo após a estabilização esperada e outra um ciclo depois. Se o efeito aparece na primeira e desaparece na segunda, o que foi treinado não entrou no processo.

Três hipóteses merecem ser testadas nesta ordem. Primeira: o comportamento mudou e o indicador ainda não respondeu, o que acontece quando o ciclo do negócio é longo.

Segunda: o comportamento não mudou porque o processo não permite. Um time capacitado a registrar informação em um sistema que exige quatro telas para isso não deixou de aprender, deixou de conseguir.

Terceira: o treinamento ensinou a coisa errada, ou seja, tratou de um tema que não era o gargalo. Essa é a hipótese mais provável e a menos investigada, porque testá-la implica revisar quem escolheu o conteúdo.

Antes de repetir o programa com outro fornecedor, vale testar a segunda hipótese removendo um obstáculo de processo e medindo de novo com a mesma régua. Se o indicador se mover sem nova turma, o diagnóstico estava errado desde o início.