A empresa aplica uma pesquisa interna e descobre que setenta por cento dos colaboradores se declaram confortáveis com inteligência artificial. O número é bom, circula em apresentação e não permite decidir nada — nem quem treinar, nem em quê, nem com qual prioridade. A tese deste artigo: pesquisa de percepção produz número confortável e inútil. A medição que serve é baseada em tarefa observável, definida por cargo. Enquanto o piso do gestor é um patamar exigível, este texto trata do instrumento que mede a organização inteira.
Defina o esperado antes de medir
Para cada cargo, escrever o que a pessoa deve conseguir fazer. Não "conhece ferramentas de IA", mas "identifica, em uma saída de sistema, uma afirmação não sustentada pelo documento de origem".
A diferença entre as duas formulações é que a segunda pode ser observada por outra pessoa sem entrevista. Esperado vago produz medição vaga, e medição vaga produz plano de treinamento genérico.
O esperado varia por cargo porque a consequência varia. Quem aprova crédito, quem responde ao cliente e quem consolida número gerencial usam o mesmo tipo de ferramenta com riscos distintos.
Medir por tarefa, não por questionário
Um conjunto pequeno de tarefas reais, corrigidas com gabarito definido por quem entende do assunto. Cinco tarefas bem escolhidas dizem mais que trinta perguntas de múltipla escolha.
Leva menos tempo que a pesquisa de percepção, porque não exige mobilizar toda a organização em uma janela, e produz um número que significa alguma coisa: proporção de tarefas resolvidas dentro do critério.
O gabarito é a parte que costuma ser subestimada. Sem critério de correção escrito antes, dois avaliadores produzem resultados diferentes e o instrumento perde comparabilidade já no primeiro ciclo.
Comparar no tempo exige congelar o instrumento
Mudar as perguntas a cada ciclo impede ver evolução. A variação medida passa a misturar mudança de competência com mudança de dificuldade, e as duas se tornam impossíveis de separar.
Manter o núcleo fixo e rotacionar apenas uma parte dos casos preserva a comparação e reduz o efeito de memorização. A proporção rotacionada precisa ser decidida antes e registrada.
A ISO/IEC 42001:2023 trata competência como elemento do sistema de gestão, sujeito a verificação periódica. Verificação periódica só produz série histórica quando o instrumento é estável.
O que fazer com o resultado
Diferença entre cargos indica onde treinar. É o uso direto do instrumento e o mais fácil de traduzir em plano.
Diferença dentro do mesmo cargo indica outra coisa: problema de acesso à ferramenta, de processo que não permite usar ou de tempo indisponível. Confundir as duas leituras leva a treinar quem não precisa e a manter intacta a restrição real.
Considere duas equipes do mesmo cargo com resultados distantes e mesmo programa de capacitação. A hipótese mais econômica não é diferença de capacidade: é diferença de condição de uso.
Erros comuns no desenho do instrumento
Medir familiaridade com ferramentas específicas em vez de capacidade transferível. Ferramenta muda; o instrumento amarrado a ela envelhece em meses e obriga a recomeçar a série histórica.
Aplicar o mesmo conjunto de tarefas a cargos com consequências distintas. O resultado parece comparável e não é: o mesmo acerto significa coisas diferentes para quem aprova crédito e para quem redige comunicado interno.
Divulgar resultado individual em ranking. O efeito previsível é a otimização para o instrumento, que destrói justamente a propriedade que tornava a medição útil: a de estimar comportamento fora do teste.
Quatro passos para medir por cargo
- Definir o esperado por cargo em forma observável
- Construir tarefas reais com gabarito escrito antes
- Congelar o núcleo do instrumento e rotacionar só parte dos casos
- Separar lacuna de capacidade de lacuna de acesso
Modelo de cálculo ÍON
Tarefas resolvidas dentro do critério ÷ tarefas aplicadas = índice de fluência do cargo. Compare a dispersão dentro do cargo com a diferença entre cargos: dispersão interna alta indica restrição de acesso, não de competência.
Case relacionado
Profissionalização sem destruir a cultura da empresa familiarFontes e referências
Cetic.br | NIC.br — TIC Empresas 2025
Acessar a fonteISO/IEC 42001:2023 — Sistema de gestão de inteligência artificial
Acessar a fonteNIST AI Risk Management Framework 1.0 (2023)
Acessar a fonte
Solução ÍON relacionada
Formação Executiva
Dúvidas frequentes
- Como medir fluência em IA na organização?
- Por tarefa observável definida por cargo, com gabarito escrito antes da aplicação. O indicador é a proporção de tarefas resolvidas dentro do critério, o que permite comparar cargos entre si e o mesmo cargo ao longo do tempo.
- Autoavaliação serve para alguma coisa?
- Serve para medir confiança declarada, que é um dado de clima, não de capacidade. Como base para decidir quem treinar e em quê, produz um número confortável e inútil, porque a percepção de domínio não guarda relação estável com o desempenho em tarefa real.
- Quantas tarefas usar no instrumento?
- Um conjunto pequeno e bem escolhido, extraído da operação real do cargo, costuma render mais informação que um questionário longo. O fator determinante não é a quantidade, e sim a existência de um gabarito escrito antes, que garanta correção consistente entre avaliadores.
- Com que frequência medir?
- Em ciclos regulares que permitam construir série histórica, mantendo o núcleo do instrumento fixo. Mudar as perguntas a cada aplicação mistura variação de competência com variação de dificuldade e inviabiliza a leitura de evolução.
- O que fazer com o resultado da medição?
- Diferença entre cargos indica onde treinar. Diferença dentro do mesmo cargo indica restrição de acesso à ferramenta, de processo ou de tempo, e não lacuna de capacidade. Tratar a segunda como se fosse a primeira leva a treinar quem não precisa.
Autor
Leandro Bryk
Consultor responsável pela ÍON Soluções, atuando em inteligência comercial, estratégia, gestão financeira, marketing e imagem corporativa.
LinkedIn