Como saber se a IA que você usa dá resultado

Depois de alguns meses usando IA, a pergunta inevitável aparece: isso está valendo? A resposta costuma ser dada por sensação, e sensação é um instrumento ruim aqui por um motivo específico: a IA melhora a experiência de fazer o trabalho antes de melhorar o resultado do trabalho. A pessoa se sente mais produtiva, e nem sempre a empresa entrega mais.

Medir resolve. E medir é mais simples do que parece.

Comece pelo que você contratou para resolver

O primeiro teste não é de indicador, é de memória: qual problema você esperava resolver?

Se a resposta for vaga ("modernizar", "ganhar produtividade"), não há como medir, e esse já é o achado. Se for concreta ("reduzir o tempo de resposta ao cliente", "parar de digitar pedido duas vezes"), o indicador está implícito no enunciado.

Quando ninguém consegue reconstituir a expectativa original, vale refazê-la agora, olhando para a frente.

Os três níveis, do mais fácil ao mais revelador

Nível 1: uso real

A pergunta mais básica e a mais reveladora: quantas pessoas usam, em quais tarefas, com que frequência?

Licença ativada não é uso. Se de dez licenças, três pessoas usam semanalmente e sete abriram uma vez, o problema é de adoção, e nenhum outro indicador vai fazer sentido antes de resolver isso.

Nível 2: a tarefa mudou

Quanto tempo aquela tarefa específica levava antes, e quanto leva agora? Aqui é preciso ter a linha de base, e quem não mediu antes precisa reconstruir por estimativa de quem executa, que é imperfeito e melhor que nada.

Cuidado com o efeito colateral: às vezes a tarefa ficou mais rápida e o volume total não mudou, porque o tempo liberado foi absorvido por outra coisa. Isso não é fracasso, e precisa ser dito com honestidade: o ganho existiu e foi reinvestido em outro trabalho.

Nível 3: o indicador do negócio

Prazo de entrega, retrabalho, volume atendido por pessoa, tempo de resposta ao cliente, custo por unidade. É o que importa e o mais difícil de atribuir, porque muitas coisas mudam ao mesmo tempo.

A atribuição honesta aqui é conversada, não calculada: perguntar a quem executa o que mudou e por quê separa bem o que veio da ferramenta do que veio de outra coisa.

Sensação de produtividade é um indicador da experiência de trabalhar, não do resultado do trabalho. As duas coisas podem andar em direções diferentes.

Os quatro sinais de que não está dando resultado

• Uso concentrado em uma ou duas pessoas. Ficou pessoal, não virou capacidade da empresa.
• Ninguém consegue nomear uma tarefa que mudou. Se a resposta é "ajuda bastante no geral", não mudou nada específico.
• O ganho depende de alguém. Quando essa pessoa tira férias, o processo volta ao que era.
• A ferramenta é usada para produzir mais do mesmo. Mais texto, mais relatório, mais slide, sem que alguém leia ou decida diferente.

O último é o mais traiçoeiro, porque parece produtividade. Volume não é resultado.