Os evals de IA viraram requisito de mercado: metade das vagas de product manager que o Lenny Rachitsky compartilhou numa semana pedia experiência em escrever evals. O mercado decidiu que avaliar IA é a habilidade do momento. E a maioria dos times vai aprender errado, porque vai pular a parte chata: descobrir os erros antes de medir qualquer coisa.
É o que Hamel Husain e Shreya Shankar, que já trabalharam com mais de 50 empresas de IA, apontam no artigo deles sobre evals: os times saltam direto para a escrita de métricas e acabam medindo as coisas erradas. O processo correto começa olhando os dados, leitura manual e tediosa de dezenas de outputs, até os padrões de falha emergirem. Só depois disso se escreve a primeira métrica.
A tentação de medir antes de olhar
O padrão se repete em toda disciplina nova. Em CRO, é o time que instala a ferramenta de teste A/B e sai testando cor de botão sem uma única entrevista com usuário. Em analytics, é o dashboard com 40 métricas e nenhuma pergunta. Em IA, é o eval escrito no primeiro dia, medindo com precisão cirúrgica algo que não importa.
Medir dá a sensação de rigor sem o trabalho do rigor. Olhar os casos um a um, anotar onde o produto falhou e por quê, é lento e não escala. É também a única forma de saber o que vale medir. Quem trabalha com pesquisa reconhece o princípio: como escrevemos sobre como pesquisas qualitativas aceleram experimentos, o qualitativo não é luxo, é a fase que impede o quantitativo de medir o errado.
O que muda na prática
A recomendação dos autores é tratar a descoberta de erros como fase obrigatória: amostra de outputs reais, leitura humana, taxonomia de falhas, e só então métricas e automação. O que pode ser automatizado vem depois; o julgamento inicial não pode ser delegado. Nem para a IA, aliás, o que tem sua própria ironia.
A pergunta que fica para qualquer time, de IA ou não: quando foi a última vez que você leu, um a um, os casos em que seu produto falhou? Se a resposta é nunca, suas métricas medem o que você imaginou, não o que existe.
Perguntas frequentes sobre evals de IA
O que são evals de IA?
Evals são avaliações estruturadas que medem se um produto ou fluxo de IA está performando como esperado, com métricas definidas a partir dos padrões de falha reais do produto.
O que é a fase de descoberta de erros em evals?
A leitura manual de dezenas de outputs reais antes de escrever qualquer métrica, para descobrir onde e como o produto falha. Hamel Husain e Shreya Shankar a tratam como a etapa que a maioria dos times pula.
Por que não escrever as métricas de eval direto?
Porque sem a descoberta de erros, as métricas medem o que o time imaginou, não os modos de falha que existem. O resultado é um eval preciso sobre a coisa errada.
Fontes
Advanced evals: how to find (and fix) hidden AI failures in your product, Hamel Husain e Shreya Shankar na Lenny’s Newsletter (em inglês, conteúdo parcialmente pago).