Em resumo: publicado na Harvard Business Review em 2017, “The Surprising Power of Online Experiments” (o poder surpreendente dos experimentos online), de Ron Kohavi e Stefan Thomke, segue sendo a referência central sobre cultura de experimentação. A tese: empresas que testam em escala decidem melhor porque quase tudo que assumimos como óbvio falha no teste.
O artigo nasce de uma constatação desconfortável que Kohavi viveu na Microsoft e na Amazon: a maioria das ideias de melhoria falha quando testada. Não algumas, a maioria. Na Microsoft, cerca de um terço dos experimentos melhorava a métrica, um terço não mudava nada e um terço piorava. Se lá a intuição erra dois terços das vezes, por que a sua empresa decidiria diferente?
O que o artigo defende sobre experimentos online
Experimentos online baratos mudam a economia da decisão. Quando testar custa pouco, não faz sentido debater opiniões em reunião: testa-se. A escala importa porque efeitos pequenos, de 1% ou 2%, só aparecem com amostras grandes, e são esses efeitos que, somados ao longo de anos, constroem a vantagem competitiva.
O texto também introduz conceitos que viraram vocabulário da área: a OEC, a métrica única que resume o valor do negócio; o alerta contra métricas de vaidade; e a infraestrutura que permite a qualquer pessoa testar sem depender de um time central.
A parte que quase ninguém cita
O trecho mais útil do artigo não é o otimismo com a escala, é a honestidade sobre a taxa de fracasso. Se dois terços dos experimentos não melhoram nada, um programa de experimentação não é uma máquina de uplifts: é uma máquina de não fazer besteira cara. O valor econômico de evitar as piores ideias frequentemente supera o das que vencem. Escrevemos sobre esse custo invisível em o custo de não testar.
Minha leitura
Releio esse artigo quase dez anos depois e o que envelheceu melhor é a parte cultural: experimentação não é ferramenta, é a disposição de deixar o dado contrariar a hierarquia. Vejo empresas brasileiras comprando plataforma de teste antes de ter essa disposição, e o resultado é um teste por trimestre, escolhido a dedo para não contrariar ninguém. O artigo da HBR é o antídoto: o objetivo não é estar certo, é descobrir rápido onde se está errado. Para quem está nesse ponto da jornada, vale ler nosso texto sobre cultura de experimentação e o lembrete de que as empresas que mais crescem testam mais.
O que a gente aprende
- A maioria das ideias falha no teste. Planeje o programa para aprender com o fracasso, não para celebrar vitórias.
- Efeito pequeno composto vence efeito grande raro. Escala de testes é vantagem estratégica.
- Métrica única de valor primeiro. Sem uma OEC, cada teste vira uma negociação de narrativa.
Perguntas frequentes sobre o artigo da HBR
O que diz o artigo The Surprising Power of Online Experiments?
Publicado na HBR em 2017 por Ron Kohavi e Stefan Thomke, defende que experimentos online baratos mudam a economia da decisão e mostra que a maioria das ideias falha quando testada, o que torna a escala de testes uma vantagem competitiva.
O que é OEC em experimentação?
Overall Evaluation Criterion: a métrica única que resume o valor do negócio e orienta a leitura dos experimentos, evitando que cada teste seja avaliado por uma métrica diferente e conveniente.
Quantos experimentos realmente melhoram as métricas?
Na Microsoft, segundo Kohavi, cerca de um terço dos experimentos melhora a métrica, um terço não muda nada e um terço piora. A intuição erra dois terços das vezes.
Fontes
The Surprising Power of Online Experiments, Harvard Business Review, set-out 2017, via ExP Platform (em inglês). Traduzido e adaptado pela CRO Brasil.