O ROI de um programa de CRO, Growth e Experimentação se calcula com a contribuição incremental gerada pelos testes — margem sobre a receita adicional, nunca receita bruta — menos o custo total do programa, dividido por esse custo. Parece óbvio, mas a maioria das apresentações de ROI de experimentação erra em pelo menos um de três pontos: confunde correlação com incrementalidade, projeta receita bruta em vez de margem, e esquece de incluir todos os custos. Este guia fecha essas três lacunas com um modelo completo e um exemplo numérico.
Por que correlação não paga boleto: incrementalidade
A receita subiu 20% no trimestre em que o programa de CRO começou. Foi o programa? Talvez. Talvez tenha sido a campanha de mídia, a sazonalidade ou a entrada de um canal novo. Sem um grupo de controle, não há como separar o efeito do teste do efeito de todo o resto — e é por isso que o teste A/B existe: ele é o instrumento que isola a variação do ruído. A base estatística disso está em estatística de teste A/B: amostra, MDE e duração.
Incrementalidade é a diferença entre o que aconteceu com a mudança e o que teria acontecido sem ela. Só ela entra na conta de ROI. E aqui mora o primeiro erro clássico: somar os uplifts divulgados de todos os testes do ano como se todos fossem vitórias reais. Não são. A maioria dos testes A/B não produz resultado significativo, e parte dos que produzem não se sustenta quando replicada — o detalhamento desse problema está em por que a maioria dos cases de CRO e testes A/B não é confiável. Kohavi e Thomke, relatando a experiência da Microsoft na Harvard Business Review, mostram que mesmo em programas maduros a maior parte das ideias testadas não melhora as métricas que pretendia melhorar — e que algumas das piores ideias “óbvias” só foram desmascaradas porque foram testadas.
A fórmula: margem, não receita bruta
A fórmula correta do ROI de experimentação é:
ROI = (contribuição incremental − custo total do programa) ÷ custo total do programa
Contribuição incremental é a receita adicional gerada pelos testes vencedores multiplicada pela margem de contribuição — o que sobra depois de custo do produto, impostos, frete e taxas de pagamento. Usar receita bruta infla o ROI em três a quatro vezes e derruba a credibilidade do programa na primeira pergunta do CFO. Se a sua loja tem margem de contribuição de 30%, cada R$ 1 milhão de receita incremental vale R$ 300 mil na conta de verdade.
Um caso real de como isso se materializa: a Electrolux gerou R$ 804 mil em receita incremental movendo a recomendação de consumíveis avulsos da página de produto para o carrinho — um único experimento A/B/C, descrito no case Electrolux de recomendação de produtos. Na conta do ROI, esse número entra multiplicado pela margem da categoria, não pelo valor cheio.
Os custos que precisam entrar na conta
ROI inflado por omissão de custo é tão comum quanto ROI inflado por receita bruta. A conta completa inclui:
- Ferramentas: plataforma de teste A/B, analytics, mapas de calor, gravações de sessão.
- Time: alocação real das pessoas envolvidas (CRO, design, desenvolvimento, dados), proporcional às horas dedicadas.
- Custo de oportunidade: o que o time deixou de fazer enquanto construía variações — incluindo o custo de manter no ar uma variação perdedora durante o teste.
- Custos indiretos: QA, revisão, documentação, reuniões de priorização.
Do outro lado da equação, existe o custo invisível de não ter programa nenhum: decisões no achismo, mídia encarecida por página que converte mal e roadmap no escuro. Esse contrapeso está detalhado em o custo de não testar.
Exemplo numérico completo
Considere um e-commerce com R$ 30 milhões de receita anual, margem de contribuição de 30% e um programa de 24 testes por ano. Cenário realista: taxa de vitória de 20% (4,8 testes vencedores em média) e uplift médio de 5% na conversão por vitória, com efeito composto. Cenário conservador, para apresentar à diretoria: taxa de vitória de 15% e uplift médio de 3%.
| Componente | Cenário conservador | Cenário realista |
|---|---|---|
| Receita anual base | R$ 30.000.000 | R$ 30.000.000 |
| Testes por ano | 24 | 24 |
| Taxa de vitória × uplift médio | 15% × 3% | 20% × 5% |
| Uplift anual composto | +11,23% | +26,39% |
| Receita incremental | R$ 3.368.391 | R$ 7.916.644 |
| Margem de contribuição (30%) | R$ 1.010.517 | R$ 2.374.993 |
| Ferramenta (R$ 10 mil/mês) | R$ 120.000 | R$ 120.000 |
| Time (R$ 25 mil/mês) | R$ 300.000 | R$ 300.000 |
| Custos indiretos | R$ 60.000 | R$ 60.000 |
| Custo total do programa | R$ 480.000 | R$ 480.000 |
| ROI do programa | +111% | +395% |
Duas leituras honestas dessa tabela. Primeira: mesmo no cenário conservador, o programa se paga mais de duas vezes. Segunda: o mesmo programa, com a mesma qualidade, num e-commerce de R$ 5 milhões de receita daria ROI negativo no cenário conservador (a contribuição de R$ 168 mil não cobriria os R$ 480 mil de custo). ROI de experimentação é função de escala — e dizer isso em voz alta é o que separa uma proposta crível de uma promessa.
Projeção anual com incerteza: como apresentar à diretoria
Projeção de ROI de experimentação é projeção sob incerteza. A taxa de vitória futura é desconhecida, o uplift médio é desconhecido, e fingir o contrário destrói a credibilidade do programa. A saída é apresentar cenários, não números únicos: conservador como compromisso, realista como expectativa, otimista apenas como referência. Quando o resultado real superar o conservador — e tende a superar num programa bem priorizado — o programa ganha capital político em vez de explicações.
Na apresentação, traduza para a linguagem de quem decide: crescimento, custo, risco e tempo. Nada de p-valor no slide de abertura. Esse repertório está em como comunicar resultados de CRO para executivos e em como apresentar o ROI de UX para a diretoria. E lembre-se de que a disputa de verba costuma ser perdida antes da reunião: o marketing perde a discussão de verba antes dela começar explica o porquê.
Por fim: ROI não é o único indicador de saúde do programa. Velocidade de aprendizado, cobertura das superfícies de teste e taxa de documentação dizem se o programa vai sustentar o ROI no ano seguinte. O modelo completo de acompanhamento está em programa de experimentação: métricas e maturidade.
Perguntas frequentes
Qual taxa de vitória devo assumir na projeção?
Entre 10% e 20% para a maioria dos programas, e use o limite inferior na apresentação. Programas maduros de grandes empresas reportam publicamente que a maioria das ideias testadas não vence. Assumir 50% de vitória é o sinal mais claro de projeção inflada.
Posso somar o uplift de todos os testes vencedores do ano?
Não some, multiplique — e mesmo assim com cautela. Uplifts compostos assumem que os efeitos são independentes e persistentes, o que nem sempre é verdade. Testes sobre a mesma superfície podem se canibalizar, e parte do efeito de curto prazo decai. O cenário conservador existe justamente para absorver essa incerteza.
Teste perdedor entra na conta como prejuízo?
Entra como custo de aprendizado, não como perda de receita — desde que a variação perdedora tenha sido desligada no fim do teste. O prejuízo real é manter a perdedora no ar ou nunca ter testado. Teste que falha e impede um rollout errado pagou a si mesmo.
Meu e-commerce é pequeno. O programa vale a pena?
Depende da escala e do custo. Como o exemplo mostra, abaixo de certo patamar de receita o programa completo não se paga no cenário conservador. A alternativa é um programa enxuto: ferramenta mais barata, time parcial, menos testes e foco absoluto nas etapas de maior abandono.
Fontes
- Harvard Business Review — The Surprising Power of Online Experiments (Kohavi & Thomke)
- Optimizely — A/B Testing (Optimization Glossary)
Artigos relacionados
- Como apresentar o ROI de UX para a diretoria
- Como comunicar resultados de CRO para executivos
- O custo de não testar
- Estatística de teste A/B: amostra, MDE e duração
- Case Electrolux: R$ 804 mil em receita incremental
- O marketing perde a discussão de verba antes dela começar
- Por que a maioria dos cases de CRO e testes A/B não é confiável
- Programa de experimentação: métricas e maturidade
- Análise de funil de conversão: encontrar gargalos e oportunidades
- Como aumentar a conversão de um e-commerce
Quer discutir o modelo de ROI do seu programa com quem já apresentou essa conta para diretoria? A comunidade CRO Brasil reúne profissionais de CRO, Growth e experimentação de todo o país. Traga seus números e saia com uma projeção mais sólida.