Pular para o conteúdo

Artigo · Experimentação

Resultado de teste A/B: como convencer a diretoria

Seu teste A/B venceu e a diretoria não se importou? Aprenda a traduzir lift em dinheiro, custo de espera e próximos passos que convencem stakeholders.

Matthaeus Carvalho

· 8 min de leitura

Neste artigo · 8 seções
  1. Ammo: mostre a eles por que deveriam se importar
  2. Fenil Mangukiya: impacto, aprendizado e próxima iteração
  3. Johan: eles não deveriam se importar de qualquer jeito?
  4. Baron Swainson: “ganhou” é uma palavra que carrega muito peso
  5. A pergunta incômoda: e se os US$ 340 mil não aparecerem?
  6. O que isso muda no Brasil
  7. Para levar para a próxima reunião
  8. Perguntas frequentes

Seu teste A/B terminou. A variante ganhou com confiança estatística, o dashboard está verde, e você leva o resultado para a reunião com a liderança. Então vem a resposta: “Legal. Próximo assunto.”

Se isso já aconteceu com você, não é falta de sorte. A gente vê isso toda semana, tanto em time interno de CRO quanto em agência apresentando resultado para cliente.

Por isso nos chamou atenção uma newsletter recente da Experiment Nation, comunidade global de quem trabalha com experimentação. Toda semana ela faz uma pergunta aos praticantes e reúne as respostas.

Nessa edição, a pergunta foi: “Seu teste A/B acabou de ganhar. Como você faz os stakeholders (as pessoas que decidem e financiam o programa) se importarem com o resultado?”

As respostas ficaram boas demais para ficarem só em inglês. Traduzimos os principais pontos e acrescentamos o que vemos na prática no Brasil. A newsletter original, Turning A/B Test Results into Stories Senior Stakeholders Care About, está aqui:https://experimentnation.substack.com/p/207-your-ab-test-won-now-make-stakeholders.

Ammo: mostre a eles por que deveriam se importar

Ammo abriu a conversa com uma ideia direta: antes de pedir atenção, mostre o motivo. Não espere que a diretoria descubra sozinha por que o teste importa.

É aqui que entra um ponto que acrescentamos por conta própria (Ammo não falou isso com essas palavras): o custo de oportunidade. Mostre quanto o teste pode gerar em 6 meses ou em 1 ano e, ao lado disso, quanto a empresa deixa de ganhar a cada mês em que a variante vencedora não vai ao ar.

A conta é simples:

  1. Estime o ganho mensal da variante (por exemplo, a receita extra por mês com o uplift medido).
  2. Multiplique por 6 e por 12 para ter os dois horizontes.
  3. Apresente o resultado como o que se perde esperando, não só como o que se ganha agindo.

Exemplo hipotético, só para ilustrar: se a estimativa for de R$ 10 mil extras por mês, “o teste gera R$ 120 mil em um ano” soa bem. “Cada mês de atraso custa R$ 10 mil” faz alguém assinar a aprovação. As pessoas reagem mais a perda do que a ganho, e o argumento passa a ser sobre o risco de não agir.

Fenil Mangukiya: impacto, aprendizado e próxima iteração

Fenil Mangukiya propôs três coisas para levar à reunião:

  • Impacto nas métricas principais, como receita, com uma estimativa de ganho e sem exagero.
  • Aprendizados: por que a variante funcionou e o que isso diz sobre o comportamento e a percepção do usuário.
  • Iteração: o que dá para fazer em cima da vencedora, seja uma execução ainda melhor ou aplicá-la em outro lugar.

O recado é que o número sozinho não basta. Quem decide quer saber o que fazer com ele. Note também o aviso dele: estimativa, sem exagero. Projeção inflada custa credibilidade na reunião seguinte.

Johan: eles não deveriam se importar de qualquer jeito?

Johan provocou com uma pergunta: se o teste ganhou ou perdeu, os stakeholders não deveriam se importar do mesmo jeito?

Achamos que ele tem razão. Um teste perdedor também ensina. Se a liderança só presta atenção quando há vitória, o time passa a vender “ganhos” em vez de aprendizado, e isso estraga o programa a longo prazo.

Baron Swainson: “ganhou” é uma palavra que carrega muito peso

Baron Swainson foi o mais detalhado. Para ele, um teste não é vencedor só porque a variante superou o controle. É vencedor se ensinar algo que você consegue aplicar além daquela página. E deu quatro dicas:

  1. Traduza o ganho em dinheiro, não em porcentagem. Nas palavras dele, “8% de lift” rende um aceno de cabeça, enquanto “US$ 340 mil anualizados no tráfego atual” rende uma reunião de acompanhamento.
  2. Mostre onde mais o aprendizado vale. Se uma barra fixa de adicionar ao carrinho ganhou na página de produto, isso não é uma vitória. É uma hipótese para todas as outras páginas de produto do site.
  3. Diga o que faria diferente na próxima vez. Segundo Baron, um programa que visivelmente fica mais inteligente ganha mais confiança do que um que só acumula vitórias.
  4. Mate o pensamento de “quick win” antes que ele nasça. Um resultado é um ponto de dados, não uma fórmula para copiar e colar no site inteiro.
  5. E fechou com a frase que mais gostamos: um teste não termina quando ganha. Termina quando você extraiu dele todo o aprendizado possível.

A pergunta incômoda: e se os US$ 340 mil não aparecerem?

Aqui a conversa ficou ainda mais interessante. Johan voltou e perguntou a Baron o que os stakeholders dizem quando os U$340 mil não se materializam num teste vencedor, porque o efeito de longo prazo costuma ser diferente do efeito de curto prazo.

Baron respondeu que é aí que entra o “decay”, a perda gradual do efeito. Na opinião dele, o melhor KPI de um programa de experimentação é simplesmente ter ROI positivo. O site, as promoções e as ações de aquisição do cliente mudam com tanta frequência que fica difícil esperar um impacto duradouro e previsível de um teste vencedor.

Robin Copier concordou que a previsão é a parte mais difícil. Segundo ele, quem acerta aí facilita todo o resto.

Um detalhe nosso: isso combina com a projeção de custo de oportunidade. Em vez de prometer um número único para o ano, apresente um intervalo e revise a estimativa conforme o efeito real aparecer.

O que isso muda no Brasil

Para quem trabalha com CRO por aqui, vemos três usos imediatos:

  • Na agência: o relatório que fala em dinheiro, em custo de esperar e em próximos passos ajuda a renovar o contrato. O que fala só em lift e confiança estatística costuma ser arquivado.
  • No time interno: a lista “onde mais isso se aplica” e “o que faríamos diferente” mostra que o programa evolui e dá argumento na hora de pedir orçamento.
  • Nos dois casos: apresente a projeção como estimativa, com a margem de erro à vista. Se o efeito decair, a credibilidade do programa continua de pé.

Para levar para a próxima reunião

Antes de apresentar o próximo teste vencedor, responda por escrito a cinco perguntas:

  1. Quanto isso vale em reais em 6 meses e em 1 ano?
  2. Quanto deixamos de ganhar por mês se não colocarmos a variante no ar?
  3. Onde mais podemos aplicar o aprendizado?
  4. O que aprendemos sobre o usuário?
  5. O que faremos diferente no próximo teste?

Se as respostas couberem em um slide, a reunião deixa de ser sobre porcentagem e vira conversa sobre decisão.

Crédito: este artigo traduz e comenta a newsletter “Turning A/B Test Results into Stories Senior Stakeholders Care About”, da Experiment Nation. As falas citadas são de Ammo, Fenil Mangukiya, Johan, Baron Swainson e Robin Copier, traduzidas livremente por nós. Os trechos sobre custo de oportunidade e o exemplo numérico são comentários nossos, não da newsletter.

Leia também no CRO Brasil

Perguntas frequentes

Como fazer a diretoria se importar com o resultado de um teste A/B?

Traduza o ganho em dinheiro, não em porcentagem. Em vez de “8% de lift”, apresente o valor anualizado em reais e some o custo de oportunidade: quanto se perde por mês enquanto a variante vencedora não entra no ar. Feche com aprendizados e próximos passos.

O que apresentar para stakeholders além do lift?

Três coisas: o impacto nas métricas principais (como receita), com estimativa de ganho e sem exagero; os aprendizados sobre o comportamento do usuário; e a próxima iteração, ou seja, o que dá para fazer em cima da variante vencedora ou onde mais aplicar o aprendizado.

O que é custo de oportunidade em testes A/B?

É quanto a empresa deixa de ganhar enquanto adia a decisão. A conta é simples: estime o ganho mensal da variante, multiplique por 6 e por 12 meses e apresente o resultado como o que se perde esperando, não só como o que se ganha agindo.

O que fazer quando o ganho projetado de um teste não se materializa?

Considere o decay, a perda gradual do efeito do teste. Em vez de prometer um número único para o ano, apresente a projeção como um intervalo, revise a estimativa a cada ciclo e deixe a margem de erro à vista. Assim a credibilidade do programa se mantém mesmo quando o efeito decai.

Um teste perdedor também deve ser apresentado à liderança?

Sim. Um teste perdedor também ensina. Se a liderança só presta atenção quando há vitória, o time passa a esconder os resultados negativos e o programa perde aprendizado.

Quando um teste A/B realmente termina?

Um teste não termina quando ganha. Termina quando você extraiu dele todo o aprendizado possível: o ganho em dinheiro, onde mais o aprendizado se aplica e o que faria diferente na próxima vez.