Por que você deveria usar o MDE nas suas hipóteses de teste

No mundo da experimentação, a estatística é necessária para várias situações, principalmente para concluirmos a validade de um resultado de um teste A/B. E o MDE (Efeito Mínimo Detectável) é essencial para evitar testes inconclusivos e potencializar suas hipóteses.

Continue lendo para entender mais sobre o MDE.

O que é o MDE?

O Efeito Mínimo Detectável é bem simples de entender quando você separa as palavras:

• Mínimo = menor
• Efeito = diferença na taxa de conversão
• Detectável = o que você quer ver ao executar o experimento

Ou seja, ele é uma melhoria mínima em relação à taxa de conversão da versão controle que você deseja que o experimento detecte como estatisticamente significativo. 

Ao definir o MDE, você define o aumento da taxa de conversão suficiente para declarar a variante como vencedora (e sua hipótese validada).

Quanto menor o MDE que você definir, menos alterações na taxa de conversão serão detectadas durante o teste. Então podemos dizer que o MDE mede a sensibilidade do seu experimento.

Por que o MDE é importante?

Porque o MDE tem um efeito dramático na quantidade de tráfego (tamanho da amostra) necessária para atingir significância estatística em um teste.

Ao definir um MDE menor, você instrui o sistema a detectar alterações menores na taxa de conversão, o que requer mais tráfego e mais tempo. 

Por outro lado, quanto maior o MDE definido, menos tráfego (e tempo) será necessário para concluir o teste.

Então, imagine a seguinte situação: você gostaria de otimizar uma landing page de um imóvel para uma imobiliária com os seguintes dados:

• Tráfego na semana: 10.000 visitantes
• Cadastros na semana: 500 leads
• Taxa de conversão: 5%

Se você quer fazer um teste A/B nesta landing page com um MDE de 30%, você deve calcular 5 + 30% = 6,5.

Então, a expectativa é que a variante deva resultar em uma taxa de conversão de 6,5% para ser declarada vencedora com significância estatística. Ou seja, ela deve gerar 650 leads por semana.

Porém, o que acontece se a variante gerar uma taxa de conversão de 5,5%, menor do que este MDE que planejamos? O resultado do teste poderá ser inconclusivo e não teremos nenhum vencedor ou perdedor.

Isso acontece porque mesmo a variante tendo gerado um aumento na taxa de conversão, não existe confiança estatística de que ao implementar a mudança da sua hipótese no seu site, esta taxa de conversão de 5,5% acontece de novo.

Este é o segundo motivo importante de usar o MDE: avaliar o custo de oportunidade de testar uma hipótese com um risco alto de ter um resultado conclusivo (com significância estatística).

Então, para ter um programa de experimentação com testes confiáveis é crucial que você calcule o MDE antes de executar seu teste.

Considerando que o tamanho da amostra necessário está vinculado ao seu Efeito Mínimo Detectável (MDE) e você não conhece o valor do MDE, como é possível determinar o tamanho do tráfego necessário?

A resposta é: você calcula os dois ao mesmo tempo.

Existem muitas maneiras de fazer isso, mas uma das mais fáceis é usando uma calculadora de análise pré-teste.

Quando usar o MDE? Nas suas hipóteses!

Muitas vezes, a duração de um teste é definida primeiro e o MDE é escolhido para essa duração, porque pode haver bons motivos para executar um experimento apenas por uma semana ou um período específico. 

O problema é que essa prática geralmente leva a testes com potência estatística insuficiente ou excessiva, resultando em maior risco ou custos de oportunidade para o negócio. 

Portanto, o MDE deve ser escolhido antes mesmo da duração do teste com base no caso de negócio subjacente. 

Uma das melhores formas de fazer isso é usando a descrição da sua hipótese.

Por exemplo: “Se eu redesenhar a primeira dobra da home vai aumentar 4% da taxa de conversão de compra porque vai destacar a proposta de valor.”

Neste caso já deixamos bem claro que nosso MDE é de 4%. 

Ao usar esta estratégia, você deixa mais fácil para outras pessoas entenderem se uma hipótese foi validada ou refutada.

Como calcular o MDE?

Calcular o valor do Efeito Mínimo Detectável (MDE) é uma das partes mais complicadas ao configurar um Teste A/B com equipes de CRO. Existe muita confusão sobre o que esse termo significa e qual valor deve ser escolhido para um teste específico.

Felizmente temos uma das melhores calculadoras de análise pré-teste, a da CXL, onde ela consegue cruzar duração, amostragem do teste e o MDE em um só lugar.

A má notícia é que mesmo uma calculadora como esta não é tão intuitiva. Por isso, segue um passo a passo detalhado para te ajudar:

1 – Descubra o tráfego médio e conversões médias por semana da página do site que você quer testar.

Através de uma ferramenta como Google Analytics você consegue estes dados.

2 – Utilize um período de no mínimo 3 meses para ter uma média mais confiável. 

Então imagine que a página que você quer tenha 67.678 sessões e 287 conversões.

Considerando que existem normalmente cerca de 13 semanas em 3 meses.

3 – Calcule o tráfego médio por semana

67.678 / 13 = 5.206 sessões/semana

4 – Calcule as conversões médias por semana

287 / 13 = 22 conversões/semana. 

5 – Abra a calculadora da CXL https://cxl.com/ab-test-calculator/

Agora você deve inserir os números de tráfego, conversão e variante na calculadora:

Nesta calculadora você terá os dados calculados automaticamente de sua taxa de conversão básica com base nos números acima, que neste caso foi de 0,42%.

Agora vamos passar para mais 2 outros campos.

Nível de confiança (Confidence level)

Também conhecida como significância estatística, indica a probabilidade (%) de que as diferenças observadas entre as versões do teste não sejam resultados de simples acaso ou coincidência, mas sim reflexo de uma diferença real no desempenho na página do site. 

Ou seja, se você tem um teste A/B que a variante venceu com significância estatística de 95% significa que a cada 1000 sessões, 950 delas vão converter melhor na variante. 

Potência estatística (Statistical power)

É a probabilidade (%) de que o teste A/B identifique corretamente uma diferença real e significativa entre as variantes, caso ela exista.

Como prática recomendada geral de teste A/B, você pode manter os valores padrões de nível de confiança de +95% e potência estatística de +80%:

Note que se você reduzir seu nível de confiança estatística, o MDE será reduzido.

Com base nesses números, a calculadora de análise pré-teste mostra 6 cenários futuros baseados na duração do teste em semanas.

Considerando o cenário de 4 semanas (28 dias) temos

• Um MDE relativo de pelo menos 58,10%
• Uma amostragem de 10.412 visitantes por variante.

Para descobrir a amostragem total basta multiplicar por 2. 

Ou seja, a página do site que vamos testar vai precisar receber 20.824 sessões durante todo o teste A/B para ter um resultado conclusivo.

Atenção

Vale ressaltar que o tamanho da amostra que você calcula será apenas o limite máximo necessário para um resultado estatisticamente significativo. 

Então, devido à natureza do teste A/B em um site, o ideal é fazer análises parciais pelo menos toda semana para verificar a diferença entre as taxas de conversão das variações em teste. 

Assim, quando você observar um resultado com significância estatística entre 90% a 95%, você já pode interromper o teste bem antes do esperado.

Quanto MDE é o ideal?

Não existe um MDE ideal para testes. Ele deve ser definido pelos riscos, custos de oportunidade e expectativas associados aos seus experimentos.

Ou seja, seu MDE mínimo deve ser o menor tamanho de efeito que justificaria a implementação da mudança que está sendo testada.

Porém, baseado na minha experiência executando mais de 70 testes A/B para diferentes clientes, eu posso te recomendar 3 abordagens:

• Testes com mudanças pequenas: para experimentos que alteram pequenos elementos, eu recomendo priorizar apenas aqueles com um MDE menor que 10%. Do contrário, é provável que o teste resulte em inconclusivo porque estas pequenas mudanças geralmente não causam aumentos na taxa de conversão acima de 10%.
• Testes com mudanças de redesign: para experimentos que alteram vários elementos de uma só vez, por exemplo, redesenhar a primeira dobra de uma página, você tem uma expectativa maior. Neste caso você pode priorizar testes com um MDE de até 20% porque mudanças de redesign causam uma influência maior na taxa de conversão.
• Testes de redirecionamento: para casos em que você testa páginas totalmente diferentes, você pode trabalhar com um MDE de até 30% porque a mudança é maior e tem potencial de grande influência na motivação do usuário em realizar a conversão esperada no teste.

Conclusão

Um bom programa de experimentação deve levar em consideração estatística. E usar o MDE desde a criação das hipóteses é uma excelente forma de trazer mais confiança aos seus testes e aumentar o número de resultados conclusivos.

Apesar dos cálculos estatísticos não serem fáceis, você pode recorrer ao uso de calculadoras para orientar seus testes. Então, 

Compartilhe este artigo para difundirmos o uso da estatística no processo de experimentação para testes A/B.

Referências

• https://splitmetrics.com/resources/minimum-detectable-effect-mde/
• https://uessthetest.com/a-simple-way-to-accurately-calculate-minimum-detectable-effect-mde/
• https://speero.com/blueprints/where-and-how-should-i-test-to-make-the-most-money
• https://towardsdatascience.com/how-to-set-the-minimum-detectable-effect-in-ab-tests-fe07f8002d6d
• https://mvchid.medium.com/a-guide-to-calculating-sample-size-and-experiment-length-with-minimum-detectable-effect-mde-6dc6c3fa3d52
• https://www.supersonic.ag/blog/significancia-estatistica/