Case: Tomando decisões assertivas através de testes A/B

Imagem gentilmente cedida: Imagem de pch.vector no Freepik

Tomar decisões hoje em dia, muitas vezes com pessoas de várias áreas participando com interesses diferentes entre si, costuma ser um processo razoavelmente complexo. O processo de teste, e trazer dados para a mesa, costuma tornar as coisas mais controladas. Mas a grande questão é: Quais dados devemos olhar?

Passei por uma situação curiosa durante a carreira de CRO. Um cliente trouxe a proposta de que passaríamos a ter frete grátis, e que faríamos uma implementação direta em uma página de produto. Pelo tempo de parceria, conseguimos com que o novo benefício fosse implementado por um teste A/B, para entendermos melhor o impacto que traria, e se realmente era a melhor forma de mostrar o benefício ao usuário.

Após 14 dias de teste passados, tudo parecia super positivo para a versão com o benefício. Tamanho amostral atingido, considerando a significância estatística de 95%, e observamos um aumento global na adição ao carrinho significante. Prontos para seguirmos para a implementação total, correto?

Acompanhamos também a quantidade de transações e receitas para cada uma das duas versões, e foi aí que a surpresa veio. A versão com o validador apresentava uma taxa menor de transações. No início, ficamos confusos porque uma versão com uma taxa maior de adição ao carrinho, apresentava uma taxa menor de transações. O que estava acontecendo nesse meio termo?

É sempre complicado falar de relações causais diretas de uma mudança entre outras etapas do funil, então, restava formular hipóteses. Vimos que em outra etapa, havia uma call to action: “Calcule seu frete”. E essa call to action apresentava bem menos cliques vindos a partir da versão variante. Nossa hipótese foi que a comunicação contraditória causava uma frustração e uma sensação de que o usuário estava sendo enganado na etapa anterior, e por isso, ele desistia do processo de compra.

Esse caso mostrou a importância de investigar a fundo os resultados dos testes, e como a área de experimentação é importante para ajudar a tomar decisões da melhor forma possível, mesmo quando essa decisão parece óbvia.

E vocês, como seguiriam para um próximo passo?

Sobre o autor:

Felipe Fogarolli é Líder em CRO

Conecte-se com ele no Linkedin:

https://www.linkedin.com/in/felipe-henrique-fogarolli-7bb187171/