A experimentação é o principal aliado da otimização de conversão. É a forma mais direta de provar o valor do trabalho e medir o impacto das mudanças dentro do site: sem ela, você não sabe se o que mudou na jornada mexeu de fato no resultado final.
A técnica mais famosa — e provavelmente a mais utilizada — é o teste A/B. Ela compara duas ou mais versões de uma página, texto, anúncio, e-mail ou produto para descobrir qual delas gera mais resultados para o negócio. Mas experimento não é sinônimo de teste A/B, e nenhum experimento começa na ferramenta.
Antes de ligar qualquer teste, você precisa de uma hipótese verificável, de um plano e de métricas bem definidas. Sem essas três coisas, o experimento vira aposta.
Um experimento é uma comparação controlada entre versões de uma mesma página, texto, anúncio ou produto, feita para descobrir qual delas gera mais resultados. Para começar, você precisa de três coisas: uma hipótese que possa ser verificada, um plano com objetivos e métricas, e o tipo de experimento certo para o que você quer provar.
Tudo começa na hipótese
Hipótese é a suposição de algo que pode ou não ser verossímil, mas que é possível de ser verificado, e a partir da qual se extrai uma conclusão. Em CRO, é a suspeita da causa de um problema ou da solução de uma situação — o que precisamos validar com experimentação e análise baseada em dados.
Para construir a sua, identifique as principais dores e dificuldades do site, ouça os stakeholders e foque nos interesses coletivos. Depois documente: estipule de forma objetiva o caminho, a ação e o impacto esperado do experimento.
Documentar serve a dois propósitos. Clareia o objetivo do teste e estabelece a referência de sucesso. Não faz sentido mensurar o resultado final sem ter uma perspectiva prévia do que é positivo ou negativo dentro do contexto. Se você está começando, Como escrever uma hipótese de teste A/B mostra como escrever a sua e o que levar no documento do experimento.
O planejamento é a chave
Planejar significa orientar ações presentes e futuras visando atingir um objetivo, reduzindo as incertezas inerentes ao futuro e permitindo tomar decisões de forma antecipada sobre situações que poderão ocorrer. Em qualquer projeto de otimização de conversão, isso quer dizer organizar ideias, tarefas e métricas que serão os pilares da conclusão do experimento.
Para elaborar um bom plano, é primordial entender o cenário envolvido. As análises que precedem o experimento costumam ser o grande diferencial do resultado — a ponto de transformar o teste em um case de sucesso ou não. O caminho mais seguro é mapear a jornada de conversão principal do site, quebrar em etapas e observar as métricas importantes para o contexto: micro conversões, dispositivos, engajamento, abandono, entre outras. E ouvir as partes interessadas no projeto.
Muitas vezes as análises e as atividades do cotidiano trazem insights e possibilidades de experimento. Diante da diversidade de ideias sobre a mesa, o analista pode se perder sobre o que rodar primeiro — e é aí que a priorização resolve. Veja também Como definir a duração ideal para seus testes A/B, que trata do tempo e do volume necessários para um teste chegar a uma conclusão confiável.
Priorize antes de testar
O segredo para sanar as dúvidas de planejamento começa pela priorização. Leve em consideração as teorias que podem ter maior impacto dentro dos interesses principais do negócio e trazer maior retorno para o objetivo principal do site.
Uma boa ferramenta de priorização combina interesses de stakeholders e rendimento. Avalie as possibilidades que geram mais engajamento por parte dos envolvidos e as que podem entregar mais resultado dentro do cenário atual, e priorize a que melhor se encaixa entre elas. Sempre leve em conta o equilíbrio entre esforço necessário e impacto esperado. Se quiser um método formal, Priorização de testes A/B: PIE, ICE ou PXL compara três frameworks usados no mercado.
Defina objetivos, KPIs e o peso de cada métrica
Com um contexto bem estabelecido, seguimos para a definição de alvos e objetivos. O estudo do cenário deixa o analista apto a distinguir os possíveis gargalos e a identificar os KPIs que podem traduzir se o desempenho do site foi melhor ou pior durante o experimento, naquilo que ele de fato se propõe a fazer.
Exemplo: em uma loja virtual cujo objetivo principal do negócio é a conclusão da compra, um experimento na página de produto que busca aumentar o número de adições ao carrinho pode ter como indicadores de análise as adições ao carrinho, a chegada na página de checkout e a conclusão de compra.
Tão importante quanto definir os KPIs é dimensionar o peso que cada um tem sobre a análise. É um erro comum olhar apenas o objetivo macro do negócio como figura central. A métrica de maior peso é aquela que está mais próxima do objetivo da variação.
Imagine um time de futebol. Cada posição tem um objetivo primário dentro do jogo: um bom zagueiro é aquele que defende e afasta as jogadas perigosas dos adversários, e não faz sentido medir sua eficiência pelo número de gols que marca, porque não é a função dele. Com um site é igual: cada página, etapa e componente tem um objetivo específico dentro do sistema.
Voltando ao exemplo: se o objetivo do experimento na página de produto é aumentar o volume de adições ao carrinho, a métrica de maior peso é a de adições ao carrinho. Isso não significa que a conclusão de compra ou a chegada ao checkout devem ser desconsideradas — apenas que a análise precisa olhar o cenário de forma completa, com um olhar contextualizado para cada métrica.
Os cinco tipos de experimento
Com objetivos, métricas e pesos bem definidos, a última etapa do planejamento é escolher o tipo de experimento. De maneira geral, existem cinco tipos principais, cada qual com seu raciocínio específico:
- Teste A/B (controle + 1 variante): o mais tradicional. Funciona com uma versão controle e uma versão variante. É o caminho mais simples para validar uma hipótese, fácil de analisar e rápido de concluir.
- Teste A/B/n (controle + mais de 1 variante): segue a mesma lógica do teste A/B, porém com duas ou mais versões variantes. O ponto negativo é que precisa de mais tráfego para atingir significância, já que o volume será dividido entre três ou mais grupos. É útil quando se acredita ter duas possíveis soluções para a mesma questão.
- Redirect (controle + n variantes): segue o padrão de um teste A/B ou A/B/n, com uma ou mais variantes. A grande diferença é que a ferramenta divide o tráfego entre duas ou mais páginas diferentes. É bem útil em processos de redesign, mas demanda bastante tempo para adquirir relevância.
- Baseline (sem variações): envolve apenas configuração de tráfego personalizado. Ajuda a validar hipóteses de teste de direcionamento de metas.
- Teste multivariável: combina variáveis dentro de um cenário com diferentes componentes e necessita de muito tempo, por promover muitas mudanças. Por exemplo, uma versão A/B/C de um botão e uma versão A/B/C de um texto produzem o teste multivariável das combinações A/A, A/B, A/C, B/A, B/B, B/C, C/A, C/B, C/C.
Toda versão de experimento tem utilidade em algum cenário. O essencial é que ela se encaixe com o objetivo traçado por um plano bem executado. Testes não precisam ser complexos para serem eficientes — muitas vezes a solução está em mudanças pequenas e simples. Ter ousadia é essencial para atingir objetivos, mas ser ousado não significa fazer experimentos megalomaníacos, e sim tomar direcionamentos com convicção oriunda de análises seguras e do entendimento do que é necessário ser feito.
Perguntas frequentes
Preciso de teste A/B para começar a experimentar? Não necessariamente. Se ainda não há tráfego para sustentar um teste, dá para começar por análise de dados e mudanças de baixo risco. Mas a partir do momento em que existe uma hipótese a validar, o teste A/B é o caminho mais direto.
Quantas variantes posso testar ao mesmo tempo? Depende do tráfego. Quanto mais variantes, mais volume você precisa para atingir significância, porque a divisão acontece entre mais grupos. Teste A/B/n e multivariável são úteis, mas exigem volume.
O que define o sucesso de um experimento? A hipótese documentada e os KPIs definidos antes de rodar. Sem referência prévia, o resultado não vira decisão — vira opinião.
Posso rodar experimento sem hipótese? Pode, mas o resultado não gera aprendizado. A hipótese é o que dá sentido ao teste e permite repetir o acerto.
Referências
A versão original deste artigo se apoia em material de referência de CRO: 52 Questions Every Experienced CROer Had to Ask Once (WeTeachCRO), além de conteúdos da Lumis, Supersonic e HubSpot.
Próximos passos
Comece pelo que você já tem. Antes de comprar ferramenta ou montar um teste, escreva uma hipótese, documente o plano e escolha as métricas com seus pesos. Se o time ainda não tem cultura de experimentação, o caminho costuma ser começar pequeno, com hipóteses simples e mensuráveis, e crescer a partir dos resultados — é o que Cultura de experimentação e testes A/B como motor da transformação digital nas empresas aprofunda.
Se o seu time precisa de ajuda para transformar isso em resultado, a Métricas Boss faz consultoria de analytics e CRO: conheça o diagnóstico da Métricas Boss.
Ferramentas gratuitas da CRO Brasil
A CRO Brasil mantém duas ferramentas abertas para quem está começando: a calculadora de testes A/B, que estima amostra, MDE e duração a partir do seu tráfego, e o CRO BOT, que analisa o seu site de graça e sugere hipóteses de teste.