Experimento: O que é? E o que você precisa para começar.

A experimentação é o principal aliado da otimização de conversão, é a principal maneira de provar o valor do trabalho e mensurar o impacto das ações dentro do site, disponibilizando de forma mensurável o quanto as mudanças dentro do site impactam na jornada e no resultado final.

Se não a mais utilizada, com certeza a mais famosa das técnicas de experimentações para otimização de conversão é o teste A/B, este método consiste em comparar duas ou mais versões diferentes de uma página da Web, texto, anúncio, e-mail, produto e outros formatos. Através dessa comparação, é possível descobrir qual versão gera mais resultados favoráveis ao contexto do negócio. Falaremos de outras metodologias de experimento mais a frente.

Tudo começa na hipótese

Hipótese é a suposição de algo que pode (ou não) ser verossímil, que seja possível de ser verificado, a partir da qual se extrai uma conclusão.Ou seja, a hipótese é a suspeita da causa ou da solução de determinada situação, a qual precisamos validar se é ou não real através das experimentações e análises baseadas em dados. Procure elaborar sua hipótese identificando as principais dores e dificuldades do site, ouça stakeholders e foque nos interesses coletivos.

Documente sua hipótese estipulando de forma objetiva o caminho, a ação e o impacto do experimento, isso ajuda a provar que o trabalho e os caminhos sugeridos estão baseados em dados , clareando o objetivo do teste e estabelecendo a referência de sucesso. Não faz sentido mensurar o resultado final sem ter uma perspectiva do que é positivo ou negativo diante do contexto.

O planejamento é a chave

Planejar significa orientar ações presentes e futuras, visando atingir um objetivo, reduzindo as incertezas inerentes ao futuro, possibilitando a tomada de decisões de forma antecipada sobre situações que poderão ocorrer. O conceito é essencial para qualquer projeto de otimização de conversão, é imprescindível a organização de ideias, tarefas e métricas que serão pilares da conclusão de qualquer experimento.

Para elaborar um bom plano é primordial entender o cenário que está envolvido. As análises que precedem o experimento podem ser o grande diferencial do resultado do teste, tornando ele em um case de sucesso ou não. Uma boa forma de definir o que será testado é mapear o caminho de conversão principal do site, quebrando em etapas e observando métricas importantes para o contexto do mesmo (micro conversões, dispositivos, engajamento, saída e etc.). Além de ouvir as partes interessadas no projeto, como já dito anteriormente. Muitas vezes as análises e atividades do cotidiano nos trazem diversos insights e possibilidades para realização de experimentos, diante dessa diversidade de ideias e hipóteses que buscam validação sobre a mesa o analista pode se perder entre algumas dúvidas para realização do planejamento.

O segredo para sanar qualquer uma delas começa pela priorização das mesmas, é importante levar em consideração as teorias que podem ter maior impacto dentro dos interesses principais do negócio e trazer maior retorno dentro do objetivo principal do site. Uma boa ferramenta de priorização é a combinação entre interesses de stakeholders e rendimento, avalie as possibilidades que mais geram engajamento por parte dos envolvidos e as que mais podem entregar resultado dentro do cenário atual e priorize a que melhor se encaixa entre elas. Sempre leve em consideração o cálculo e equilíbrio entre esforço necessário e impacto esperado.

Com um contexto bem estabelecido seguimos para a etapa seguinte do planejamento: a definição de alvos e objetivos. Com o estudo de contexto o analista é apto para distinguir os possíveis gargalos e identificar os KPIs que podem traduzir se o desempenho do site foi melhor ou pior durante o experimento naquilo que de fato ele se propõe a fazer. Por exemplo, em uma loja virtual que tem como objetivo principal do negócio a conclusão da compra, um experimento na página de produto que busca aumentar o número de adições ao carrinho pode ter como indicadores para análise os seguintes: adições ao carrinho, chegada na página de checkout e conclusão de compra.

Tão importante quanto definir os KPIs que devem ser analisados durante a experiência é dimensionar o peso que cada um tem sobre a mesma. É um erro muito comum que ao analisar o resultado de um experimento o analista olhe para o objetivo macro do negócio como figura central a ser levada em consideração, a métrica de maior peso é aquela que está mais próxima do objetivo da variação. Imagine um time de futebol, cada posição de jogador tem um objetivo primário dentro do jogo, um bom zagueiro é aquele que defende e melhor afasta as jogadas perigosas dos adversários, não é correto medir sua eficiência pelo número de gols que marca, pois não é sua função, o mesmo vale para um site, cada página, etapa e componente tem um objetivo específico dentro do sistema. Voltemos ao exemplo anterior, no caso se o objetivo do experimento na página de produto é aumentar o volume de adições ao carrinho a métrica de maior peso deve ser a de adições ao carrinho, não significa que a conclusão de compra ou a chegada na página de checkout devem ser desconsiderados da análise, apenas que a mesma deve considerar o cenário de forma completa com um olhar contextualizado para cada métrica.

Tendo objetivos, métricas e peso bem definidos, a derradeira etapa do planejamento é a definição do tipo de experimento que será realizado. De maneira geral, existem cinco principais tipos de testes que podem ser realizados, cada qual com seu raciocínio específico, são eles:

Teste A/B (Controle + 1 variante):
O mais tradicional dos experimentos, funciona com uma versão controle e uma versão variante. É o mais simples caminho para validar uma hipótese, fácil de analisar e rápido para concluir.
Teste A/B/n (Controle + >1 variante):
Segue a mesma lógica do teste A/B, porém, possui duas ou mais versões variantes. O ponto negativo é que precisa de mais tráfego para atingir significância, já que o mesmo precisará ser dividido entre por três ou mais, é bem útil para validação de casos em que se acredita ter 2 possíveis soluções para a mesma questão.
Redirect (Controle + n variantes):
Segue o padrão de um teste A/B ou A/B/n, com uma ou mais variantes. a grande diferença é que a ferramenta trabalha com a divisão do tráfego para duas ou mais páginas diferentes, é bem útil em processos de redesign, porém demanda bastante tempo para adquirir relevância.
Baseline (Sem variações):
O teste de baseline envolve apenas configuração de tráfego personalizado, ajuda a validar hipóteses de teste de direcionamento de metas.
Teste de Multivariáveis:
Combina variáveis dentro de um cenário de diferentes componentes, necessita de muito tempo por promover muitas mudanças. Por exemplo, uma versão A/B/C de um botão e uma versão A/B/C de um texto produzem o teste de multivariável das versões (botão / texto): A/A, A/B, A/C, B/A, B/B, B/C, C/A, C/B, C/C.

Toda versão de experimento tem utilidade em um cenário, essencial é que ela se encaixe com o objetivo traçado através de um plano bem executado. Testes não precisam ser complexos para serem eficientes, muitas vezes a solução está em mudanças pequenas e simples, ter ousadia é essencial para atingir objetivos, mas ser ousado não significa fazer experimentos megalomaníacos e sim tomar direcionamentos com convicção oriunda de análises seguras e entendimento do que é necessário para ser feito.

Referências

Conecte-se com o autor:

Jorge Azevedo https://www.linkedin.com/in/jorge-azevedo-a9a075111/