“Vamos testar um botão maior” não é hipótese, é palpite. Veja como transformar um achado de pesquisa em uma hipótese testável e o que o documento de experimento precisa ter antes do lançamento.
Índice do artigo
- Ideia x hipótese
- O modelo de hipótese
- Exemplos: hipóteses fracas e fortes
- Uma hipótese, várias execuções
- O documento de experimento
- Critério de decisão: definido antes, não depois
- Registrando o resultado
- Os erros que mais aparecem
- Perguntas frequentes
Ideia x hipótese
Uma ideia diz o que mudar. Uma hipótese diz por que, para quem, com qual efeito esperado e como vamos saber. A diferença importa porque, quando o teste termina, a hipótese permite aprender mesmo com resultado negativo; a ideia só permite dizer “não funcionou”.
Em uma frase: hipótese de teste é uma aposta explícita, baseada em evidência, que o experimento vai confirmar ou refutar.
O modelo de hipótese
Porque observamos [evidência da pesquisa], acreditamos que [mudança] para [público] vai causar [efeito esperado no comportamento], o que será medido por [métrica principal].
Cada parte tem função:
- Evidência: liga a hipótese à pesquisa (analytics, pesquisa qualitativa, usabilidade, gravações).
- Mudança: o que será alterado.
- Público: onde e para quem (mobile, novos usuários, página de produto).
- Efeito esperado: o mecanismo, ou seja, por que a mudança deveria funcionar.
- Métrica: como o resultado será julgado.
Exemplos: hipóteses fracas e fortes
Fraca: “Testar um CTA verde na página de produto.” Sem evidência, sem mecanismo, sem métrica.
Forte: “Porque observamos em pesquisa on-site que 38% dos respondentes não sabiam o prazo de entrega antes de adicionar ao carrinho, acreditamos que exibir a estimativa de entrega por CEP na página de produto, para usuários mobile, vai reduzir a incerteza e aumentar a adição ao carrinho, medida pela receita por visitante.”
Fraca: “Simplificar o onboarding.” Forte: “Porque usuários que conectam o banco no primeiro dia têm retenção muito maior, e 60% abandonam o onboarding na etapa de convite de colegas, acreditamos que mover o convite para depois da conexão bancária vai aumentar a taxa de ativação, medida pela conexão bancária em até 24 horas.”
(Os números acima são ilustrativos.)
Uma hipótese, várias execuções
A mesma hipótese pode ser testada de formas diferentes. “Reduzir a incerteza sobre a entrega” pode virar prazo por CEP, selo de entrega rápida ou tabela de prazos por região. Se a primeira execução perde, a hipótese não está necessariamente refutada; pode ser a execução. Registre as duas coisas separadamente e considere uma nova execução, mais ousada, antes de descartar o aprendizado.
O documento de experimento
Antes do lançamento, cada teste precisa de um documento curto:
- Hipótese no modelo acima.
- Evidências com links para a pesquisa.
- Variantes com descrição e prints.
- Público e páginas que entram no teste.
- Métrica principal (uma só).
- Métricas secundárias (para entender o mecanismo).
- Guardrails (o que não pode piorar: ticket, margem, cancelamento, performance).
- Unidade de randomização (usuário ou sessão).
- Tamanho de amostra, MDE e duração calculados (veja Estatística de teste A/B).
- Critério de decisão (o que fazemos em cada cenário).
- Riscos e dependências (SEO, jurídico, outros testes na mesma área).
- Checklist de QA (dispositivos, navegadores, eventos disparando, divisão de tráfego).
Critério de decisão: definido antes, não depois
Defina antes do lançamento:
- Se a variante vencer com significância e sem piorar guardrails: implementar para 100%.
- Se a variante perder: manter controle, registrar aprendizado, avaliar nova execução.
- Se for neutro: decidir com base em custo de manutenção, estratégia ou outros critérios definidos.
- Se um guardrail piorar: não implementar, mesmo com ganho na métrica principal.
Decidir depois de ver o resultado abre espaço para racionalizar o que o time queria ouvir.
Registrando o resultado
Após o teste, complete o documento com: resultado da métrica principal (com intervalo de confiança), guardrails, qualidade do teste (divisão de tráfego, incidentes), decisão tomada, aprendizado sobre o cliente e próximas hipóteses. Esse registro alimenta o repositório do programa (veja Programa de experimentação) e evita que o mesmo teste seja repetido daqui a um ano.
Os erros que mais aparecem
- Hipótese sem evidência.
- Várias métricas principais, escolhidas depois conforme o resultado.
- Critério de decisão definido só depois do teste.
- Descartar uma hipótese por causa de uma execução fraca.
- Não registrar testes perdedores.
Perguntas frequentes
O que é uma hipótese de teste A/B?
Uma afirmação testável que liga uma evidência a uma mudança, um público, um efeito esperado e uma métrica.
Como escrever uma hipótese de CRO?
Use o modelo: porque observamos X, acreditamos que mudar Y para o público Z vai causar W, medido por M.
Quantas métricas principais um teste deve ter?
Uma. As demais são secundárias ou guardrails.
O que é guardrail em teste A/B?
Uma métrica que não pode piorar com a mudança, como ticket médio, cancelamento ou performance.
O que colocar no documento de experimento?
Hipótese, evidências, variantes, público, métricas, unidade de randomização, amostra, duração, critério de decisão, riscos e QA.
Se o teste perdeu, a hipótese está errada?
Não necessariamente. Pode ter sido a execução. Registre e avalie uma nova execução mais forte.