Teste A/B com amostra insuficiente não é um teste A/B de menor qualidade, é um instrumento inadequado para a decisão disponível. A substituição por métodos compatíveis com o volume é o que separa um programa de otimização de uma sequência de decisões sem base.
Como decidir sobre conversão quando o volume de tráfego não sustenta um teste A/B com poder estatístico adequado.
Autor: Enzo Donatelli.
Para se aprofundar nos temas deste artigo, veja também: como calcular amostra, MDE e duração de um teste A/B, o que é sample ratio mismatch (SRM) e como detectar, como escrever uma boa hipótese de teste A/B e como estruturar um programa de experimentação.
Principais pontos
- Teste A/B com amostra insuficiente não gera resultado inconclusivo: gera estimativa enviesada para cima com aparência de evidência (winner’s curse).
- O tamanho de amostra cresce com o quadrado do efeito mínimo detectável: reduzir o MDE pela metade quadruplica a amostra necessária.
- Com 400 sessões por mês e conversão de 2,7%, detectar um lift de 10% relativo levaria 24 anos de teste.
- A decisão certa começa pela classificação da decisão, não pela escolha do método.
- Os instrumentos substitutos: redesenho de métrica, CUPED, proxies validadas, desenhos quase-experimentais, pesquisa qualitativa com protocolo e padrões consolidados.
- Quando cada experimento é insuficiente, a unidade de inferência passa a ser o programa: meta-análise dos próprios resultados.
PARTE I. O Problema, formulado com números
Considere uma página de preços B2B com as seguintes características: 400 sessões por mês, taxa de conversão para solicitação de demonstração de 2,7% (média dos últimos 12 meses) e hipótese de que a headline atual está desalinhada com o vocabulário do comprador.
O cálculo de tamanho de amostra para detectar um efeito de 1,0 ponto percentual absoluto (equivalente a 37% de lift relativo sobre a base de 2,7%), com poder de 80% e α = 0,05 bilateral, retorna 4.203 sessões por variante.
A derivação está na seção 2. O ponto aqui é o resultado: você tem 400 sessões por mês. Divididas em dois braços de 50%, são 200 por variante por mês. O experimento levaria 21 meses para atingir a amostra calculada.
Três caminhos são observáveis nesse cenário, e nenhum resolve o problema:
- Rodar o teste por duas semanas, interromper na primeira leitura com p < 0,05 e implementar a variante vencedora. Isso mede ruído e o reporta como efeito.
- Não testar, implementar uma mudança baseada em padrão de mercado sem declarar que se trata de julgamento, e não medir nada.
- Manter o teste ativo indefinidamente, acumulando exposição e custo de oportunidade sem capacidade de decisão.
A tese deste artigo: teste A/B com amostra insuficiente não é um teste A/B de menor qualidade, é um instrumento inadequado para a decisão disponível. A substituição por métodos compatíveis com o volume é o que separa um programa de otimização de uma sequência de decisões sem base.
PARTE II. O cálculo de poder, sem atalhos
Para um teste de duas variantes com proporção como métrica primária, a fórmula do tamanho de amostra por variante é:
n = 2 · (z_α/2 + z_β)² · p(1 − p) / δ²
Onde p é a taxa de conversão de linha de base, δ é o efeito mínimo detectável (MDE) em pontos percentuais absolutos, z_α/2 é o quantil da normal padrão associado ao nível de significância e z_β o quantil associado ao poder desejado.
Com nível de significância de 5% bilateral, z_α/2 = 1,96. Com poder de 80%, z_β = 0,84. Substituindo:
2 · (1,96 + 0,84)² = 2 · (2,80)² = 2 · 7,84 = 15,68
Arredondado para cima, o fator constante é 16. Daí a forma operacional:
n = 16 · p(1 − p) / δ²
A consequência estrutural está no expoente: n é proporcional a 1/δ². Reduzir o MDE pela metade quadruplica a amostra necessária. Esse é o motivo pelo qual a diferença entre testar um ajuste de copy e testar uma mudança de posicionamento é de semanas contra anos, e não de “mais um pouco de tráfego”.
Procedimento de Cálculo
- Estimar p pela média de conversão mensal dos últimos 12 meses. Não usar o mês corrente, que carrega sazonalidade e mix de campanha.
- Estimar δ a partir da distribuição histórica de efeitos dos seus próprios experimentos. Na ausência de histórico, usar 2% a 3% relativo como referência externa, conforme a seção 14.
- Aplicar n = 16 · p(1 − p) / δ² e obter o número de unidades por variante.
- Calcular a duração: meses = n / (tráfego mensal dividido por 2).
- Inverter a fórmula para obter o MDE viável dado o tráfego disponível em uma janela aceitável de execução: δ_viável = √( 16 · p(1 − p) / n_disponível ).
- Comparar δ_viável com o efeito esperado. A regra de corte: se δ_viável exceder em três vezes o efeito esperado, o experimento não deve ser executado.
A justificativa do passo 6 é aritmética, não convenção. Se o MDE declarado corresponde a 80% de poder, então o MDE equivale a 2,8 desvios padrão da distribuição do estimador. Se o efeito verdadeiro é um terço do MDE, a estatística de teste esperada é 2,8 / 3 = 0,93. A probabilidade de detecção passa a ser P(Z maior que 1,96 − 0,93), ou seja, P(Z maior que 1,03), que é aproximadamente 0,15. O poder cai para cerca de 15%. Em termos práticos: o teste tem 85% de chance de não detectar um efeito que existe.
Cenário aplicado: 400 sessões por mês, p = 2,7%
Base de cálculo:
p = 2,7% = 0,027 p(1 − p) = 0,027 · 0,973 = 0,026271 16 · p(1 − p) = 16 · 0,026271 = 0,420336
Com alocação 50/50 sobre 400 sessões mensais, cada variante recebe 200 sessões por mês.
Um mês de execução, com 200 unidades por variante:
δ_viável = √( 0,420336 / 200 ) δ_viável = √0,00210168 δ_viável = 0,04584 → 4,58 pontos percentuais Lift relativo = 0,04584 / 0,027 = 1,70 → 170%
Ou seja: o menor efeito detectável em um mês é maior que a própria taxa de conversão. O teste não tem capacidade de detectar nada abaixo de um aumento de 170%.
Doze meses de execução, com 2.400 unidades por variante:
δ_viável = √( 0,420336 / 2.400 ) δ_viável = √0,00017514 δ_viável = 0,01323 → 1,32 ponto percentual Lift relativo = 0,01323 / 0,027 = 0,49 → 49%
Doze meses de teste habilitam a detecção de um efeito de 49% relativo. Nenhuma alteração de headline produz isso.
Amostra e duração para detectar 10% relativo:
δ = 0,027 · 0,10 = 0,0027 n = 0,420336 / 0,0027² n = 0,420336 / 0,00000729 n = 57.659 por variante Duração = 57.659 / 200 = 288 meses → 24 anos
Amostra e duração para detectar 3% relativo:
δ = 0,027 · 0,03 = 0,00081 n = 0,420336 / 0,00081² n = 0,420336 / 0,0000006561 n = 640.646 por variante Duração = 640.646 / 200 = 3.203 meses → 267 anos
O número de 267 anos não é retórica. É a avaliação de n proporcional a 1/δ² no seu tráfego. Ele define o intervalo de efeitos que o seu programa é capaz de confirmar: na prática, nenhum.
| Cenário (400 sessões/mês, conversão de 2,7%) | Amostra por variante | Resultado |
|---|---|---|
| 1 mês de execução | 200 | Detecta apenas efeitos acima de 170% relativo |
| 12 meses de execução | 2.400 | Detecta efeitos a partir de 49% relativo |
| Detectar 10% relativo | 57.659 | 288 meses (24 anos) de duração |
| Detectar 3% relativo | 640.646 | 3.203 meses (267 anos) de duração |
O que muda com mais tráfego
Para leitura comparativa, o mesmo cálculo com 1.200 sessões por mês, o que dá 600 unidades por variante por mês:
- Um mês, 600 por variante: δ_viável = 2,65 pontos percentuais, ou 98% relativo.
- Doze meses, 7.200 por variante: δ_viável = 0,76 ponto percentual, ou 28% relativo.
- 10% relativo: 57.659 por variante, 96 meses, 8 anos.
- 3% relativo: 640.646 por variante, 1.068 meses, 89 anos.
| Efeito a detectar | Com 400 sessões/mês | Com 1.200 sessões/mês |
|---|---|---|
| 10% relativo | 24 anos | 8 anos |
| 3% relativo | 267 anos | 89 anos |
Triplicar o tráfego reduz o MDE viável pela raiz de três, ou seja, por um fator de 1,73. É ganho real e é insuficiente. A redução de MDE por aumento de tráfego tem retorno decrescente, porque o custo está no quadrado do efeito. É essa assimetria que obriga a mudar de instrumento, e não a buscar mais volume.
Parte III. O que acontece quando o teste é executado mesmo assim
O artigo que ancora esta seção é “Power Analysis is Essential: High-Powered Tests Suggest Minimal to No Effect of Rounded Shapes on Click-Through Rates”, publicado na Econ Journal Watch, volume 23, número 1, em março de 2026, por Ron Kohavi, Guido Imbens, Ravikiran Rajagopal e coautores.
O objeto de replicação foi um estudo que reportava aumento de 55% na taxa de clique ao substituir cantos arredondados por cantos retos em botões. O estudo original tinha 919 visitas, distribuídas em 474 e 445 sessões entre os dois braços. A taxa de clique de linha de base era 7,19%.
Desenho da replicação
Os pesquisadores executaram três experimentos independentes em sites de grande escala, com três decisões metodológicas que definem o padrão:
- Declararam o MDE publicamente antes da execução. O valor inicial foi 2% relativo, recomendado pelo projeto colaborativo Trustworthy A/B Patterns. Após os resultados das duas primeiras replicações, o alvo foi revisado para 0,5% antes da terceira.
- Fixaram a duração do experimento antes da execução, com base no MDE declarado. As duas primeiras replicações rodaram 16 semanas cada, com o objetivo declarado de obter poder adicional.
- Não filtraram dados e não aplicaram transformações, replicando exatamente a configuração do estudo original, incluindo métrica primária e ausência de exclusões.
O cálculo de amostra para o estudo original, com MDE de 2% relativo e p = 0,0719, seria:
n = 16 · 0,0719 · (1 − 0,0719) / (0,0719 · 0,02)² n = 16 · 0,06673 / 0,0000020679 n = 1,06768 / 0,0000020679 n = 516.325 por variante
Para MDE de 5% relativo: 80.000 por variante. Para 10% relativo: 20.000 por variante. O estudo original tinha 474 e 445 sessões.
Resultados
Os três experimentos incluíram 2,8 milhões, 2,2 milhões e 1,9 milhão de usuários. Os efeitos estimados foram:
| Experimento | Usuários | Efeito estimado | p-valor |
|---|---|---|---|
| Estudo original | 919 visitas | 55% reportado | 0,037 |
| Replicação 1 | 2,8 milhões | 0,16% | 0,20 |
| Replicação 2 | 2,2 milhões | 0,29% | 0,60 |
| Replicação 3 | 1,9 milhão | 0,73% | 0,09 |
Os efeitos são duas ordens de magnitude menores que os 55% reportados. As amostras foram mais de 170 vezes maiores que a do estudo original em cada experimento, e mais de duas mil vezes maiores no conjunto.
Poder do estudo original
O cálculo de poder do estudo original, para um MDE de 2% relativo, retorna 3%. Três por cento de probabilidade de detectar um efeito real, caso existisse.
O intervalo de confiança de 95% para o efeito relativo ia de 3,13% a 146,8%, com estimativa pontual de 55% e p = 0,037. Em pontos percentuais absolutos, o intervalo ia de 0,27 a 7,71. O cálculo de intervalos sobre efeitos relativos exige o teorema de Fieller, porque a razão envolve duas variáveis aleatórias.
Poder das replicações
Mesmo com milhões de usuários, as replicações mantiveram poder baixo para o efeito real estimado. Para o MDE de 2% declarado, o poder foi de 3,0%, 100,0% e 99,7% nos três sites. Para o MDE de 0,21% — a melhor estimativa do efeito verdadeiro a partir da meta-análise dos resultados — o poder caiu para 39,2%, 7,1% e 5,7%.
A conclusão dos autores, textual:
“Sites that do not have many millions of users in an experiment period will therefore not be able to run a properly powered A/B test to evaluate whether rounded vs. square corners are better for them.”
O método aplicado para chegar a essa conclusão é o “small telescope” de Simonsohn (2015), em três passos: primeiro, identifica-se o efeito que daria 33% de poder ao estudo original, chamado d33; segundo, verifica-se se o intervalo de confiança da replicação exclui esse valor; terceiro, se exclui, rejeita-se a hipótese de que o efeito era grande o suficiente para ser detectável na amostra original. No caso, os três intervalos das replicações ficam distantes da linha de d33, o que classifica o estudo original como amostra insuficiente.
A implicação para o seu cenário de 400 sessões mensais é direta: se uma variável testada exaustivamente na literatura não tem efeito detectável em milhões de usuários, a probabilidade de uma alteração de página produzir efeito detectável em 400 sessões por mês é desprezível, inclusive quando a alteração está correta. O experimento não falha por erro de hipótese. Falha por ausência de resolução.
Parte IV. Os quatro mecanismos que produzem resultado falso
A suposição comum é que um teste com amostra insuficiente produz resultado inconclusivo. A operação real é diferente: ele produz resultado, e o resultado é enviesado para cima. Quatro mecanismos distintos produzem esse efeito, e cada um exige uma correção específica.
Winner’s curse
Em condição de baixo poder, os efeitos que atingem significância são uma amostra selecionada por um critério correlacionado com o ruído. Você observa apenas as realizações em que a variância amostral empurrou o estimador para longe de zero. O efeito detectado é, sistematicamente, maior que o efeito populacional.
Gelman e Carlin, em 2014, formalizaram duas consequências mensuráveis. O erro tipo S é a probabilidade de o sinal do efeito estimado ser oposto ao real. O erro tipo M é a razão entre a magnitude estimada e a magnitude real. Em estudos com poder baixo, ambos crescem de forma acentuada, e o erro tipo M é o que produz a inflação silenciosa de todos os números de lift que circulam em relatórios de CRO.
Esse é o mecanismo que explica o caso da seção 3: não houve fraude no estudo original. Houve seleção por significância sobre uma amostra que não podia sustentar a estimativa.
Peeking e inflação de erro tipo I
Interromper o teste quando o p-valor cruza o limiar de significância eleva a taxa de erro tipo I acima do nominal. O valor exato depende do número de inspeções e da distribuição temporal delas. Com inspeções contínuas, a inflação é substancial e crescente.
A correção é operacional, não estatística: fixar duração e regra de decisão antes do início, e não abrir o painel durante a execução. É exatamente o que as replicações da seção 3 fizeram ao declarar MDE e duração previamente.
Múltiplas comparações
Cinco hipóteses testadas simultaneamente com nível de significância de 5% produzem a seguinte probabilidade de ao menos um falso positivo sob a hipótese nula global:
1 − (1 − 0,05)⁵ = 1 − 0,95⁵ = 1 − 0,7738 = 0,2262
Aproximadamente 22,6%, ou cerca de 23%.
A correção de Bonferroni divide o limiar pelo número de comparações:
α_ajustado = α / k
Com α = 0,05 e k = 5:
α_ajustado = 0,05 / 5 = 0,01
Existe um custo, e ele precisa entrar no cálculo de viabilidade antes da execução: exigir p menor que 0,01 reduz o poder, o que agrava a restrição de amostra. Em um cenário de 400 sessões mensais, a correção não viabiliza a inferência, e sim confirma a inviabilidade. A conclusão correta é reduzir o número de hipóteses testadas, não aumentar o limiar de exigência sobre uma amostra que já é insuficiente.
Sample ratio mismatch
Se a alocação configurada é 50/50 e o experimento entrega 47/53 com volume relevante, o desvio indica falha de atribuição, não variabilidade amostral. As causas comuns são redirecionamento condicional, cache de página, diferença de tempo de carregamento entre variantes e segmentação inconsistente na camada de coleta.
Um teste com SRM quebrado produz resultados inválidos independentemente do p-valor. A verificação é um teste de qui-quadrado sobre a contagem por braço, executado antes de qualquer análise de efeito.
Um dado sobre a maturidade dessa prática: em 2025, apenas 4,5% dos experimentos rodados na plataforma Convert eram testes A/A. O teste A/A é o único procedimento capaz de verificar se o sistema de experimentação está calibrado, porque compara duas amostras idênticas por construção. A maior parte das equipes nunca valida o instrumento antes de usar a medição.
Parte V. Classificação da decisão antes da escolha do método
Antes de qualquer cálculo, a decisão precisa ser classificada. O instrumento deriva do tipo de decisão, não o contrário. Essa inversão de ordem é a mudança de hábito que produz mais efeito prático em um programa com restrição de amostra.
A pergunta deixa de ser “qual variante converte mais” e passa a ser “qual decisão preciso tomar, e qual é a evidência mínima que a sustenta”. A segunda pergunta admite respostas que não são um teste A/B.
Decisão de correção
Existe evidência de defeito funcional: erro de formulário em viewport móvel, tempo de carregamento acima de 3 segundos em conexão 3G, campo obrigatório sem instrução, botão sem estado de foco acessível. Não requer teste. Requer correção e verificação de que o defeito foi eliminado. Testar se um defeito reduz conversão é custo sem informação, afinal, o defeito é um erro, não uma hipótese.
Decisão reversível de baixo custo
Alteração de copy, ordem de blocos, texto de CTA, imagem. O custo do erro é uma janela de exposição e a reversão leva minutos. O critério é econômico: comparar o custo de execução do teste com o custo esperado do erro. Abaixo de um limiar de tráfego, testar é mais caro que decidir, medir o agregado e reverter se necessário.
Decisão de alocação
Definição de onde investir capacidade de produto e marketing no trimestre. Não é resolvida por A/B de página, porque a variável de decisão não está na página. Requer mensuração de incrementalidade, tratada na seção 12.
Decisão irreversível ou de alto custo de erro
Alteração de modelo de preço, arquitetura de funil, posicionamento, público-alvo de campanha. Exige o nível mais alto de evidência disponível, e frequentemente não pode ser respondida por experimento de página, porque o efeito não é local. Para essas decisões, o instrumento é a combinação de holdout persistente, diferença em diferenças e pesquisa qualitativa com protocolo.
Definida a classe, o instrumento é determinado. O espaço em que o teste A/B é a escolha correta (decisão reversível, efeito localizado, amostra suficiente) é menor do que a prática corrente sugere.
| Tipo de decisão | Exemplo | Instrumento adequado |
|---|---|---|
| Correção de defeito | Erro de formulário em mobile, carregamento acima de 3 segundos | Corrigir e verificar, sem teste |
| Reversível de baixo custo | Copy, ordem de blocos, texto de CTA, imagem | Decidir, medir o agregado e reverter se necessário |
| Alocação de investimento | Onde investir a capacidade de produto e marketing no trimestre | Mensuração de incrementalidade |
| Irreversível ou de alto custo | Modelo de preço, arquitetura de funil, posicionamento | Holdout persistente, diferença em diferenças e qualitativo com protocolo |
Parte VI. Erros operacionais que consomem o volume disponível
Cinco padrões drenam o volume de um programa sem produzir informação. Reconhecer dois ou três deles na própria operação costuma devolver mais tempo do que qualquer técnica das seções seguintes.
Teste sem prazo de encerramento. Execução continuada por ausência de significância. Além do custo de oportunidade, acumula novelty effect, variação sazonal de mix de tráfego e risco de degradação não monitorada da variante. Um teste de sete meses não é rigor.
Troca de métrica primária durante a execução. Cada troca redefine a hipótese e invalida a análise anterior. Começar com conversão, migrar para cliques no CTA e depois para tempo na página significa acumular três hipóteses testadas sem corrigir nenhuma. Se a métrica primária muda após o início, o experimento anterior é descartado, não reinterpretado.
Comparação antes/depois tratada como experimento. Mede simultaneamente mudança estrutural, safra de tráfego, campanha ativa e sazonalidade, sem grupo de controle. É correlação com narrativa. A alternativa válida é a série temporal interrompida com especificação, na seção 12.
Execução de teste com MDE viável incompatível com o efeito esperado. Se o MDE viável é 170% relativo e o efeito esperado é 3%, o poder do teste para o efeito real é próximo de zero, conforme a derivação do passo 6 da seção 2.1. O resultado não informa nada, seja positivo ou negativo.
Ausência de verificação de SRM e de teste A/A. Sem calibração do instrumento, a medição não tem base. É o equivalente a calibrar uma balança nunca verificada contra um peso padrão.
Parte VII. Nível 1 — Instrumentação e definição operacional
A variância que domina páginas de baixo tráfego não é estatística; é de medição. Nenhum método das seções seguintes compensa dado mal definido, e esse é o motivo pelo qual a instrumentação vem primeiro, apesar de não produzir nenhum resultado visível.
Definição operacional da conversão. Especificar quatro elementos: qual evento, contado por usuário ou por sessão, dentro de qual janela de atribuição, com qual regra de deduplicação. Em B2B, a unidade relevante é o usuário ou a conta, não a sessão. O mesmo comprador acessa a página mais de uma vez e em mais de um dispositivo antes de converter. Se a métrica é por sessão, o objeto medido não é o objeto de negócio, e nenhuma inferência posterior corrige esse desalinhamento.
Taxa de consentimento por segmento. Ad blockers, restrições de armazenamento e consentimento negado reduzem a base de forma não aleatória. Gravar o status de consentimento junto de cada registro permite verificar se a taxa de opt-in é equivalente entre os braços do experimento. Se não for, o resultado tem viés de amostra, não erro de estimativa. A consequência prática é que não existe ajuste posterior: a comparação está comprometida na origem.
Vale registrar um ponto que costuma ser mal interpretado: experimentação nunca dependeu de cookie de terceiro. Depende de identificar a unidade experimental e atribuir exposição de forma consistente. Em ambiente sem cookie de terceiro, a atribuição migra para identificador próprio, server-side e primeira parte, mas a exigência lógica permanece idêntica.
Estabilidade da linha de base. Série mensal de conversão dos últimos 12 meses. Se a variação entre meses por sazonalidade e mix de canal excede 40%, a média não é uma linha de base, é o resumo de uma distribuição ampla, e o p usado na fórmula da seção 2 fica mal especificado. Nesse caso, o MDE calculado tem erro de propagação não declarado.
Validação do instrumento. Executar um teste A/A antes de confiar em qualquer resultado. O A/A verifica se a alocação e a medição produzem diferença detectável entre dois grupos idênticos por construção. Sem isso, não há evidência de que o sistema está calibrado, e todos os resultados seguintes herdam essa incerteza.
Parte VIII. Nível 2 — Desenho da métrica: redução de amostra por especificação
A definição da métrica altera diretamente o n necessário, sem custo de tráfego. É a alavanca mais barata do programa e a menos discutida em CRO.
O exemplo numérico mais claro está na replicação de oito experimentos de larga escala publicada na ACM em 2026, no artigo “Trustworthy A/B Patterns and the Winner’s Curse”. Para um MDE relativo de 2%, a amostra total necessária com a métrica bruta de contagem de adições ao carrinho é de 13.807.852 usuários. Com a métrica limitada por cap em 1, a amostra cai para 1.732.256 usuários. A razão é 13.807.852 / 1.732.256 = 7,97, ou aproximadamente 8 vezes menos tráfego para o mesmo MDE e a mesma pergunta de negócio.
Os valores intermediários, para o mesmo MDE de 2% relativo:
| Limite por usuário (cap) | Amostra total necessária para MDE de 2% relativo |
|---|---|
| Sem cap | 13.807.852 usuários |
| Cap 500 | 11.662.656 usuários |
| Cap 100 | 6.552.186 usuários |
| Cap 10 | 2.661.170 usuários |
| Cap 5 | 2.195.684 usuários |
| Cap 1 (equivalente booleano) | 1.732.256 usuários |
A causa é variância. A contagem bruta é dominada por outliers de cauda longa. Um único usuário com 200 adições ao carrinho domina o desvio padrão do braço. O cap reduz a cauda e, com ela, o desvio, o que melhora diretamente a sensibilidade do teste.
Existem quatro decisões de especificação com efeito direto sobre o poder.
Cap ou winsorização. Limitar a contribuição máxima por unidade. A escolha do cap é um trade-off explícito entre variância e fidelidade, e o valor precisa constar do pré-registro. Em B2B, um cap agressivo elimina justamente o sinal de maior valor econômico, que é o cliente de ticket alto. Em B2C com receita por usuário, o cap é padrão de mercado.
Métrica de razão em vez de contagem agregada. Receita por visitante, em vez de receita total, remove a variação de volume de tráfego, que é ruído em relação à hipótese testada.
Métrica de estágio anterior. Se a conversão final é evento raro, medir o estágio imediatamente anterior aumenta a frequência do evento e reduz a variância relativa. Introduz a questão de validade tratada na seção 10, e por isso exige o procedimento de três etapas descrito ali.
Unidade de randomização. Em B2B, randomizar por conta, não por sessão. Isso reduz o número de unidades (60 contas em vez de 400 sessões) mas elimina a contaminação entre braços quando o mesmo usuário retorna. Randomizar por sessão com usuários recorrentes viola a premissa de não interferência entre unidades, conhecida como SUTVA, e produz uma estimativa que mistura efeito de tratamento e efeito de aprendizado cruzado. O resultado dessa violação não é ruído adicional: é viés de direção desconhecida.
Parte IX. Nível 3 — CUPED: redução de variância e seus pré-requisitos
CUPED, sigla de Controlled-experiment Using Pre-Experiment Data, foi apresentado por Deng, Xu, Kohavi e Walker em 2013 e é o padrão de redução de variância em experimentação em escala. É a técnica mais subutilizada em otimização aplicada, e também a mais mal aplicada quando o pré-requisito não é verificado.
O estimador ajusta o resultado de cada unidade por uma covariável medida antes da exposição. Para cada usuário, com resultado Y e covariável pré-experimento X:
Y_ajustado = Y − θ · (X − X_médio)
Onde θ é o coeficiente de regressão de Y sobre X, estimado na amostra:
θ = Cov(Y, X) / Var(X)
A variância do estimador do efeito cai por um fator definido pela correlação ρ entre Y e X:
Var_ajustada = Var_original · (1 − ρ²)
Os números aplicados:
Com ρ = 0,6: fator = 1 − 0,36 = 0,64. Redução de variância de 36%.
Com ρ = 0,8: fator = 1 − 0,64 = 0,36. Redução de variância de 64%.
| Correlação ρ entre pré e pós-período | Redução de variância | Amostra efetiva |
|---|---|---|
| 0,6 | 36% | 1,56× maior |
| 0,8 | 64% | 2,78× maior |
A equivalência em amostra é o inverso do fator. Com ρ = 0,8, a amostra efetiva é multiplicada por 1 / 0,36 = 2,78. É como dispor de 178% mais tráfego sem alterar o experimento.
O pré-requisito que limita a aplicação
CUPED exige identificar a mesma unidade antes e depois da exposição. Em páginas com tráfego majoritariamente novo e anônimo, com consentimento parcial e cross-device inevitável, ρ se aproxima de zero, e o fator 1 − ρ² se aproxima de 1, ou seja, nenhuma redução. A técnica é implementada, a complexidade é adicionada e o MDE permanece idêntico.
Procedimento de verificação, executável em uma tarde:
- Extrair 6 a 12 meses de histórico de eventos da página.
- Definir coortes de usuários identificados, com identificador persistente.
- Calcular a métrica de interesse no período t−1 e no período t para cada usuário.
- Calcular a correlação ρ entre as duas séries.
- Aplicar o critério: ρ abaixo de 0,3 indica ganho marginal; acima de 0,5 indica ganho relevante e justifica implementação.
CUPED é aplicável a bases com identificação persistente: produto com login, SaaS com conta, aplicativo, e-commerce com autenticação. Para tráfego anônimo majoritário, não é a alavanca relevante, e o esforço deve migrar para a seção 8.
Existem extensões publicadas que combinam dados pré-experimento e intra-experimento para redução adicional de variância, com submissão em 2024 e revisão em 2026. Elas ampliam o ganho em cenários com sinal fraco de pré-período, mas mantêm o mesmo pré-requisito de identificação e introduzem risco de viés quando variáveis pós-tratamento são utilizadas sem controle adequado. Não são substituto para a falta de identificação.
Parte X. Nível 4 — Métricas proxy: validade, erro tipo I e composição
Métrica proxy é uma métrica observada no lugar da métrica de negócio, escolhida por maior razão sinal-ruído. O uso é legítimo, mas com uma condição que a prática corrente ignora na maior parte dos casos.
O artigo “Blending Proxy Metrics with a North Star”, disponível em arXiv sob o identificador 2606.21745 em 2026, formaliza o problema e produz dois resultados que precisam ser conhecidos antes de qualquer decisão baseada em proxy.
Resultado 1: em amostra pequena, a proxy domina
Em amostras pequenas e com correlação estrutural moderada a alta entre proxy e métrica norte, a proxy atinge significância com probabilidade substancialmente maior que a métrica norte, para o mesmo efeito verdadeiro. A razão é a maior razão sinal-ruído da proxy. Esse é o argumento a favor do uso, e ele é válido.
Resultado 2: decisão baseada apenas na proxy não controla erro tipo I
A taxa de erro tipo I é estritamente controlada em 0,05 para a métrica norte. Para a decisão baseada apenas na proxy, ela é substancialmente superior. E o comportamento é contraintuitivo: o risco de falso positivo cresce com o tamanho da amostra, exceto no caso limite em que proxy e métrica norte são perfeitamente correlacionadas.
A explicação é estrutural. Quando ρ é baixo, manter a métrica norte fixa em um efeito nulo não restringe a proxy de forma suficiente, e o ruído da proxy se acumula com o volume. O resultado é que aumentar a amostra piora a calibração da decisão baseada em proxy pura.
A solução: composição com pesos ótimos
A regra de decisão ótima combina proxy e métrica norte com um peso que depende de dois fatores: o poder do experimento e a qualidade da proxy. Quando o poder é baixo, o peso se concentra na proxy. Quando o poder cresce, o peso migra para a métrica norte. Em um experimento infinitamente grande, o peso da proxy tende a zero e a decisão passa a depender exclusivamente da métrica norte.
A implicação para o desenho do programa é direta e frequentemente contraintuitiva: proxies boas justificam experimentos menores e mais numerosos; proxies ruins exigem experimentos maiores e menos numerosos.
Na aplicação empírica do artigo, com 15 experimentos e tamanho mediano de 5 milhões de usuários por braço, o blend ótimo atribui 52% do peso à métrica proxy, medida em cliques, e 48% à métrica norte, medida em execuções. Em 25 milhões por braço, o peso da métrica norte chega a aproximadamente 90%. Abaixo de 2 milhões por braço, a restrição de simplex vincula e todo o peso se concentra na proxy.
Procedimento de três etapas
- Selecionar a proxy por mecanismo causal. A proxy precisa estar no caminho entre a intervenção e o resultado de negócio. Para uma alteração de headline em página de preços, o mecanismo plausível é aumento da compreensão de valor, medido por início de formulário. Tempo na página não é mecanismo; é uma métrica de engajamento sem relação causal declarada com a conversão, e o uso dela como proxy é o erro mais comum da categoria.
- Estimar a qualidade da proxy com o histórico disponível. Identificar todos os experimentos passados em que proxy e métrica norte foram observadas simultaneamente e calcular a correlação entre os efeitos estimados nas duas métricas, entre experimentos. Correlação acima de 0,7 indica proxy utilizável; abaixo de 0,3 indica que a proxy mede outro fenômeno e que o efeito estimado nela não é transferível.
- Declarar o escopo da inferência. Um resultado positivo em proxy sustenta a afirmação “a intervenção moveu um mecanismo que, historicamente, se associa ao resultado de negócio”. Não sustenta “a intervenção aumentou a receita em X%”. A distinção define se o relatório é auditável ou não, e é a diferença entre um número que resiste à próxima medição e um número que não sobrevive ao trimestre seguinte.
Parte XI. Nível 5 — Alteração da unidade de randomização
Estes desenhos mudam o que é sorteado. Reduzem o número de unidades disponíveis, mas cada unidade carrega mais informação. São a alternativa correta quando o sorteio por usuário é inviável por contaminação ou por volume insuficiente.
Randomização por cluster. Sortear contas, workspaces, vendedores ou times, em vez de usuários. Elimina contaminação entre braços, o que é indispensável quando o mesmo usuário retorna com frequência. Exige no mínimo 20 a 30 clusters por braço para inferência defensável, e métodos que corrijam a correlação intra-cluster, na forma de erros padrão agrupados ou modelos hierárquicos. Com 15 contas no total, o desenho não é aplicável, e verificar isso antes da execução é parte do método — não uma etapa opcional.
Teste geográfico. Sortear regiões inteiras e comparar agregados. É o desenho padrão para intervenções não isoláveis por usuário: preço regional, presença de mídia, política de frete. O requisito mínimo documentado é de aproximadamente 10 regiões separáveis para um desenho de célula única. Abaixo disso, a estimativa não tem resolução suficiente para separar efeito de variação regional.
Switchback. Alternar tratamento e controle por janelas de tempo. Aplicável a intervenções sincronizadas: latência de infraestrutura, alteração de algoritmo global, mudança operacional de atendimento. Requer que o efeito se manifeste dentro da janela e que não haja carryover entre janelas. Não é aplicável quando o ciclo de compra excede a janela de alternância, o que inviabiliza o uso em B2B com ciclo de 90 dias.
Rollout gradual com holdout persistente. Liberar a intervenção para uma fração da população e manter o restante intacto por período prolongado, medindo a diferença acumulada. É o único desenho que permite estimar efeito em métricas de cauda longa (retenção, churn, expansão de receita) sem esperar anos por um A/B clássico. O holdout precisa ser mantido por tempo suficiente para cobrir o ciclo de decisão do cliente, e o tamanho precisa ser suficiente para a métrica de cauda longa, não para a métrica de curto prazo.
Parte XII. Nível 6 — Desenhos quase-experimentais com especificação mínima
Quando a randomização não é possível, a inferência causal ainda é possível com premissas declaradas e testáveis. Quatro desenhos são aplicáveis a funis de baixo tráfego, e a maior parte das equipes de CRO deveria estar operando neles.
Série temporal interrompida
Modelar a série de conversão semanal antes e depois da intervenção, controlando tendência, sazonalidade e autocorrelação, e testar mudança de nível e de inclinação no ponto de intervenção.
Requisitos mínimos: 12 pontos antes e 12 pontos depois; especificação que trate autocorrelação serial, com erros padrão de Newey-West ou modelo ARIMA com termos declarados; idealmente uma série de controle não afetada pela intervenção, para absorver choques comuns.
A falha típica é tratar a série como independente e aplicar teste t de duas amostras. Isso superestima a significância, porque ignora a correlação serial. Em séries semanais de conversão, a autocorrelação de primeira ordem costuma ser positiva e relevante, o que significa que o erro padrão correto é maior que o calculado pelo teste t padrão.
Diferença em diferenças
Comparar a variação de um grupo tratado e um grupo não tratado, antes e depois. O estimador é a diferença das diferenças:
efeito = (Y_tratado_depois − Y_tratado_antes) − (Y_controle_depois − Y_controle_antes)
Premissa identificadora: tendências paralelas. Sem a intervenção, os dois grupos teriam evoluído de forma semelhante. A premissa é testável no período pré-intervenção: verificar se as séries já divergiam antes. Se divergiam, o estimador não identifica o efeito, e nenhum ajuste posterior corrige isso.
Em B2B, os grupos naturais existem com frequência: plano contratado, região, segmento de indústria, coorte de onboarding, canal de aquisição.
Regressão descontínua
Aplicável quando existe um limiar numérico que define acesso ao tratamento: frete grátis acima de determinado valor, desconto por volume, qualificação automática por número de funcionários, aprovação de crédito por score, desconto por valor de contrato.
Próximo ao limiar, as unidades dos dois lados são comparáveis em características observáveis e não observáveis, e apenas o lado da linha determina o tratamento. Isso permite estimar o efeito causal em desenho observacional, porque o limiar funciona como uma randomização natural.
Requisitos: janela de bandwidth declarada; verificação de que não há manipulação da variável de corte, pelo teste de densidade de McCrary; especificação funcional adequada, com formas lineares ou polinomiais separadas por lado.
Controle sintético
Construir um grupo de controle artificial por combinação ponderada de unidades não tratadas, calibrada para reproduzir o comportamento histórico da unidade tratada. Aplicável a mudanças de escopo em empresas com múltiplas unidades: lojas, filiais, mercados, regiões.
O limite comum e a regra de declaração
Nenhum destes desenhos entrega o nível de evidência de um experimento randomizado. Entregam estimativa condicionada a premissas explícitas. O valor não está em equivaler ao A/B; está em ser aplicável quando o A/B não é, e em produzir uma estimativa cujas premissas são auditáveis. Uma estimativa com premissas declaradas é qualitativamente diferente de um número sem base declarada, porque pode ser contestada no ponto correto.
Para as decisões de alocação da seção 5.3, existe ainda o problema de incrementalidade. A medição por atribuição não observa contrafactual; ela distribui crédito entre pontos de contato. Nos holdouts conduzidos por uma das consultorias que publica esse tipo de dado, a mediana da distância entre conversões atribuídas pelas plataformas e conversões medidas de forma incremental ficou entre 20% e 45%, dependendo do mix de canal. O número serve como ordem de grandeza, não como constante universal. A consequência prática é que atribuição ranqueia canal, mas não decide orçamento.
Parte XIII. Nível 7 — Pesquisa qualitativa com protocolo
Pesquisa qualitativa não estima magnitude de efeito. Identifica mecanismo, e mecanismo é o insumo que permite priorizar hipóteses quando o poder estatístico é insuficiente. A diferença entre evidência e anedota está no protocolo, não no método.
Protocolo mínimo. Amostra definida por critério explícito, recém-convertidos, abandonadores de formulário, perdidos para concorrente. Roteiro fixo, aplicado na mesma ordem. Sessões gravadas. Codificação de temas por dois avaliadores independentes, com discussão de divergências. Declaração de saturação, que é o ponto em que novas sessões deixam de produzir temas novos. Triangulação com dado comportamental, para que a fala seja confrontada com o comportamento observado.
Entrevistas de abandono com estímulo. Apresentar a página real e solicitar navegação em voz alta. Cinco a oito sessões por segmento saturam para fricções estruturais. O objeto de observação é confusão observável (onde a leitura trava, onde surge pergunta sobre unidade de preço, onde o formulário é abandonado) e não preferência declarada. A distinção importa porque preferência declarada tem correlação fraca com comportamento, enquanto confusão observável é comportamento.
Pesquisa de saída na página específica. Uma pergunta, no momento da saída, na página-alvo: “o que você estava procurando quando chegou aqui”. O produto é o vocabulário do comprador, que alimenta diretamente o teste de copy subsequente. Perguntar “por que você não converteu” produz justificativa social; perguntar o que a pessoa procurava produz descrição de tarefa.
Gravações de call de vendas. Em B2B, a fonte de maior densidade e menor custo. Objeções repetidas nas primeiras três interações são hipóteses de informação ausente na página. Se a maioria dos prospects pergunta se a cobrança é por usuário ou por uso, o problema é de informação na página de preços, e não requer experimento para correção.
A função do qualitativo no programa é reduzir o espaço de hipóteses antes de consumir tráfego. Com 400 sessões por mês, cada sessão é um recurso escasso. Alocar 200 delas a uma hipótese que cinco entrevistas tornaram implausível é desperdício de ativo, e é o tipo de desperdício que não aparece em nenhum relatório.
Parte XIV. Nível 8 — Decisão sem experimento, com calibração declarada
Julgamento é um instrumento válido quando calibrado por referência externa e documentado. Três fontes são legítimas, e cada uma tem um procedimento.
Distribuição de efeitos de referência. O repositório GoodUI documenta mais de 600 testes A/B organizados em 141 padrões, com 77 testes específicos de botões. Os autores do artigo da seção 3 usaram esse repositório para estimar o MDE realista de um padrão e concluíram que os efeitos dos padrões mais bem-sucedidos ficam abaixo de 7%. A recomendação derivada é um MDE de referência de 2% a 3%.
Essa é a informação mais útil para quem tem restrição de amostra, porque ela calibra a expectativa. A distribuição real de efeitos de otimização de página é estreita. Se efeitos de 3% estão no topo da distribuição, e o MDE viável do seu cenário é 170%, você não está em condição de medir lift de página. Está em condição de aplicar padrões consolidados e medir o resultado agregado do sistema. Reconhecer isso libera o programa de uma exigência impossível.
Estabilidade de padrão. Alguns padrões têm direção estabelecida e discussão residual sobre magnitude: redução de campos obrigatórios em formulário, transparência de preço, prova social junto ao ponto de decisão, carteira digital visível no checkout, ausência de criação de conta obrigatória antes da compra. Como referência de magnitude, exibir Apple Pay primeiro no checkout associa-se a 5,4% de aumento de conversão, e Google Pay primeiro a 4,4%. Equipes que testam ativamente a página de preços reportam taxas de conversão entre 11% e 30% superiores às que a tratam como conteúdo estático, o que é uma correlação de seleção e não um efeito causal, times mais maduros testam mais e convertem mais por outros motivos. A decisão sobre ter ou não carteira digital não requer experimento; a decisão sobre ordenação pode justificar medição agregada.
Custo de erro. Critério operacional que resolve a maioria dos casos. Se a mudança é reversível em minutos e o custo do erro é uma janela curta de exposição, decidir e monitorar a série agregada é mais eficiente que testar. Se o erro não é reversível ou afeta resultado do trimestre, a exigência de evidência sobe para os desenhos das seções 11 e 12.
A restrição é sobre a declaração, não sobre o uso. Julgamento não pode ser apresentado como resultado de dados. A formulação aceitável é: “não há volume para estimar este efeito; a decisão se baseia em padrão consolidado e em pesquisa qualitativa; a série temporal será acompanhada por oito semanas, com reversão em caso de deterioração”. A formulação inaceitável é “os dados mostram” na ausência de teste. A primeira é auditável e a segunda é o que produz roadmap construído sobre ruído.
Parte XV. Framework de seleção por volume
Os cortes abaixo são heurísticos. Eles assumem conversão entre 2% e 5% e efeito esperado entre 2% e 10% relativo. As variáveis que deslocam a fronteira são taxa de base, variância da métrica, heterogeneidade de tráfego e tamanho do efeito esperado.
Abaixo de 1.000 sessões por mês na página. Não executar experimento. O MDE viável em janela aceitável excede qualquer efeito plausível, conforme o cálculo da seção 2.2. Instrumentos aplicáveis: instrumentação da seção 7, pesquisa qualitativa com protocolo da seção 13, padrão consolidado da seção 14 e série temporal interrompida com 12 pontos antes e 12 depois. Se for necessário quantificar, executar mudanças pequenas e reversíveis em sequência e monitorar a série agregada, não uma comparação entre braços.
Entre 1.000 e 10.000 sessões por mês. Desenhos intermediários; A/B clássico viável apenas para efeitos grandes. Instrumentos aplicáveis: redesenho de métrica com cap, razão e proxy por mecanismo; CUPED se houver identificação persistente comprovada por ρ; randomização por cluster se houver unidades naturais em número suficiente; diferença em diferenças com grupo de controle; teste geográfico se houver regiões separáveis. Resultados devem ser classificados como direcionais e comunicados com intervalo de confiança.
Entre 10.000 e 100.000 sessões por mês. A/B viável com MDE declarado. Regra de execução: calcular o MDE suportado em quatro semanas; se exceder 8% relativo, reavaliar a viabilidade. Priorizar mudanças estruturais sobre microcopy. Aplicar CUPED quando houver identificação, corrigir múltiplas comparações por Bonferroni e manter um experimento por vez para não diluir tráfego entre braços.
Acima de 100.000 sessões por mês. Programa completo: múltiplos experimentos, holdouts persistentes, meta-análise dos resultados, calibração de proxy com histórico e revisão periódica do MDE de referência a partir da distribuição observada de efeitos.
Efeito da taxa de base. Todos os cortes se deslocam com p(1 − p). Uma página com 5.000 sessões mensais e 30% de conversão tem poder superior ao de uma página com 50.000 sessões e 1,5% de conversão, para o mesmo MDE relativo. O cálculo: com 30%, o produto p(1 − p) é 0,21; com 1,5%, é 0,0148. A razão é 14,2, o que significa que a página menor compensa a diferença de volume em mais de uma ordem de magnitude. Se houver escolha sobre onde experimentar, o estágio de maior conversão é o de maior poder por sessão.
| Sessões mensais na página | Viabilidade de teste A/B | Instrumentos recomendados |
|---|---|---|
| Abaixo de 1.000 | Inviável: o MDE viável excede qualquer efeito plausível | Instrumentação, qualitativo com protocolo, padrão consolidado, série temporal interrompida |
| 1.000 a 10.000 | A/B clássico só para efeitos grandes | Redesenho de métrica, CUPED, randomização por cluster, diferença em diferenças, teste geográfico |
| 10.000 a 100.000 | Viável com MDE declarado | Um experimento por vez, CUPED com identificação, correção de Bonferroni |
| Acima de 100.000 | Programa completo | Múltiplos experimentos, holdouts persistentes, meta-análise, calibração de proxy |
Parte XVI. Registro, comunicação e meta-análise
Pré-registro. Documento de uma página, anterior à execução, contendo: hipótese, métrica primária, métricas secundárias, MDE, duração e regra de decisão. Elimina a seleção de métrica posterior ao resultado, que é o principal mecanismo de viés de análise em programas de experimentação. A regra é simples: se não está no pré-registro, não existe.
Registro de decisões, não apenas de testes. Para cada intervenção: o que mudou, hipótese, evidência utilizada, efeito previsto, resultado observado e revisão posterior. Dois anos de registro produzem um ativo que nenhum benchmark externo substitui: a distribuição empírica de efeitos do seu próprio contexto. É ela que calibra o MDE de todos os cálculos futuros, e é ela que permite abandonar o 5% genérico que aparece em blogs sem origem declarada.
Comunicação com intervalo de confiança. A formulação “a variante B venceu por 12%” é incompleta e perigosa. A formulação auditável inclui estimativa, intervalo e poder: “efeito estimado de 12%, intervalo de 95% entre −4% e 28%, poder de 62% para o MDE declarado”. A primeira vira meta; a segunda vira aprendizado.
Definição operacional de “direcional”. Intervalo de confiança que inclui zero, estimativa pontual positiva, mecanismo plausível e direção consistente com evidência anterior. Não significa “positivo, logo implementado e reportado como ganho de X%”. A ressalva precisa constar do mesmo documento do resultado, não do apêndice.
Meta-análise com volume baixo. É o instrumento mais inteligente disponível para quem tem restrição de amostra. Se cada experimento é insuficiente para decidir sobre a página, mas o programa executa 15 experimentos de natureza semelhante em um ano, a unidade de inferência pode ser o programa. A pergunta muda de “esta headline é melhor” para “as intervenções deste tipo, neste contexto, tendem a produzir efeito positivo, e de que ordem de magnitude”. Essa pergunta é respondível com baixo volume por experimento, desde que as métricas sejam padronizadas e o registro seja completo. É também a pergunta que eleva a taxa de acerto das decisões futuras, porque produz um coeficiente de calibração em vez de uma anedota.
Parte XVII. Programa de 90 dias com restrição de amostra
Semanas 1 e 2 — auditoria de medição. Definição operacional da conversão por usuário, taxa de consentimento por segmento, série de conversão mensal dos últimos 12 meses, teste A/A do sistema de experimentação. Sem isso, os passos seguintes não têm base, e o custo de fazer depois é maior que o de fazer agora.
Semanas 3 e 4 — cálculo de viabilidade. Aplicar o procedimento da parte 2 ao tráfego real. Produzir o MDE viável por página e por janela de execução. O resultado encerra discussões sobre velocidade de teste com um número objetivo, e costuma ser o primeiro documento do programa que ninguém contesta.
Mês 2 — pesquisa qualitativa com protocolo. Cinco a oito sessões por segmento principal sobre a página-alvo, com roteiro fixo e codificação dupla. Extrair as três fricções mais frequentes e o vocabulário do comprador.
Meses 2 e 3 — intervenções de evidência consolidada, sem experimento. Correção de defeitos, aplicação de padrões com direção estabelecida, remoção de fricção conhecida, transparência de preço. Medição por série temporal, com grupo de controle quando existir.
Mês 3 — um desenho intermediário para a hipótese principal. Selecionar entre proxy com mecanismo declarado, diferença em diferenças ou randomização por cluster, conforme a estrutura de dados disponível. Declarar premissas, fixar duração, executar sem inspeção intermediária.
Meses 4 a 12 — acumulação para meta-análise. Padronizar métricas e registro. Ao final do ciclo, calcular a distribuição empírica de efeitos do próprio contexto e revisar o MDE de referência com base nela.
| Período | Ação |
|---|---|
| Semanas 1 e 2 | Auditoria de medição: definição operacional da conversão, consentimento, linha de base de 12 meses, teste A/A |
| Semanas 3 e 4 | Cálculo de viabilidade: MDE viável por página e por janela de execução |
| Mês 2 | Pesquisa qualitativa com protocolo: 5 a 8 sessões por segmento, roteiro fixo, codificação dupla |
| Meses 2 e 3 | Intervenções de evidência consolidada sem experimento, medidas por série temporal |
| Mês 3 | Um desenho intermediário para a hipótese principal, com premissas declaradas e duração fixa |
| Meses 4 a 12 | Acumulação para meta-análise: métricas padronizadas, registro completo, distribuição empírica de efeitos |
Parte XVIII. Conclusão
A conclusão central é sobre adequação de instrumento, não sobre rigor. Um teste A/B com amostra insuficiente não é uma versão conservadora de um teste válido; é um procedimento que produz estimativas enviesadas para cima com aparência de evidência. As replicações da Parte 3 quantificam esse desvio de forma difícil de contestar: de 55% relatados para 0,16%, 0,29% e 0,73% medidos em milhões de usuários, com poder de 3% no estudo original.
O dado de mercado reforça o argumento por outro ângulo. Em levantamento com 55 agências de CRO e experimentação, com campo entre fevereiro e maio de 2026, 100% declararam uso de inteligência artificial no trabalho. Apenas 9% transformaram esse uso em vantagem competitiva. A adoção virou commodity; a vantagem está na qualidade do desenho. E qualidade de desenho, com restrição de amostra, significa aceitar instrumentos diferentes do A/B em vez de submeter todas as perguntas ao mesmo procedimento.
Para um programa com restrição de amostra, a substituição não é por menos rigor. É por instrumentos diferentes, com premissas explícitas e escopo de inferência declarado: métrica redesenhada, proxy com qualidade medida, desenho quase-experimental com especificação testada, pesquisa qualitativa com protocolo e referência externa calibrada.
A distinção operacional final é esta: decisão com teste subdimensionado e decisão com série temporal especificada, proxy validada e padrão consolidado são ambas decisões com incerteza. Apenas a segunda sabe disso, e apenas a segunda pode ser auditada.
Referências
Estatística de experimentação e poder
Kohavi, R., Imbens, G., Rajagopal, R., et al. Power Analysis is Essential: High-Powered Tests Suggest Minimal to No Effect of Rounded Shapes on Click-Through Rates. Econ Journal Watch, vol. 23, n. 1, março de 2026.
Trustworthy A/B Patterns and the Winner’s Curse: Lessons from Eight Large-Scale Replications. ACM, 2026.
Kohavi, R., Tang, D., Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020.
Gelman, A., Carlin, J. Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors. Perspectives on Psychological Science, 9(6), 2014.
Simonsohn, U. Small Telescopes: Detectability and the Evaluation of Replication Results. Psychological Science, 26(5), 2015.
Fieller, E. C. Some Problems in Interval Estimation. Journal of the Royal Statistical Society, Series B, 1954.
Kohavi, R. Why 5% Should Be the Upper Bound of Your MDE in A/B Tests. LinkedIn, novembro de 2023.
Redução de variância e métricas proxy
Deng, A., Xu, Y., Kohavi, R., Walker, T. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data (CUPED). WSDM, 2013.
Datadog. CUPED: Variance Reduction Technique. Documentação de Experimentos.
Courthoud, M. Understanding CUPED: An in-depth guide to the state-of-the-art variance reduction technique in A/B tests. 2024.
Variance Reduction Combining Pre-Experiment and In-Experiment Data. arXiv:2410.09027, submetido em outubro de 2024, revisado em março de 2026.
Blending Proxy Metrics with a North Star. arXiv:2606.21745, 2026.
Prática de CRO, mensuração e incrementalidade
RevenueHero. The Complete Conversion Rate Optimization Guide for B2B SaaS. 2026.
HubSpot. Growth Experimentation: A Guide for Growing Marketing Teams. 2026.
Convert. A/B Testing & CRO Stats Every Optimizer Should Know in 2026 (dados originais de plataforma, 2025). 2026.
Convert. 2026 CRO & Experimentation Agencies Growth Blueprint (survey com 55 agências, campo de fevereiro a maio de 2026).
Kameleoon. 12 A/B Testing & Experimentation Stats You Need to Know in 2026. 2026.
Measured. Incremental Lift Analysis: iROAS & Confidence Intervals — Practical Guide. 2026.
Causality Engine. MMM, MTA or Incrementality: A Guide by Data Volume. 2026.
Stillwater Media. Incrementality vs Attribution: Which Should Lead Budget? 2026.
Statsig. Informed Bayesian A/B Testing: Two Approaches. 2025
Siteimprove. Customer Journey Visibility That Uses Cookieless Tracking. 2026.
Moburst. First-Party Data Strategy for Mobile Growth. 2026.
Jakala. CONVERSATION 2026: Exploring the Future of CRO Through AI, Experimentation and Personalization. 2026.
Paddle. Conversion Rate Optimization for SaaS: 7 Strategies to Boost Revenue. 2026.
GoodUI. Repositório de padrões de teste A/B.
Perguntas frequentes
O que fazer quando não há tráfego suficiente para um teste A/B? Calcular o efeito mínimo detectável viável para a janela de execução disponível. Se ele exceder em três vezes o efeito esperado, o experimento não deve ser executado: a decisão deve migrar para instrumentos compatíveis com o volume, como pesquisa qualitativa com protocolo, padrões consolidados, série temporal interrompida ou desenhos quase-experimentais.
Um teste A/B com pouca amostra pelo menos gera um resultado inconclusivo? Não. Em condição de baixo poder, o teste produz resultado, e ele é enviesado para cima: os efeitos que atingem significância são selecionados pelo ruído (winner’s curse), com erros de sinal e de magnitude amplificados.
O que é CUPED e quando ele funciona? CUPED é uma técnica de redução de variância que ajusta o resultado de cada unidade por uma covariável medida antes da exposição. Com correlação de 0,8 entre o período pré e pós-experimento, a amostra efetiva é multiplicada por 2,78. O pré-requisito é identificação persistente do usuário; em tráfego anônimo majoritário, o ganho é próximo de zero.
Abaixo de quantas sessões mensais não vale rodar teste A/B? Abaixo de 1.000 sessões por mês na página, o MDE viável em janela aceitável excede qualquer efeito plausível para taxas de conversão entre 2% e 5%. O programa deve operar com instrumentação, qualitativo, padrões consolidados e série temporal, não com comparação entre braços.
Sobre o autor
Enzo Donatelli escreve sobre experimentação, estatística aplicada e otimização de conversão. Perfil de Enzo Donatelli no LinkedIn.
Artigo publicado originalmente no LinkedIn do autor e republicado com autorização.