A Tentação dos Cases Vencedores

Você já se deparou com aquele case impressionante de Teste AB que prometia 300% de aumento na conversão apenas mudando a cor de um botão? Ou aquele estudo que comprovou cientificamente uma técnica revolucionária de neuromarketing?

Tenho uma notícia difícil: a maioria desses resultados não é confiável.

E não é necessariamente por maldade de quem está compartilhando o conteúdo. O problema é mais profundo e preocupante do que você imagina.

O Problema Estatístico que Ninguém Quer Admitir

A verdade é que a maior parte das pessoas que analisa resultados de testes não tem o conhecimento estatístico necessário para fazer isso corretamente.

Quando uma ferramenta de testes AB declara que uma variação foi vencedora é quase irresistível não compartilhar o resultado.

Mas aqui está o segredo que as ferramentas não contam: elas têm interesse direto na sua percepção de que houve um vencedor. Por isso acabam declarando vitórias quando na realidade o resultado é muito mais complexo e incerto do que o relatório simplificado faz parecer.

Um Alerta Importante

O objetivo deste artigo não é detalhar todos os pontos técnicos necessários para garantir um resultado confiável. Precisaríamos de muito mais que um post para isso.

Meu objetivo é abrir seus olhos para que você tenha muito cuidado com os cases de sucesso que circulam na internet.

A Crise Vai Além do Marketing Digital

O Choque: Estudos Científicos Também Falham

Você sabia que possivelmente a maioria dos estudos científicos que você vê ou ouve falar também não são confiáveis?

Vou te dar um exemplo que vai abalar suas certezas:

Um estudo de 2015 publicado na prestigiada Science.org analisou 100 experimentos proeminentes na área da psicologia.

O resultado foi chocante:

Cerca de 66% desses estudos FALHARAM em tentativas de replicá los.

Isso mesmo: a maioria dos resultados compartilhados por estudos científicos DE DESTAQUE não se comprovaram quando os experimentos foram replicados por outros pesquisadores.

Nem os Prêmios Nobel Estão Livres do Problema

E o problema é generalizado. Mesmo estudos de livros clássicos escritos por vencedores do Prêmio Nobel publicam pesquisas que não são confiáveis.

Pausa para reflexão: sabendo disso pense duas vezes antes de sair compartilhando qualquer resultado de estudo de neuromarketing que você encontrar por aí.

O Buraco é Mais Embaixo

Vamos raciocinar juntos:

Estudos científicos de destaque passam por um processo de planejamento e análise muito mais rigoroso do que simples testes em landing pages. Correto?

E mesmo assim a maioria desses estudos apresenta conclusões duvidosas.

Agora você entende o tamanho do buraco nos resultados de Testes AB que vemos por aí?

Se até a ciência estabelecida enfrenta uma crise de replicabilidade imagine o estado dos testes realizados sem rigor estatístico adequado no marketing digital.

A Realidade por Trás dos Cases

Não É Sempre Má Intenção

Um ponto importante: não acredito que quem publica um case de CRO ou estudo científico não confiável esteja de sacanagem.

Eu mesmo cometi esse equívoco no início da minha carreira sem o entendimento de que estava apresentando algo duvidoso. Na minha cabeça eu tinha algo tão cientificamente comprovado quanto o Darwinismo.

A Complexidade Estatística

O entendimento aprofundado do que um resultado de teste ou estudo científico realmente significa do ponto de vista estatístico é complexo.

Mais do que isso: às vezes não existe conclusão certa ou errada e sim um grande cinza dominado pelo famoso depende.

Existe Solução? Sim Mas Exige Rigor

Assim como nos estudos científicos existem iniciativas interessantes para definir uma confiabilidade mínima para cases de Testes AB publicados.

Ron Kohavi (ex Microsoft Amazon e Airbnb) propõe algumas regras essenciais que deveriam ser seguidas.

A triste realidade: provavelmente mais de 90% dos cases na internet não passariam nessas regras.

O Problema É Sistêmico

Lembre se: o problema não se limita aos Testes AB. A quantidade de conteúdo questionável apresentado em palestras sites jornalísticos redes sociais e cursos online com a falsa classificação de ciência é incontável.

Conclusão: O Paradoxo do Data Driven

Tudo isso nos mostra uma verdade incômoda: fazer Experimentação séria não é um passeio no parque.

Se você quer realmente fazer uma empresa ou projeto seguir o caminho data driven precisa ter consciência disso.

O Alerta Final

Como eu sempre digo:

Pior do que não ser data driven é ACHAR que se está sendo data driven embasado em dados mentirosos.

Antes de confiar cegamente em qualquer case de sucesso faça as perguntas certas:

• ✓ O tamanho da amostra era adequado?
• ✓ O teste rodou por tempo suficiente?
• ✓ Os resultados foram analisados corretamente do ponto de vista estatístico?
• ✓ Há vieses que não foram considerados?
• ✓ O resultado seria replicável?

A dúvida saudável é sua melhor aliada quando se trata de análise de dados e experimentação.

________________________________________________________________________________

Gostou deste artigo? Compartilhe com alguém que precisa repensar aquele case de sucesso que anda compartilhando por aí.

Referências

• Science.org – Estudo de 2015 sobre replicação em psicologia
• https://science.org/
• Retraction Watch – Artigo sobre estudos de vencedores do Nobel
• https://retractionwatch.com/2017/02/20/placed-much-faith-underpowered-studies-nobel-prize-winner-admits-mistakes/
• Ron Kohavi (LinkedIn) – Propostas para melhorar cases de Testes AB
• https://www.linkedin.com/posts/ronnyk_raise-the-bar-on-shared-ab-tests-make-them-activity-6920229798602579968-xBUB/