Autor convidado: Rafael Damasceno, líder de experimentação na LawnStarter e advisor da Métricas Boss.
Faz uns meses que eu venho montando uma skill do Claude aqui na LawnStarter para uma coisa específica: fortalecer o nosso programa de experimentação. A ideia é que qualquer pessoa da empresa chegue com uma ideia e saia com um experimento pronto para rodar.
As melhores ideias nascem nos times, e eu queria puxar essas ideias para dentro do nosso programa de experimentação. O problema é que ele tem poucos meses de vida. O pessoal ainda está pegando o jeito das práticas que fazem um teste A/B ser confiável de verdade, e eu não queria que isso segurasse ninguém.
Também não queria ser o gargalo. Sinceramente? Era exatamente o que eu estava virando.
Hoje qualquer pessoa chama a skill e descreve a ideia do jeito que falaria comigo no corredor:
“Eu gostaria de deixar a nossa garantia de devolução do dinheiro mais visível na landing page do Google Ads para ver se melhora a conversão de leads.”
Daí em diante, a skill cuida das partes em que normalmente alguém ia me chamar no Slack.
Checar a evidência
Ela vasculha o nosso data warehouse, o feedback de clientes e os docs de discovery atrás de sinais que sustentem ou derrubem a ideia.
Se aparece muita evidência a favor, a ideia sobe na fila de priorização. Se aparece evidência contra, a conversa muda: a gente refina ou abandona. Melhor descobrir isso em dez minutos do que depois de duas sprints.
Checar se dá para aprender alguma coisa
Com o tráfego disponível e a duração planejada, qual o menor efeito que a gente consegue detectar?
Se a resposta é um lift de 50%, aquela mudancinha de copy provavelmente não vale o tráfego. A skill avisa isso antes de qualquer um gastar tempo construindo nada. Dói ouvir, mas dói menos do que três semanas de teste inconclusivo.
Ajudar as pessoas a ficarem melhores em CRO
Toda hipótese precisa de um se, então, porque. E o porque tem que sair de um sinal real dos nossos clientes ou do nosso site. “Porque é boa prática” não cola, a skill barra.
Tem também uma biblioteca com 18 princípios comportamentais, de Lei de Hick a aversão à perda, passando por prova social e Lei de Fitts, para o pessoal conseguir explicar por que a mudança faria sentido.
Cuidar da documentação
Confesso que essa é a parte que me deixa mais feliz.
A skill usa as nossas definições de métricas e etapas de funil, então “lead” quer dizer a mesma coisa em todos os testes, até na forma de consultar o dado. E cada hipótese já nasce com mais de 20 pontos de dados e cinco documentos preenchidos.
Como todo experimento entra no programa por ela, a documentação nasce junto com a ideia. Manualmente, essa consistência não ia durar um mês.
Ajudar a desenhar a mudança
Outras skills cuidam das fases seguintes do teste, mas esta já ajuda a pessoa a rabiscar as primeiras variações. Ela olha os testes que já rodaram para ver o que funcionou e o que flopou, e ainda puxa o MCP do Mobbin para mostrar como outros produtos resolveram problemas parecidos.
O que isso muda na prática
Ainda falta bastante coisa para construir. Mas para mim o ponto principal de um programa de experimentação é esse: o conhecimento de CRO não pode morar na cabeça de uma pessoa só. Quando evidência, conta de poder estatístico, hipótese bem escrita e documentação viram o caminho padrão, ninguém precisa pedir benção para testar.
Eu não virei gargalo. Virei infraestrutura.
Sobre o autor
Rafael Damasceno é líder de experimentação na LawnStarter e advisor da Métricas Boss. Perfil de Rafael Damasceno no LinkedIn.