Imagine um caso hipotético. Na semana passada, 80 de 1.000 visitantes elegíveis criaram uma conta em até 24 horas depois de abrir a página de preços. Nesta semana, foram 50 de 1.000. A taxa de cadastro caiu de 8% para 5%.
Um relatório pode mostrar em quais segmentos a taxa caiu e em que etapa menos visitantes seguiram adiante. Ele não diz o que teria acontecido com uma página diferente. Para descobrir, você precisa mudar algo e preparar uma forma de comparar o resultado.
Confira onde a queda começa
Primeiro, compare os cadastros registrados com os dados de contas no servidor. Se as contas continuam sendo criadas, mas o evento de análise deixou de chegar, o problema é de medição. Mudar o texto da página de preços não resolve isso.
Suponha que os dados de contas confirmem a queda. No celular, menos visitantes chegam ao formulário, mas quem chega conclui o cadastro quase na mesma proporção de antes. Compare também dentro de cada origem de tráfego. Uma campanha que traga mais pessoas com pouca intenção de se cadastrar pode derrubar a taxa geral mesmo que a página não tenha piorado para visitantes comparáveis.
Depois, teste a página nos dispositivos afetados. Imagine que uma mudança recente de layout tenha colocado o botão de cadastro abaixo de uma longa tabela de recursos em telas estreitas. Surge uma hipótese que você pode testar: se o botão ficar acima da tabela, mais visitantes no celular chegarão ao formulário. O funil indicou onde procurar. O teste no dispositivo sugeriu o que mudar.
Revise e publique uma única mudança
Mova o botão sem alterar seu texto, os preços ou o formulário. Peça a alguém que revise o diff, teste os dois layouts nos tamanhos de tela afetados e confirme que ambos registram o mesmo evento de criação de conta. Anote quando a mudança entrou no ar e como desativar a variante.
A IA pode preparar uma consulta que compare as etapas do funil por dispositivo e origem de tráfego. Antes de rodá-la, confira se ela conta cada visitante elegível uma vez e associa a criação da conta à mesma janela de 24 horas nas duas semanas. Uma consulta aparentemente correta que divide cadastros por visualizações de página pode levar você a investigar o problema errado. A IA também pode sugerir o pequeno ajuste no código. Quem revisa ainda precisa reproduzir o problema no dispositivo e decidir se o ajuste o resolve.
O exemplo de análise em ciclo fechado da Mixpanel mostra uma equipe de marketing que acompanha o que acontece com seus leads depois que eles chegam ao time de vendas. Esse retorno dá à equipe um motivo para mudar a página de destino. Aplique a mesma ideia à mudança: registre qual versão cada visitante viu e se ele criou uma conta depois. Assim, a descoberta e a publicação não ficam novamente em documentos separados.
O Growth Engine da Zenovay tem uma tela interna no Ops, somente para leitura, que mostra medições em andamento e resultados registrados. É um exemplo de onde esse histórico pode ficar. A tela não publica a mudança na página de preços deste caso.
Descubra se mover o botão ajudou
Se houver tráfego suficiente, distribua aleatoriamente os visitantes elegíveis no celular entre o layout antigo e o novo. Mantenha a mesma versão quando voltarem. Conte todo mundo que recebeu uma versão, inclusive quem nunca clicou no botão. Caso contrário, você tira do denominador justamente as pessoas que a mudança deveria ajudar.
Antes de começar, defina a duração do teste, a melhora que justificaria manter a mudança e os efeitos negativos que fariam você parar antes. Espere a janela de 24 horas dos últimos visitantes fechar antes de ler os números finais.
Suponha que a taxa geral do site suba depois da publicação. No teste para celular, 25 de 500 visitantes criam uma conta com o layout antigo, ante 35 de 500 com o novo. São 5% contra 7%, um ganho estimado de dois pontos percentuais. Com uma aproximação simples para duas proporções binomiais independentes, o intervalo de 95% para a diferença vai de cerca de −0,9 a +4,9 pontos percentuais. Os dados admitem tanto uma pequena queda quanto uma melhora útil. A recuperação geral do site não estreita esse intervalo.
Se não for possível comparar as duas versões ao mesmo tempo, registre o que mais mudou no período e descreva o resultado como uma observação de antes e depois. Se mais visitantes chegaram ao formulário sem uma melhora clara na criação de contas, registre os dois fatos. A próxima pessoa que abrir o relatório precisa entender por que você moveu o botão, o que aconteceu e por que ele ficou ali ou voltou ao lugar anterior.
