Uma nova conta é uma notificação encorajadora. É também uma evidência muito pequena.
Para um produto analítico, alguém pode criar uma conta, adicionar um site, copiar um script e ainda assim nunca ver uma visita de seu próprio site. Considerar o primeiro passo como sucesso esconde todo o trabalho entre a inscrição e a obtenção de algo útil.
Nossa auditoria de ativação de julho começou com essa lacuna. As notas de trabalho sugeriam que cerca de metade das contas nominais gratuitas não tinham criado um site. Mas as notas indicavam que parte dos dados iniciais era estimada e misturavam contas internas, de teste e externas. Isso é o suficiente para começar a investigar. Não basta publicar uma taxa de conversão precisa.
Esta análise é sobre o que podemos estabelecer: os estágios que precisamos separar, as verificações de instalação feitas pelo código atual e as evidências necessárias antes de chamar uma mudança de integração de melhoria.
Três etapas que nunca devem compartilhar um rótulo
A criação da conta nos informa que alguém concluiu o registro. A criação do site nos informa que eles configuraram um objeto no produto. Um primeiro evento registrado nos informa que os dados chegaram ao pipeline analítico daquele site.
Esses são marcos diferentes. Nenhum, por si só, prova que a pessoa entendeu o relatório ou retornará na próxima semana.
Para esta auditoria, o primeiro ponto de verificação técnica útil é um evento real registrado para o site pretendido. Isso é mais restrito do que a ativação do produto, mas muito mais fácil de verificar do que um rótulo vago como “configuração concluída”.
Alguém sem site precisa de ajuda com a decisão de configuração. Alguém com site e sem eventos precisa de um diagnóstico de instalação. Alguém com eventos que nunca mais retorna pode ter um problema diferente: o relatório não respondeu a uma pergunta pela qual vale a pena voltar. Enviar o mesmo lembrete para as três pessoas pressupõe o diagnóstico antes de fazê-lo.
Leia a implementação, não apenas a pontuação
A atual função de pontuação de ativação da Zenovay avalia quatro marcos: um sinalizador de instalação de script, um primeiro evento dentro de 24 horas após a criação do site, uma conexão Stripe dentro de sete dias após a criação da equipe e um login de retorno após o primeiro dia e dentro de quatorze dias após a criação da equipe. Cada marco alcançado contribui com 25 pontos.
A função conta os marcos alcançados de forma independente. Não é necessário que alguém complete uma sequência estrita antes que os marcos posteriores possam contar. Esse detalhe é importante na interpretação de uma pontuação: duas contas podem atingir o mesmo total através de comportamentos diferentes.
Um primeiro evento que chega após 24 horas também falha no marco com limite de tempo, embora o rastreamento agora funcione. “Perdeu a janela de ativação” e “a instalação foi interrompida” precisam de respostas diferentes.
Escrevemos anteriormente sobre um sinalizador de instalação que não refletia a atividade subjacente. A lição mais ampla ainda se aplica: uma pontuação resume os seus dados de entrada. Ele não pode dizer se essas informações são confiáveis.
Um gráfico vazio tem várias causas possíveis
A rota de rastreamento atual verifica a origem da solicitação em relação aos domínios permitidos do site. Se não existir nenhuma lista explícita, ela retorna ao domínio registrado. Uma origem incompatível pode ser rejeitada na produção quando a verificação de domínio estiver habilitada.
Há também uma exceção localhost explícita controlada pela configuração allow_localhost do site. Essa exceção pertence à verificação de domínio. Não é uma promessa que todo teste local produzirá um evento armazenado: outras verificações ainda se aplicam.
É por isso que “colei o script” é o início da verificação, não o fim. Verifique o nome do host da página real, o site configurado, a resposta da rede do navegador e se um evento foi registrado. Use uma visita real ao navegador para a jornada do usuário que você está testando.
Não enfraqueça uma verificação de segurança simplesmente para fazer um indicador de configuração ficar verde. Primeiro encontre a solicitação rejeitada e entenda por que ela foi rejeitada. O reparo útil pode ser a configuração, as instruções de instalação ou a mensagem de erro.
Conte pessoas e sites separadamente
Subtrair o número de sites do número de inscrições não dá o número de pessoas que abandonaram a integração. Uma pessoa pode criar vários sites. Um colega pode ingressar em uma equipe existente sem criar nenhuma. As contas de teste podem distorcer uma pequena amostra.
Um relatório de coorte útil começa com um conjunto definido de contas ou equipes qualificadas e segue esse mesmo conjunto ao longo dos estágios. Escolha a unidade, as exclusões e a janela de observação antes de calcular a porcentagem.
Por exemplo, um relatório de novos proprietários de equipes poderia perguntar se cada proprietário criou pelo menos um site e se algum desses sites recebeu um primeiro evento de qualificação dentro de um período fixo. Conte cada proprietário uma vez. Relate as contagens subjacentes, bem como a porcentagem. Mantenha os convites e os testes internos separados.
Trata-se de uma proposta de contrato de medição, e não de uma afirmação de que a estimativa histórica de julho já o seguiu.
O que contaria como uma melhoria?
Antes de comparar duas versões de integração, dê a ambos os grupos o mesmo tempo para chegar ao ponto de verificação. Um grupo de ontem não pode ser comparado de forma justa com outro que teve duas semanas para terminar a configuração.
Acompanhe a etapa que falta, não apenas o total final. Mais proprietários qualificados criaram um site? Mais desses sites receberam um evento? As pessoas retornaram depois de terem os dados? Registre quais alterações foram enviadas entre coortes e mantenha as fontes de aquisição à vista.
Não estamos afirmando que esta análise demonstrou um aumento na ativação. Uma revisão da fonte pode mostrar como funciona uma verificação e identificar um obstáculo plausível. Não é possível estabelecer por que todas as pessoas saíram, nem provar que a remoção de uma etapa fez com que mais pessoas permanecessem.
Na próxima vez que uma notificação de inscrição chegar, o acompanhamento útil será simples: essa pessoa obteve dados de seu próprio site e isso a ajudou a fazer alguma coisa? Até que possamos responder a isso, a contagem de contas é apenas o começo da história.
