Os dois grupos de aquisição passam a converter com menos frequência. Mesmo assim, a taxa geral aumenta para mais do triplo. Não falta nenhum evento e não há erro na conta.

Este é um funil hipotético com dois grupos que não se sobrepõem: Email e Busca. Use a mesma regra para atribuir cada entrada registrada a um único grupo nos dois períodos. São contagens ilustrativas, não resultados de clientes da Zenovay nem referências de desempenho desses canais.

Período Grupo Entradas registradas Percursos concluídos Taxa
A Email 100 20 20%
A Busca 1.900 38 2%
A Total 2.000 58 2,9%
B Email 1.000 180 18%
B Busca 1.000 15 1,5%
B Total 2.000 195 9,75%

Email cai de 20 para 18 por cento. Busca cai de 2 para 1,5 por cento. Ainda assim, a taxa geral sobe de 2,9 para 9,75 por cento, com o mesmo total de entradas.

A diferença está na composição do público: Email passa de 5 para 50 por cento das entradas. Sua taxa é menor que antes, mas continua maior que a de Busca. Levar mais tráfego para esse grupo muda o resultado agregado.

Populações de entrada diferentes convergem para um resultado medido

A taxa geral responde a outra pergunta

Esse é um exemplo do paradoxo de Simpson: a direção de uma comparação agregada pode se inverter dentro de cada subgrupo. É um efeito estatístico conhecido, não uma descoberta nova nem um defeito no cálculo.

A taxa geral pergunta qual proporção das entradas registradas naquele período concluiu o funil. As taxas dos grupos perguntam o que ocorreu dentro de Email e de Busca. O tamanho relativo dessas populações mudou, então o agregado não mantém constante a composição do público.

O segundo período realmente produz mais conclusões: 195 em vez de 58. Isso pode ser valioso para o negócio. Mas não mostra que o processo ficou mais fácil para algum dos grupos. A taxa observada caiu nos dois.

Antes de dar o crédito a uma reformulação, esclareça a afirmação: mais resultados no total, um público diferente ou melhor conversão dentro de um público comparável.

Mantenha fixa a composição do público

Uma verificação descritiva útil escolhe uma composição de referência e a aplica às taxas dos grupos nos dois períodos. Aqui usamos a do período A: 5 por cento Email e 95 por cento Busca.

Para o período B, a conta é: 0,05 × 18% + 0,95 × 1,5% = 2,325%.

Período Taxa geral observada Taxa com a composição do período A
A 2,9% 2,9%
B 9,75% 2,325%

Com a composição fixa, a taxa cai. Isso separa a mudança no peso dos grupos das mudanças nas taxas de cada grupo.

Escolha e documente a população de referência antes de avaliar o resultado. Use os mesmos grupos, sem sobreposição, nos dois períodos. Se um grupo não tiver entradas observadas em um período, sua taxa é indefinida; não transforme silenciosamente essa ausência em zero.

Esta consulta PostgreSQL permite reproduzir a conta. Ela usa apenas as quatro linhas hipotéticas por grupo da primeira tabela:

WITH sample(period, segment, entries, completions) AS (
  VALUES ('A', 'Email', 100, 20),
         ('A', 'Search', 1900, 38),
         ('B', 'Email', 1000, 180),
         ('B', 'Search', 1000, 15)
), rates AS (
  SELECT *, completions::numeric / entries AS rate
  FROM sample
), baseline AS (
  SELECT segment,
         entries::numeric / SUM(entries) OVER () AS weight
  FROM sample WHERE period = 'A'
)
SELECT r.period,
       ROUND(100.0 * SUM(r.completions) / SUM(r.entries), 3)
         AS observed_pct,
       ROUND(100.0 * SUM(r.rate * b.weight), 3)
         AS fixed_mix_pct
FROM rates r JOIN baseline b USING (segment)
GROUP BY r.period ORDER BY r.period;

Reponderar responde a uma pergunta de comparação. Não estabelece o que uma reformulação causou nem prevê exatamente como um público futuro vai se comportar.

As taxas por etapa têm seu próprio denominador

O mesmo cuidado vale dentro de um funil. Suponha que 1.000 entradas registradas gerem 400 cadastros e 100 conclusões finais. A taxa geral é de 10 por cento. Do cadastro à conclusão é de 25 por cento. As duas contas estão certas porque usam denominadores diferentes.

Na Zenovay, a taxa geral compara conclusões registradas com entradas registradas. Para transições após a primeira etapa, o detalhamento usa a etapa anterior como denominador. Leia cada taxa com suas contagens e seu alcance.

Pessoas, sessões, entradas no funil e ocorrências de eventos são unidades distintas. Alguém pode voltar várias vezes ou repetir uma ação. Uma entrada registrada não é um indivíduo verificado. Mantenha a unidade explícita ao comparar relatórios.

Um caminho com alcances distintos para uma etapa e para o percurso inteiro

Mantenha as definições e a janela de observação

Um denominador menor também pode elevar a taxa sem acrescentar uma única conclusão: 100 de 1.000 são 10 por cento; 100 de 500 são 20 por cento. Aproximar o ponto de entrada do checkout muda a medição, mesmo que o relatório mantenha o nome.

Use a mesma regra de entrada, evento final, unidade de contagem e definição dos grupos. Registre mudanças nas regras de URL ou nas etapas, e estabeleça uma nova referência quando o significado da medida mudar.

O tempo também importa. Quem entrou ontem teve menos oportunidade de concluir uma jornada longa que quem entrou há duas semanas. Para comparar coortes, escolha um período de entrada e uma janela fixa de acompanhamento; espere até que os dois grupos cheguem a esse ponto. Um relatório de eventos por data e outro que acompanha os participantes são visões diferentes.

É um método de comparação de coortes, não a afirmação de que todo relatório de funil oferece esse controle.

Janelas de observação iguais começando em pontos de entrada diferentes

O que esta conta mostra e o que continua aberto

A tabela demonstra uma inversão na agregação. Não demonstra por que a taxa de algum grupo mudou. As taxas observadas também podem variar por acaso, sobretudo quando as contagens são pequenas.

Defina previamente os segmentos relevantes para a decisão. Mostre entradas e conclusões junto aos percentuais. Afirmar que uma mudança no produto causou uma melhora exige um experimento adequado ou outro desenho causal defensável. Um relatório segmentado de antes e depois, sozinho, não fornece essa evidência.

Uma conclusão verificável seria: “As conclusões subiram de 58 para 195 com 2.000 entradas registradas em cada período. As taxas dos dois grupos caíram, enquanto a parcela de Email subiu de 5 para 50 por cento. Mantendo fixa a composição do período A, a taxa de B fica em 2,325 por cento, contra 2,9 por cento antes.”

Isso ajuda mais que “a conversão melhorou”. Mostra o que mudou, qual comparação melhorou e qual pergunta ainda precisa de uma resposta.