Una cuenta nueva es una notificación alentadora. También es una prueba muy pequeña.
Para un producto de análisis, alguien puede crear una cuenta, agregar un sitio web, copiar un script y aún así nunca ver una visita desde su propio sitio. Considerar el primer paso como éxito oculta todo el trabajo entre registrarse y obtener algo útil.
Nuestra auditoría de activación de julio comenzó con esa brecha. Las notas de trabajo sugirieron que aproximadamente la mitad de las cuentas gratuitas nominales no habían creado un sitio web. Sin embargo, las notas indicaban que parte de los datos iniciales eran estimaciones y mezclaban cuentas internas, de prueba y externas. Eso es suficiente para empezar a investigar. No basta con publicar una tasa de conversión precisa.
Este análisis trata sobre lo que podemos establecer: las etapas que debemos separar, las verificaciones de instalación que realiza el código actual y la evidencia necesaria antes de llamar a un cambio de incorporación como una mejora.
Tres pasos que nunca deberían compartir una misma etiqueta
La creación de cuenta nos dice que alguien completó el registro. La creación del sitio web nos dice que configuraron un objeto en el producto. Un primer evento registrado nos dice que los datos llegaron al canal de análisis de ese sitio web.
Esos son hitos diferentes. Ninguno, por sí solo, prueba que la persona entendió el informe o que regresará la próxima semana.
Para esta auditoría, el primer punto de control técnico útil es un evento real registrado en el sitio web previsto. Esto es más limitado que la activación del producto, pero mucho más fácil de verificar que una etiqueta vaga como “configuración completa”.
Alguien que no tiene un sitio web necesita ayuda con la decisión de configuración. Alguien con un sitio web y sin eventos necesita un diagnóstico de instalación. Alguien con eventos que nunca regresa puede tener un problema diferente: el informe no respondió una pregunta por la que vale la pena volver. Enviar el mismo recordatorio a las tres personas supone el diagnóstico antes de realizarlo.
Lea la implementación, no solo la puntuación
La función de puntuación de activación actual de Zenovay evalúa cuatro hitos: un indicador de instalación de script, un primer evento dentro de las 24 horas posteriores a la creación del sitio web, una conexión de Stripe dentro de los siete días posteriores a la creación del equipo y un inicio de sesión de regreso después del primer día y dentro de los catorce días posteriores a la creación del equipo. Cada hito alcanzado aporta 25 puntos.
La función cuenta los hitos alcanzados de forma independiente. No es necesario que alguien complete una secuencia estricta antes de que los hitos posteriores puedan contar. Ese detalle es importante a la hora de interpretar una puntuación: dos cuentas pueden alcanzar el mismo total mediante un comportamiento diferente.
Un primer evento que llega después de 24 horas tampoco cumple con el hito de tiempo limitado, aunque el seguimiento ahora funciona. “Se perdió la ventana de activación” y “la instalación no funciona” necesitan respuestas diferentes.
Anteriormente escribimos sobre un indicador de instalación que no reflejaba la actividad subyacente. La lección más amplia todavía se aplica: una puntuación resume sus aportaciones. No puede decirle si esos aportes son confiables.
Un gráfico vacío tiene varias causas posibles
La ruta de seguimiento actual verifica el origen de la solicitud con los dominios permitidos del sitio web. Si no existe una lista explícita, vuelve al dominio registrado. Un origen no coincidente se puede rechazar en producción cuando la verificación de dominio está habilitada.
También hay una excepción localhost explícita controlada por la configuración allow_localhost del sitio web. Esa excepción pertenece a la verificación de dominio. No es una promesa de que cada prueba local produzca un evento almacenado: aún se aplican otras comprobaciones.
Por eso “pegué el script” es el comienzo de la verificación, no el final. Verifique el nombre de host de la página real, el sitio web configurado, la respuesta de la red del navegador y si se registró un evento. Utilice una visita real al navegador para el recorrido del usuario que está probando.
No debilite un control de seguridad simplemente para que un indicador de configuración se vuelva verde. Primero busque la solicitud rechazada y comprenda por qué fue rechazada. La solución puede estar en la configuración, las instrucciones de instalación o el mensaje de error.
Cuente personas y sitios web por separado
Restar la cantidad de sitios web de la cantidad de registros no da la cantidad de personas que abandonaron la incorporación. Una persona puede crear varios sitios web. Un colega puede unirse a un equipo existente sin crear ninguno. Las cuentas de prueba pueden distorsionar una muestra pequeña.
Un informe de cohorte útil comienza con un conjunto definido de cuentas o equipos elegibles y sigue ese mismo conjunto a lo largo de las etapas. Elija la unidad, las exclusiones y la ventana de observación antes de calcular el porcentaje.
Por ejemplo, un informe de nuevos propietarios de equipos podría preguntar si cada propietario creó al menos un sitio web y si alguno de esos sitios web recibió un primer evento que cumpla los criterios dentro de un período fijo. Cuente cada propietario una vez. Informe los recuentos subyacentes, así como el porcentaje. Mantenga las invitaciones y las pruebas internas separadas.
Se trata de un contrato de medición propuesto, no de una afirmación de que la estimación histórica de julio ya lo siguió.
¿Qué se consideraría una mejora?
Antes de comparar dos versiones de incorporación, dé a ambas cohortes la misma cantidad de tiempo para llegar al punto de control. Una cohorte de ayer no puede compararse con otra que ha tenido dos semanas para terminar de configurarse.
Realice un seguimiento del paso que falta, no solo del total final. ¿Crearon más propietarios elegibles un sitio web? ¿Más de esos sitios web recibieron un evento? ¿La gente regresó después de tener datos? Registre qué cambios se enviaron entre cohortes y mantenga a la vista las fuentes de adquisición.
No pretendemos que este análisis haya producido una mejora medida. Una revisión de las fuentes puede mostrar cómo funciona una verificación e identificar un posible obstáculo. No puede establecer por qué cada persona se fue, ni demostrar que eliminar un paso provocó que más personas se quedaran.
La próxima vez que llegue una notificación de registro, el seguimiento útil es simple: ¿esa persona obtuvo datos de su propio sitio web y le ayudó a hacer algo? Hasta que podamos responder a eso, el recuento de cuentas es sólo el comienzo de la historia.
