Die Nachricht über ein neues Konto freut uns. Sie sagt aber noch wenig darüber aus, ob jemand das Produkt erfolgreich nutzt.
Für ein Analyseprodukt kann jemand ein Konto erstellen, eine Website hinzufügen, ein Skript kopieren und trotzdem nie einen Besuch von seiner eigenen Website sehen. Wenn man den ersten Schritt als Erfolg betrachtet, verbirgt sich die ganze Arbeit zwischen der Anmeldung und dem Erhalt von etwas Nützlichem.
Unser Aktivierungsaudit im Juli begann mit dieser Lücke. Den Arbeitsnotizen zufolge hatte etwa die Hälfte der nominell kostenlosen Konten keine Website erstellt. Die Notizen kennzeichneten Teile der Ausgangsdaten jedoch als Schätzungen. Außerdem vermischten sie interne Konten, Testkonten und externe Nutzer. Das reicht aus, um mit der Untersuchung zu beginnen. Es reicht nicht aus, eine genaue Conversion-Rate zu veröffentlichen.
Bei diesem Analyse geht es darum, was wir feststellen können: die Phasen, die wir trennen müssen, die Installationsprüfungen, die der aktuelle Code durchführt, und die erforderlichen Nachweise, bevor wir eine Onboarding-Änderung als Verbesserung bezeichnen können.
Drei Schritte, die niemals unter einem Etikett zusammengefasst werden sollten
Durch die Kontoerstellung erfahren wir, dass jemand die Registrierung abgeschlossen hat. Bei der Website-Erstellung erfahren wir, dass ein Objekt im Produkt konfiguriert wurde. Ein erstes aufgezeichnetes Ereignis zeigt uns, dass Daten die Analysepipeline dieser Website erreicht haben.
Das sind verschiedene Meilensteine. Keiner für sich allein beweist, dass die Person den Bericht verstanden hat oder nächste Woche zurückkommen wird.
Bei diesem Audit ist der erste nützliche technische Prüfpunkt ein reales Ereignis, das für die beabsichtigte Website aufgezeichnet wurde. Das ist enger gefasst als die Produktaktivierung, aber viel einfacher zu überprüfen als eine vage Bezeichnung wie „Setup abgeschlossen“.
Jemand ohne Website benötigt Hilfe bei der Einrichtungsentscheidung. Jemand mit einer Website und keinen Ereignissen benötigt eine Installationsdiagnose. Wer bereits Ereignisse empfängt, aber nicht zurückkehrt, hat möglicherweise ein anderes Problem: Der Bericht hat eine Frage nicht beantwortet, für die es sich lohnt, zurückzukommen. Allen dieselbe Erinnerung zu schicken, nimmt die Diagnose vorweg.
Lesen Sie die Implementierung, nicht nur die Punktzahl
Die aktuelle Aktivierungsbewertungsfunktion von Zenovay bewertet vier Meilensteine: eine Skriptinstallationsmarkierung, ein erstes Ereignis innerhalb von 24 Stunden nach der Website-Erstellung, eine Stripe-Verbindung innerhalb von sieben Tagen nach der Teamerstellung und eine erneute Anmeldung nach dem ersten Tag und innerhalb von vierzehn Tagen nach der Teamerstellung. Jeder erreichte Meilenstein trägt 25 Punkte bei.
Die Funktion zählt die erreichten Meilensteine unabhängig voneinander. Es ist nicht erforderlich, dass jemand eine strenge Reihenfolge einhält, bevor spätere Meilensteine gezählt werden können. Dieses Detail ist bei der Interpretation einer Punktzahl wichtig: Zwei Konten können durch unterschiedliches Verhalten die gleiche Summe erreichen.
Ein erstes Ereignis, das nach 24 Stunden eintrifft, verfehlt ebenfalls den zeitlich begrenzten Meilenstein, obwohl die Nachverfolgung jetzt funktioniert. „Aktivierungsfenster verpasst“ und „Installation ist fehlerhaft“ erfordern unterschiedliche Antworten.
Wir haben zuvor über ein Installationsflag, das die zugrunde liegende Aktivität nicht widerspiegelte geschrieben. Die umfassendere Lektion gilt weiterhin: Ein Score fasst seine Eingaben zusammen. Er kann nicht beurteilen, ob diese Eingaben verlässlich sind.
Ein leeres Diagramm hat mehrere mögliche Ursachen
Die aktuelle Tracking-Route prüft den Anfrageursprung anhand der zulässigen Domänen der Website. Wenn keine explizite Liste vorhanden ist, wird auf die registrierte Domäne zurückgegriffen. Ein nicht übereinstimmender Ursprung kann in der Produktion abgelehnt werden, wenn die Domänenüberprüfung aktiviert ist.
Es gibt auch eine explizite Localhost-Ausnahme, die durch die allow_localhost-Einstellung der Website gesteuert wird. Diese Ausnahme gehört zur Domänenprüfung. Es ist kein Versprechen, dass jeder lokale Test ein gespeichertes Ereignis erzeugt: Andere Prüfungen gelten weiterhin.
Aus diesem Grund ist „Ich habe das Skript eingefügt“ der Anfang und nicht das Ende der Überprüfung. Überprüfen Sie den tatsächlichen Hostnamen der Seite, die konfigurierte Website, die Netzwerkantwort des Browsers und ob ein Ereignis aufgezeichnet wurde. Verwenden Sie einen echten Browserbesuch für die User Journey, die Sie testen.
Schwächen Sie eine Sicherheitsüberprüfung nicht, nur damit eine Setup-Anzeige grün wird. Suchen Sie zunächst nach der abgelehnten Anfrage und verstehen Sie, warum sie abgelehnt wurde. Die nützliche Reparatur kann die Konfiguration, die Installationsanweisungen oder die Fehlermeldung sein.
Zählen Sie Personen und Websites getrennt
Wenn man die Anzahl der Websites von der Anzahl der Anmeldungen abzieht, erhält man nicht die Anzahl der Personen, die das Onboarding abgebrochen haben. Eine Person kann mehrere Websites erstellen. Ein Kollege kann einem bestehenden Team beitreten, ohne eines zu erstellen. Testkonten können eine kleine Stichprobe verfälschen.
Ein nützlicher Kohortenbericht beginnt mit einer definierten Gruppe berechtigter Konten oder Teams und folgt dieser Gruppe durch die einzelnen Phasen. Wählen Sie die Einheit, die Ausschlüsse und das Beobachtungsfenster aus, bevor Sie den Prozentsatz berechnen.
Beispielsweise könnte in einem Bericht über neue Teambesitzer gefragt werden, ob jeder Besitzer mindestens eine Website erstellt hat und ob eine dieser Websites innerhalb eines festgelegten Zeitfensters ein qualifizierendes erstes Event erhalten hat. Zählen Sie jeden Besitzer einmal. Geben Sie die zugrunde liegenden Zählungen sowie den Prozentsatz an. Halten Sie Einladungen und interne Tests getrennt.
Dabei handelt es sich um einen vorgeschlagenen Messkonzept und nicht um die Behauptung, dass die historische Juli-Schätzung diesem bereits gefolgt sei.
Was würde als Verbesserung gelten?
Bevor Sie zwei Onboarding-Versionen vergleichen, geben Sie beiden Kohorten die gleiche Zeit bis zum Erreichen des Kontrollpunkts. Eine Kohorte von gestern kann nicht mit einer Kohorte verglichen werden, die zwei Wochen Zeit hatte, die Einrichtung abzuschließen.
Verfolgen Sie den fehlenden Schritt, nicht nur die Endsumme. Haben mehr berechtigte Eigentümer eine Website erstellt? Haben mehr dieser Websites ein Ereignis erhalten? Sind die Leute zurückgekehrt, nachdem sie Daten hatten? Zeichnen Sie auf, welche Änderungen zwischen den Kohorten erfolgt sind, und behalten Sie die Akquisitionsquellen im Blick.
Wir versprechen uns von diesem Analyse keinen spürbaren Aufschwung. Eine Quellenprüfung kann zeigen, wie eine Prüfung funktioniert und ein plausibles Hindernis identifizieren. Es kann nicht festgestellt werden, warum alle Menschen gegangen sind, und es kann auch nicht nachgewiesen werden, dass das Entfernen einer Stufe dazu geführt hat, dass mehr Menschen geblieben sind.
Wenn das nächste Mal eine Anmeldebenachrichtigung eintrifft, ist die nützliche Nachverfolgung einfach: Hat diese Person Daten von ihrer eigenen Website erhalten und haben diese Daten ihr bei einer konkreten Aufgabe geholfen? Bis wir das beantworten können, ist die Zahl der Konten nur der Anfang der Geschichte.
