Ein hypothetisches Beispiel: Letzte Woche haben 80 von 1.000 teilnahmeberechtigten Besuchern innerhalb von 24 Stunden nach dem Aufruf der Preisseite ein Konto erstellt. Diese Woche waren es 50 von 1.000. Die Registrierungsrate sank von 8 % auf 5 %.
Ein Analysebericht zeigt, in welchen Segmenten die Rate sank und an welcher Stelle weniger Besucher zum nächsten Schritt gelangten. Er sagt nicht, was mit einer anderen Seite passiert wäre. Dazu brauchen Sie eine konkrete Änderung und eine Möglichkeit, das Ergebnis zu vergleichen.
Prüfen, wo der Rückgang beginnt
Gleichen Sie zunächst die erfassten Registrierungen mit den Kontodaten auf dem Server ab. Werden weiterhin Konten erstellt, aber das Analyseereignis kommt nicht mehr an, liegt ein Messproblem vor. Ein neuer Text auf der Preisseite würde daran nichts ändern.
Angenommen, die Kontodaten bestätigen den Rückgang. Auf Mobilgeräten erreichen weniger Besucher das Registrierungsformular. Wer es erreicht, schliesst es aber ungefähr so häufig ab wie zuvor. Vergleichen Sie auch innerhalb derselben Trafficquellen. Mehr Besucher aus einer Kampagne mit geringer Registrierungsabsicht können die Gesamtrate drücken, selbst wenn sich die Seite für vergleichbare Besucher nicht anders verhält.
Testen Sie dann die Seite auf den betroffenen Geräten. Angenommen, eine kürzliche Layoutänderung hat den Registrierungsbutton auf schmalen Bildschirmen unter eine lange Funktionstabelle verschoben. Daraus ergibt sich eine prüfbare Hypothese: Steht der vorhandene Button oberhalb der Tabelle, erreichen mehr mobile Besucher das Formular. Die Trichteranalyse hat die Stelle eingegrenzt. Der Test am Gerät hat eine konkrete Änderung geliefert.
Eine Änderung prüfen und veröffentlichen
Verschieben Sie den Button. Lassen Sie Beschriftung, Preise und Formular unverändert. Eine zweite Person sollte den Diff prüfen, beide Layouts bei den betroffenen Bildschirmgrössen ausprobieren und bestätigen, dass beide Varianten beim Erstellen eines Kontos dasselbe Ereignis erfassen. Halten Sie die Veröffentlichung und den Weg zum Abschalten der Variante fest.
KI kann eine Abfrage entwerfen, die die Trichterschritte nach Gerät und Trafficquelle vergleicht. Prüfen Sie vor der Ausführung, ob sie jeden teilnahmeberechtigten Besucher einmal zählt und die Kontoerstellung in beiden Wochen demselben 24-Stunden-Fenster zuordnet. Eine plausibel klingende Abfrage, die Registrierungen durch Seitenaufrufe teilt, kann die Untersuchung in die falsche Richtung lenken. KI kann auch den kleinen Patch vorschlagen. Ein Mensch muss das Problem am Gerät nachvollziehen und entscheiden, ob der Patch es behebt.
Mixpanels Beispiel für Closed-Loop-Analytics zeigt, wie ein Marketingteam aus der weiteren Bearbeitung seiner Leads im Vertrieb lernt. Die Rückmeldung gibt dem Team einen Grund, die Landingpage zu ändern. Übertragen Sie dieses Prinzip auf die Änderung: Halten Sie fest, welche Variante ein Besucher gesehen und ob er anschliessend ein Konto erstellt hat. Sonst liegen Erkenntnis und Veröffentlichung wieder in getrennten Dokumenten.
Zenovays Growth Engine hat eine interne Ops-Ansicht, die laufende Messungen und erfasste Ergebnisse schreibgeschützt anzeigt. Sie zeigt, wo ein solcher Messverlauf dokumentiert werden kann. Die Änderung an der Preisseite in diesem Beispiel veröffentlicht sie nicht.
Prüfen, ob der Button geholfen hat
Wenn genug Traffic vorhanden ist, weisen Sie teilnahmeberechtigte mobile Besucher zufällig dem alten oder dem neuen Layout zu. Bei einem späteren Besuch behalten sie ihre Variante. Zählen Sie alle zugewiesenen Besucher, auch diejenigen, die den Button nie anklicken. Sonst entfernen Sie gerade die Personen aus dem Nenner, denen die Änderung helfen sollte.
Legen Sie vor dem Start fest, wie lange der Test läuft, welche Verbesserung das Beibehalten der Änderung rechtfertigt und bei welchen Nachteilen Sie vorzeitig abbrechen. Warten Sie mit der Auswertung, bis auch für die zuletzt zugewiesenen Besucher das 24-Stunden-Fenster abgelaufen ist.
Angenommen, die Registrierungsrate der gesamten Website steigt nach der Veröffentlichung. Im mobilen Test erstellen mit dem alten Layout 25 von 500 Besuchern ein Konto, mit dem neuen 35 von 500. Das sind 5 % gegenüber 7 %, ein geschätzter Gewinn von zwei Prozentpunkten. Unter einer einfachen Näherung mit unabhängigen Binomialverteilungen reicht das 95-%-Intervall für die Differenz ungefähr von −0,9 bis +4,9 Prozentpunkten. Die Daten sind sowohl mit einem kleinen Rückgang als auch mit einer nützlichen Verbesserung vereinbar. Die Erholung auf der gesamten Website macht das Intervall nicht enger.
Wenn kein gleichzeitiger Vergleich möglich ist, dokumentieren Sie, was sich im selben Zeitraum sonst geändert hat, und beschreiben Sie das Ergebnis als Vorher-nachher-Beobachtung. Haben mehr Besucher das Formular erreicht, ohne dass die Zahl abgeschlossener Registrierungen klar gestiegen ist, halten Sie beides fest. Wer den Bericht als Nächstes öffnet, sollte verstehen, warum der Button verschoben wurde, was danach passierte und warum er dort blieb oder zurückverschoben wurde.
