アイデアから結果まで4ステップ
実験はダッシュボードの「ドメイン > 対象サイト > 実験」にあります。
成功指標を選ぶ
すでに計測しているゴールの1つを、実験を評価する指標として選びます。新しい計測実装も、コンバージョンの定義をもう一度作り直す必要もありません。
バリアントを追加する
2つ以上のバリアントを作成し、トラフィックの配分を決めます。1つのバリアントがコントロールとなり、他のすべてはそれと比較されます。
問題がなければ開始する
実験はまず下書きとして保存されるため、1人の訪問者が割り当てられる前に配分と指標を確認できます。準備ができたら開始してください。
結果を読み取る
バリアントごとのコンバージョン率、コントロールに対する改善幅の信頼区間、そしてテスト期間中の推移を確認できます。
実際に得られるもの
約束された成果ではなく、具体的な上限と出力です。
実験機能
実験エンジンが担うこと、そしてあなたに求められる2つのこと。
決定論的なバリアント割り当て
各訪問者は、訪問者IDと実験のハッシュを用いてトラッカーがバリアントに割り当てます。同じ訪問者はすべてのページ、再訪問時も同じバリアントのままなので、体験の途中でレイアウトが切り替わることはありません。割り当てはブラウザ内で計算されるため、追加のネットワーク往復もサーバーの判定待ちによるちらつきもありません。A/B/nにも対応しており、必要な数だけバリアントを追加し、それぞれにトラフィックの配分を設定できます。
既存のゴールと連動
成功指標は既存のゴールなので、実験はダッシュボードの他の画面と同じコンバージョンデータを読み取ります。2つのツールで数字が食い違うことはありません。
頻度論的な統計
バリアントごとのコンバージョン率と、コントロールに対する改善幅の95%信頼区間を表示します。差がまだノイズの範囲内かどうかを判断できます。
結果の時系列推移
累計の数字だけでなく、各バリアントの日ごとの成績を確認できます。特定の変則的な1週間だけで生まれた結果を見逃しません。
1行のJavaScript
訪問者がどのバリアントかはZenovayが判定し、それをサイト側で適用します。見出しやボタン、レイアウトを差し替える小さなJavaScriptが必要です。ビジュアルエディタはありません。
A/Bテストはどのプランに含まれますか？
A/BテストはPro以上で利用でき、Proプランでは最大5つの実験を同時に実行できます。無料プランには含まれません。
実験の実施にエンジニアは必要ですか？
実験の作成、開始、結果の確認はすべてダッシュボードで完結します。ただしバリアントをページに適用するには、サイト側に1行のJavaScriptが必要です。Zenovayは訪問者がどのバリアントかを伝えますが、ページ自体を書き換えることはしません。
クッキーレスモードではどう動作しますか？
クッキーレスモードでは永続的な訪問者識別子がないため、バリアントの割り当てはブラウザのタブ単位となり、タブを閉じるとリセットされます。同じ人が後のセッションで別のバリアントを見る場合があります。セッションをまたいで割り当てを維持したい場合は、クッキーベースの識別を有効にしたサイトで実験を実施してください。