二つの流入グループで、どちらもコンバージョン率が下がっています。それなのに全体の割合は三倍以上になります。イベントの欠落も計算ミスもありません。
次は、メールと検索という重複しない二つのグループを使った仮のファネルです。両期間で同じルールを使い、記録された各流入を一方のグループだけに割り当てます。説明用の数字であり、Zenovayの顧客の実績やチャネルの業界基準ではありません。
| 期間 | グループ | 記録された流入数 | 完了数 | 割合 |
|---|---|---|---|---|
| A | メール | 100 | 20 | 20% |
| A | 検索 | 1,900 | 38 | 2% |
| A | 合計 | 2,000 | 58 | 2.9% |
| B | メール | 1,000 | 180 | 18% |
| B | 検索 | 1,000 | 15 | 1.5% |
| B | 合計 | 2,000 | 195 | 9.75% |
メールは20パーセントから18パーセントへ、検索は2パーセントから1.5パーセントへ下がります。それでも全体の割合は2.9パーセントから9.75パーセントへ上がります。流入の合計数は同じです。
違いは対象者の構成です。メールの比率が流入全体の5パーセントから50パーセントへ増えました。そのコンバージョン率は以前より低くても、検索より高いままです。このグループからの流入が増えると、全体の数字が変わります。
全体の割合は別の問いに答えている
これはシンプソンのパラドックスの例です。全体で見た比較の方向が、すべての部分集団の中では逆転することがあります。既知の統計的な現象であり、新しい発見や計算の不具合ではありません。
全体の割合は、その期間に記録された流入のうち、どれだけがファネルを完了したかを示します。グループ別の割合はメールと検索の中で何が起きたかを示します。両集団の相対的な大きさが変わったため、全体の比較では対象者の構成が固定されていません。
二つ目の期間で完了数が58件から195件へ増えたのは事実です。事業にとって価値のある結果かもしれません。ただし、どちらかのグループにとって操作が簡単になったことは示していません。観測された割合は両方で下がっています。
デザイン変更の成果だと判断する前に、何についての主張なのかを明らかにしてください。結果の合計数なのか、別の対象者の獲得なのか、比較可能な対象者の中での改善なのかです。
対象者の構成を固定する
記述的な確認方法の一つは、基準となる構成を選び、両期間のグループ別の割合に適用することです。ここでは期間Aの構成、メール5パーセントと検索95パーセントを使います。
期間Bの計算は、0.05 × 18% + 0.95 × 1.5% = 2.325% です。
| 期間 | 観測された全体の割合 | 期間Aの構成を使った割合 |
|---|---|---|
| A | 2.9% | 2.9% |
| B | 9.75% | 2.325% |
構成を固定すると割合は下がります。これにより、グループの重みの変化と、各グループ内の割合の変化を分けて確認できます。
結果を評価する前に基準集団を選び、記録してください。両期間で同じ、重複しないグループを使います。ある期間に一つのグループの流入が観測されていない場合、その割合は未定義です。欠けている割合を黙ってゼロに置き換えてはいけません。
以下のPostgreSQLクエリで計算を再現できます。使うのは最初の表にある四つの仮のグループ行だけです。
WITH sample(period, segment, entries, completions) AS (
VALUES ('A', 'Email', 100, 20),
('A', 'Search', 1900, 38),
('B', 'Email', 1000, 180),
('B', 'Search', 1000, 15)
), rates AS (
SELECT *, completions::numeric / entries AS rate
FROM sample
), baseline AS (
SELECT segment,
entries::numeric / SUM(entries) OVER () AS weight
FROM sample WHERE period = 'A'
)
SELECT r.period,
ROUND(100.0 * SUM(r.completions) / SUM(r.entries), 3)
AS observed_pct,
ROUND(100.0 * SUM(r.rate * b.weight), 3)
AS fixed_mix_pct
FROM rates r JOIN baseline b USING (segment)
GROUP BY r.period ORDER BY r.period;
重みを変えた計算は比較の問いに答えます。デザイン変更が何を引き起こしたかを証明したり、将来の対象者の行動を正確に予測したりするものではありません。
ステップの割合には別の分母がある
ファネル内でも同じ注意が必要です。記録された流入1,000件から登録400件と最終完了100件が生じたとします。全体の割合は10パーセント、登録から完了までは25パーセントです。分母が違うため、どちらの計算も正しいものです。
Zenovayの全体の割合は記録された完了数と流入数を比較します。最初のステップより後の移行では、内訳の計算に一つ前のステップを使います。割合と一緒に件数と対象範囲を読んでください。
人、セッション、ファネルへの流入、イベントの発生回数は異なる集計単位です。一人が何度も戻ったり、操作を繰り返したりすることがあります。記録された流入は本人確認された個人ではありません。レポートを比べるときは単位を明示します。
定義と観察期間を固定する
完了数が一件も増えなくても、分母が小さくなれば割合は上がります。1,000件中100件は10パーセントで、500件中100件は20パーセントです。開始地点を決済に近づけると、レポートの名前が同じでも測定内容は変わります。
流入ルール、最終イベント、集計単位、グループの定義を同じにしてください。URLルールやファネルのステップの変更を記録し、指標の意味が変わったら新しい基準を設けます。
時間も重要です。昨日流入した人は、二週間前に流入した人ほど長い行程を終える機会を得ていません。コホートを比較するには、流入期間と固定した追跡期間を選び、両グループがその時点に達するまで待ちます。暦に沿ってイベントを集計するレポートと、流入した人を追うレポートは別の見方です。
これはコホートを比べる方法であり、すべてのファネルレポートにその設定があるという主張ではありません。
この計算で分かることと、まだ分からないこと
この表は、集計したときの逆転を示しています。どちらかのグループの割合が変わった理由を証明してはいません。特に件数が少ないときは、観測された割合は偶然によっても動きます。
意思決定に必要なセグメントをあらかじめ決めてください。割合と一緒に流入数と完了数を示します。製品の変更が改善を引き起こしたと主張するには、適切な実験や、根拠を示せる別の因果推論の設計が必要です。セグメント別の変更前後のレポートだけでは、その証拠は得られません。
他の人が確認できる結論は次のようになります。「両期間の記録された流入はそれぞれ2,000件で、完了数は58件から195件へ増えました。両グループの割合は下がり、メールの流入比率は5パーセントから50パーセントへ増えました。期間Aの構成を固定すると、期間Bの割合は2.325パーセントとなり、以前の2.9パーセントを下回ります。」
「コンバージョンが改善した」より役に立つ説明です。何が変わり、どの比較が改善し、どの問いが残っているのかをチームに伝えられます。
