プッシュ通知のコントロールグループとは？A/Bテストとの関係と効果測定の進め方

プッシュ通知を配信した後に購入や再訪が増えても、その成果がすべて通知によって生まれたとは限りません。通知がなくても同じ行動をしたユーザーが含まれるためです。

プッシュ通知のコントロールグループ（統制群）とは、同じ対象条件を満たすユーザーのうち、検証対象のプッシュ通知を配信しない比較群です。ここでいう非配信群とは、検証対象のプッシュ通知を受け取らない群を指し、すべてのプッシュ通知を一律に停止する意味ではありません。

適切に設計したコントロールグループを使うと、「配信後に成果が出たか」だけでなく、「配信しなかった場合と比べて、どの程度の増分効果があったか」を推定できます。この記事では、A/Bテストとの関係から、実験の進め方、アップリフトの計算、結果を採用する前の確認項目まで順に解説します。

プッシュ通知のコントロールグループとは？

コントロールグループは、同じ対象条件を満たすユーザーのうち、検証対象のプッシュ通知を受け取らない比較群です。検証対象のプッシュ通知を受け取る配信群と、受け取らない非配信群を同じ条件で比較し、非配信時のベースラインを確認します。

重要なのは、「配信後に成果が発生したこと」と「プッシュ通知による増分効果を推定したこと」を分けることです。計測上は、次の3段階を同じ意味として扱わないようにします。

• 配信後の成果：評価期間内に購入・登録・復帰などの成果が発生した状態です。「配信後に成果が発生した」と表現できます。
• 関連付けられた成果：設定した追跡期間や計測ルールに基づき、成果を当該プッシュ通知に関連付けた状態です。「設定した計測条件でプッシュ通知に関連付けられた」と表現します。
• 増分効果の推定：同じ対象母集団から事前に割り付けた配信群と非配信群を比較し、差と不確実性を評価した状態です。「プッシュ通知による増分効果を推定した」と表現します。

コントロールグループを置くだけで、因果関係が自動的に証明されるわけではありません。群の作り方、割り付け、比較時の分母、評価期間などが適切であるほど、因果解釈の妥当性を高められます。

セグメンテーション・A/Bテスト・コントロールグループの違いと組み合わせ方

セグメンテーション、メッセージのA/B比較、非配信のコントロールグループは、役割が異なります。実際の施策では、これらを組み合わせて使います。

A/Bテストは、AとBのメッセージだけを比較する設計もあれば、非配信のコントロール群を含める設計もあります。そのため、A/Bテストとコントロールグループは互いに排他的な概念ではありません。B群が自動的に非配信群になるわけではなく、各群が実際に何を受け取るかで判断します。

対象者の決め方を先に整理したい場合は、プッシュ通知のセグメンテーションもあわせて確認してください。

EngageLab AppPushの公開ドキュメントで確認できるA/B機能は、AとBでメッセージ内容を作り分け、参加ユーザーをA/Bの2群に同じ割合で分け、配信・クリックなどを比較するメッセージ案のテストです。Bが「対照グループ」と表記される箇所はありますが、Bにもプッシュ通知の内容を設定するため、この記事で扱う非配信のコントロールグループとは同一ではありません。詳しくはプッシュの作成とプッシュ履歴を参照してください。

※以下の2枚は、EngageLab AppPushのA/Bメッセージ設定画面と配信結果の確認画面です。この記事で扱う非配信コントロール群の設定や増分効果を測定する画面ではありません。

配信後は、A/Bグループごとの有効なターゲット数、送信数、クリック数などをプッシュ履歴で確認できます。

何を検証するか｜キャンペーン単位と長期施策で考える

コントロールグループを作る前に、1回のキャンペーンを評価するのか、プッシュ通知を使ったマーケティング施策全体を一定期間で評価するのかを決めます。検証範囲が変わると、非配信にする施策、評価期間、成果指標、運用上の機会損失も変わるためです。

キャンペーン単位で測る

キャンペーン単位では、「この休眠復帰向けのプッシュ通知は再訪を増やしたか」「この期限リマインドは購入完了を増やしたか」のように、特定の施策を一つ決めて検証します。

非配信群には、そのキャンペーンのプッシュ通知を配信しません。アプリ内のすべてのプッシュ通知を止めるのではなく、実験名やキャンペーンIDなどで、何を非配信にしたのかを後から確認できる状態にしておきます。

特定のオファー、リマインド、休眠復帰施策など、施策単位で継続可否や改善余地を判断したい場合に向いています。

プッシュ通知施策全体を長期で測る

個別キャンペーンではなく、「プッシュ通知を使ったマーケティング施策全体が、一定期間で継続利用や売上などの成果を増やしているか」を確かめたい場合は、より長い期間で非配信群を維持する方法があります。

この場合も、何を止めるのかを曖昧にしないことが重要です。この記事で扱う長期ホールドアウトは、事前に定義したマーケティング目的のプッシュ通知を、一定期間配信しない比較群を指します。複数チャネルをまとめて除外する仕組みや、特定ベンダーの「Global Control Group」機能そのものを前提にはしません。

長期施策では、同じユーザーが期間中に配信群と非配信群をまたがないように割り付けを維持します。プッシュ通知の配信先を識別するPush tokenの更新や端末変更だけを理由に再割り付けせず、ユーザー単位で評価する場合は、同じ利用者の複数端末も同じ群に保つ必要があります。

また、マーケティング施策の検証を理由に、注文確認、パスワードリセット、アカウント変更、購入完了、重要なセキュリティ通知などを一律に止めるべきではありません。どの通知を実験対象外とするかを、運用開始前に関係部門と整理しておきます。

コントロールグループを使った効果測定の進め方

配信群と非配信群を比較する場合は、結果を見てから条件を決めるのではなく、仮説、対象者、割り付け、評価期間、判断基準を配信前にそろえることが重要です。基本の流れは次の4段階です。

• 1

  仮説・成果指標・対象母集団を決める

  最初に「何を改善したいのか」を一文で定義します。たとえば「休眠ユーザーへのプッシュ通知で、一定期間内の再訪率が上がるか」のように、検証対象と成果を明確にします。

  購入、登録、契約開始、休眠復帰、継続利用など、事業上の成果を主な指標として決めます。開封率やクリック率は途中の反応を確認する指標として使えますが、それだけで最終的な事業成果を判断しないようにします。

  あわせて、誰を実験対象にするかをセグメント条件で定義し、どの程度の差と不確実性なら「継続」「再検証」「縮小」と判断するかを事前に決めます。

• 2

  配信群と非配信群へランダムに割り付ける

  この記事のように配信群と非配信群を直接比較して増分効果を推定する場合は、同じ対象条件を満たす母集団から、プッシュ通知を配信する前にランダムに割り付けることを基本とします。

  反応しそうなユーザーを配信群に多く入れ、反応しにくいユーザーを非配信群に入れると、プッシュ通知の効果と元々のユーザー差を分けにくくなります。ランダム割り付けができない場合は、単純な群間差をそのまま「プッシュ通知による増分効果」と解釈しません。

  ユーザー単位で成果を測る場合は、同じ利用者の複数端末やPush tokenを別々の群に入れないようにします。

• 3

  同じ評価期間で成果を測る

  配信群と非配信群は、同じ開始条件・終了条件で観測します。成果が発生するまでの時間差も考慮し、結果を見て都合よく終了日を変えないようにします。

  非配信群でも同じ成果イベントを記録し、セール、価格変更、アプリの大型更新、別のプッシュ通知施策など、解釈に影響し得る変更があれば実験ログに残します。

• 4

  配信群と非配信群の差を比較する

  増分効果の主比較では、原則として、配信前に各群へ割り付けた全対象者を元の群のまま比較します。分析では、同じユーザーの割り付け情報を一貫して保つことが重要です。配信済みユーザーだけ、開封したユーザーだけに絞ると、非配信群と同じ条件で比べられなくなるためです。

  成果の型に合わせて指標もそろえます。購入や復帰のような「達成した／していない」の成果は成果ユーザー率、売上はユーザー当たり売上、利用回数はユーザー当たり回数など、事前に決めた同じ定義で比較します。

増分効果（アップリフト）の計算と結果の読み方

配信群と非配信群の差を見るときは、絶対差と相対アップリフトを分けて確認します。相対値だけを見ると、非配信群の基準値が小さい場合に効果を大きく見せてしまうことがあります。

絶対差と相対アップリフトを分ける

購入・登録・復帰など「成果を達成したかどうか」で判定する指標を例にします。配信前に各群へ10,000人ずつ割り付け、配信群で640人、非配信群で560人が休眠復帰したとします。

• 絶対差：6.4% − 5.6% = +0.8ポイント
• 相対アップリフト：（6.4% − 5.6%）÷ 5.6% × 100 = 約+14.3%
• 配信群10,000人に対する増分成果の推定値：10,000 ×（6.4% − 5.6%）= 約80人相当

「約14.3%増」だけを切り出すのではなく、配信群6.4%、非配信群5.6%、絶対差+0.8ポイント、対象人数をセットで示すと、結果の大きさを判断しやすくなります。約80人相当という数字も確定した実人数ではなく、観測された率差を配信群の人数へ当てはめた推定値です。

非配信群の成果率が0%の場合、相対アップリフトは割り算できないため算出できません。基準値が非常に小さい場合も相対値は大きくなりやすいため、絶対差と両群の基準値を優先して確認します。

差があることと、十分な根拠があることは別

6.4%と5.6%に差が出ても、その差だけで「安定した増分効果がある」とは判断できません。必要なサンプル数は、基準となる成果率、ビジネス上検出したい最小差、配信群と非配信群の配分、設定する有意水準や検出力などによって変わります。

一方、評価期間は、必要なデータ量を確保できると見込まれる期間と、購入や復帰などの成果が発生するまでの時間差を踏まえ、実験開始前に開始・終了条件を決めます。

そのため、固定の「コントロール群は10%」「30日測れば十分」「95%なら採用」といった数値を全施策に当てはめるのは避けます。実験前に判断方法を決め、推定された差の大きさと不確実性、事業上意味のある差かどうかをあわせて確認します。

また、統計的に差を検出できなかった場合も、「効果がゼロ」と証明されたわけではありません。対象人数や成果件数が不足していると、プラス・マイナスどちらの可能性も残ります。

結果を次の判断につなげる

配信効果を誤判しないための実験設計チェック

実験を実施できたとしても、結果をそのまま「プッシュ通知の増分効果」として採用できるとは限りません。最終判断の前に、次の9項目を確認します。

すべての項目を機械的な「Yes / No」で合否判定する必要はありません。ただし、ランダム割り付けが崩れている、比較時の分母がそろっていないなど、群の比較可能性を損なう問題がある場合は、単純な差を増分効果として採用せず、原因を確認してから再評価します。

また、対象ユーザー数が自然に増減しただけで、必ず実験を分ける必要はありません。事前に決めた対象条件と割り付けルールに従って新規ユーザーを一貫して割り付け、既存ユーザーの群を維持できているかを確認します。対象条件、非配信範囲、例外、割り付け方法、既存ユーザーの群を途中で変えた場合は、別の実験として扱うか、変更前後を分けて評価します。

まとめ

プッシュ通知の効果測定では、配信後の成果だけを見るのではなく、非配信時のベースラインと比べてどの程度の差が生まれたかを確認すると、施策の継続・改善・縮小を判断しやすくなります。

• セグメンテーション：誰を対象にするかを決める
• メッセージ案の比較：どの配信案がより良いかを比べる
• 非配信群との比較：配信そのものに増分効果があったかを推定する

A/Bテストでは、メッセージ案だけを比較する場合も、非配信のコントロール群を含める場合もあります。名称ではなく、各群が何を受け取る設計になっているかを確認してください。

日常的なプッシュ通知の開封率、クリック率、配信タイミングなどを改善したい場合は、プッシュ通知マーケティング戦略と効果測定も参考になります。この記事で扱ったコントロールグループは、その一歩先で「送ったこと自体の増分」を評価するための考え方です。

EngageLab AppPushでは、セグメント配信やA/Bメッセージ配信などの機能を提供しています。公開情報で確認できるA/B機能はメッセージ案の比較であり、この記事で定義した非配信コントロールの機能を意味するものではありません。