Growth以上のプランのお客様は、主にSprocketのコンサルタントがシナリオの企画や実施を行います。ここでは「シナリオの結果をどう見ればいいのか」のポイントをご紹介します。コンサルタントの説明とあわせて参考にしてください。
Starterプランのお客様は、ご自身で設定したシナリオの成果を管理画面で確認するときの考え方の参考にしてください。
目次
シナリオの結果を見るときの基本
シナリオを公開してからは、時期やステップごとに見るべきポイントが大まかに3つに分けられます。
- ① 1～3日後：シナリオがちゃんと出ているか確認する
- ② 1～2週間後：A/Bテストの結果を確認する
- ③ 深掘り分析：原因を深掘りして次のシナリオにつなげる
シナリオの結果を見るときは［KPI/KGI結果］画面が基本になります。各分析画面は［KPI/KGI結果］画面でシナリオの状況を確認して、より深掘りしたいときに、場合に応じて［ステップ分析］画面や［KPI/KGI推移］画面を参照する、という位置づけとなります。
① シナリオ公開から1～3日後に見るべきポイント
Sprocketのデータは、前日までのデータが毎朝更新されます。シナリオ公開直後は「対象者数」を見て、ちゃんとシナリオが出ているかを確認しましょう。ここが0人のままだったり、極端に少ない場合は、セグメントや表示URLの設定が適切でない場合があります。不明な場合は、Sprocketのコンサルタントにご相談ください。
A/Bテストで結果を判定するためには、一定のサンプル数が必要になります。公開の翌日から数日間はまだ十分なデータが集まっていないので、このタイミングでは「ちゃんとシナリオが出ている」ことを確認するだけで十分です。A/Bテストを回すときは「焦らずに待つ」ことも大切なステップの1つです。
② シナリオ公開から1～2週間後に見るべきポイント
サイトの規模やシナリオの対象に設定したセグメントにもよりますが、一般的には1～2週間ほどである程度のサンプル数が集まります。平日と週末は傾向が異なるサイトも多いので、改善率を見るなら最低でも1週間以上は待つのがおすすめです。
まず見るべきは「KPI」と「KGI」の改善率です。KPI/KGI管理画面では、非表示のパターンを含めて、それぞれのパターンのKPIとKGIの到達数と到達率が表示されます。数字が緑色であれば非表示パターンの到達率と比べて勝っていて、赤色であれば負けていることを表します。
ただし、そのときにあわせて確認したいのは「統計有意差」です。統計有意差とは、統計的に意味があると認められる差のことで、管理画面上では「高」「中」「低」の文字で表されます。
統計有意差が「高」であれば、表示されているKPI/KGIの改善率はシナリオの影響であると考えてよいでしょう。「中」や「低」の場合、まだ十分なサンプル数が集まっていないことを表します。今は勝っているように（あるいは負けているように）見えていても、それが偶然である可能性があります。
③ 統計有意差別・次に取るべきアクション
統計有意差の結果を確認したら、次にどのようなアクションを取ればいいのでしょうか。
統計有意差が低い場合
統計有意差が低い場合は、もっとサンプル数がたまるまで様子を見るのが基本です。
ただし「対象者数」が思ったように増えていない場合は、そもそものセグメントが狭すぎる可能性があります。セグメントが狭いとそれだけ十分なサンプル数を集めるのに日数が必要となるので、時間がかかりすぎると判断したら、セグメントを見直してもう一度A/Bテストを行うのもひとつの手です。
逆に「対象者数」は十分に多いにもかかわらず、到達率の差がほとんど出ずに統計有意差が低いままのときは「パターン間での差がほぼない」という可能性も考えられます。こうしたときは過度に長期間様子を見ることはせず、次の改善に取り組んだほうが良い場合もあります。
統計有意差が高く、勝っている場合
統計有意差が「高」であれば、KPIとKGIの改善率は統計的に信用できる差があると考えられます。
統計有意差が「高」かつ非表示パターンと比べて勝っている場合は、次のアクションとしては大きく2つがあります。
- 勝ちパターンの表示率を上げる
- 勝ちパターンのバリエーションを作り再度テストする
十分にテストをくり返した後であれば、勝ちパターンの表示率を上げて常設シナリオにしましょう。勝ちパターンの表示率を100％にすることで、効果的なポップアップをより多くのユーザーに届けられます。
さらに、勝ちパターンの文言を微調整した別パターンを作り、勝ちパターンと別パターンで再度A/Bテストを行うのも有効です。
例えば「カートページでよくある質問の回答を表示したら、KGI（購入完了率）が上がった」のであれば、少なくともポップアップを表示することでユーザーの助けになっていることは確かであると考えられます。
次は、勝ちパターンの中で声のかけ方やタイミングを変えてみたり、案内する内容を変えてみたりといったパターンを作り、次のテストに進みます。こうしてくり返しテストを行うことで、シナリオの精度がますます磨かれていきます。
統計有意差が高く、負けている場合
統計有意差が「高」かつ非表示パターンと比べて赤文字で負けている場合は、まずはシナリオを止めてから、深掘り分析を行います。深掘り分析にはさまざまな方法がありますが、まず見ておきたいのは［ステップ分析］画面です。
［ステップ分析］画面では、ボタンをクリックしたユーザーがどれくらいいたのか、×ボタンでポップアップを閉じたユーザーがどれくらいいたのかといった内訳を確認できます。仮説と違う結果になったのであれば、何が原因だったのかを考えることで次の施策のヒントを得られます。
Sprocketには、ステップ分析以外にもシナリオを深掘り分析するためのさまざまなツールが存在します。実施したシナリオの検証は、担当コンサルタントにおまかせください。