はじめに
ボタン野郎では「サマリー」、「クリエイティブ別レポート」、「セグメント別レポート」の3種類のレポートを確認することができます。
管理画面より対象ボタンの「ボタンTOPへ」をクリックしてください。対象ボタンの各レポート及び設定変更画面が表示されます。
期間について
各レポートでは、テスト結果を表示する際に「期間」をプルダウンより指定してください。
「期間」とはテスト実施期間を指し、改善ボタン施策を新規登録してから、追加テストのためにクリエイティブを設定しテスト開始するまでを1期間とします。その後も追加テストを実施する度に「期間」の選択肢が増えていきます。
図1-1:期間について
プルダウンには開始日、終了日の他に、そのテスト期間中のデフォルトパターンを表示します。期間が複数存在する場合は直近の期間が指定されています。
図1-2:期間(サマリー)
図1-3:期間(複数存在時)
また、期間内にて表示対象を範囲指定することも可能です。「From」、「To」に指定した期間内の日付を設定してください。
サマリー
サマリーレポートでは、指定した期間の「CVR改善率」、及び「CVR推移」が表示されます。
また、テスト開始から2週間以降は自動最適化の実施結果を表示する「自動最適化レポート」が表示されます。詳細は「自動最適化の流れ」をご覧ください。
図2-1:サマリー
■CVR改善率
CVR改善率は、チャンピオン・全パターン・デフォルトの推定CVRと、チャンピオンおよび全パターンのデフォルト比のCVR改善率を確認できます。
■CVR推移
CVR推移は、チャンピオン・全パターン・デフォルトのCVRを累積と日別グラフで確認できます。ポイントとしては、累積グラフで一時的にチャンピオンが勝っていないか、一時的に勝っていそうな場合は日別で異常値がないかを確認しましょう。
クリエイティブ別レポート
クリエイティブ別レポートでは、指定した期間の要素ごとのテスト結果、または組合わせパターンごとのテスト結果が表示されます。
図3-1:クリエイティブ別レポート
■要素
「要素」を選択すると、「色」、「テキスト」、「形」の各クリエイティブごとに以下計測値が表示されます。
図3-2:クリエイティブ別レポート(要素)
表1:計測値一覧
項目名 | 説明 |
---|---|
UU | クリエイティブが配信表示された訪問者のユニークユーザー数が表示されます。 |
CV | CV数が表示されます。「成果(コンバージョン)完了URL設定」にて「完了URLあり」を設定した場合は、成果(コンバージョン)完了URL設定に指定したページが表示された数が表示されます。「完了URL設定なし(ボタンクリックのみ計測)」を設定した場合は、改善対象ボタンがクリックされた数が表示されます。 |
CVR | CVR(=CV÷UU)とCVRが含む誤差が表示されます。テスト結果からCVRが「10~14%」と推定される場合は「12% ±2%」と表示します。 ※CVRの「誤差」とは「CVRが測定値から上下にブレる可能性がある範囲」とお考え下さい。 テストで計測されたCVRは、ある限られた期間に限られた数のユーザーを対象として計算されたCVRです。そのため測定値には常に不確かさが含まれ、真の値とは一致しません。ボタン野郎ではこの測定値と真値との誤差を±で表しています。なお、サンプル数(UU)が増えるほど誤差は小さくなります。 |
改善率 | デフォルトに対して、特定のクリエイティブがどれだけ良い成果を上げたかの割合が表示されます。 ※デフォルトよりCVRが低い場合、改善率はマイナスになります。 |
改善信頼度 | デフォルトよりもCVRが高くなる(改善する)確率を表した値です。この値が高いほど、デフォルトに勝っていると言えます。 ※改善率が90%以上で「デフォルトに対して勝ちである」と判断することが多いです。 改善信頼度が高いほど改善する確率は上がりますが、テストに必要な期間は長くなるため、判断のタイミングはテストの精度を重視するかスピード感を重視するかによります。 |
非チャンプ率 | 特定のクリエイティブのCVRが一番高い「チャンピオンにならない」可能性の値が表示されます。「負ける確率」とも言えます。この値が一定以上になった場合に対象クリエイティブ/パターンを「負け」とご判断頂くことができます。 ※非チャンプ率が90%以上で「そのクリエイティブはチャンピオンではない」と判断することが多いです。テストクリエイティブが多い場合は「チャンピオンではない」と判断したものを順次配信停止していき、CVRが高いものに配信を絞り最終的にチャンピオンをきめるという進め方をすることもあります。 |
■組合わせ
「組合わせ」を選択すると、デフォルトパターンと、色、テキスト、形により組み合わせたパターンより上位10パターンの「CVR」、「改善率」が表示されます。
図3-3:クリエイティブ別レポート(組合わせ)
セグメント別レポート
「セグメント別レポート」では、セグメント別に指定した期間の要素ごとのテスト結果、または組合わせパターンごとのテスト結果が表示されます。
図4-1:セグメント別レポート
要素ごと、組合わせパターンごとに表示されるテスト結果は、「クリエイティブ別レポート」と同様になります。これらのテスト結果が以下セグメント別に表示されます。
表2:セグメント別レポートのセグメント
分類 | セグメント |
---|---|
すべて | すべて |
ユーザーエージェント | スマホ PC・タブレット |
曜日 | 平日 土日祝 |
時間 | 朝(6時-10時) 昼(10時-20時) 夜(20時-6時) |
訪問回数 | 初回 2回以上 |
ローデータダウンロード
各種レポートでは、ローデータをダウンロードすることができます。各レポートの右上 アイコンをクリックすると、CSV形式にてローデータがダウンロードされます。
図5:ローデータダウンロード