失敗事例から学ぶ効率的なA/Bテストのススメ

D2C Rの鈴木光洋です。
広告運用チームのマネジメントを担当しております。

Web広告に関わる方であればきっと誰もが経験のあるA/Bテストについて、
基本からあるある事例までを今回はテーマとしてまとめさせて頂きます。

ABテストって？？

そもそもA/Bテストとは??
例えばクリエイティブを2パターン作成し、広告配信に活用します。
その時は“どちらがより効果が高かったかを検証”する為の手法の事を指します。

またその際に、検証する要素を複数軸設けてテストする事を多変量テストといいます。

ここからは主に広告クリエイティブのA/Bテストについて、ご紹介させて頂きます。

何故Web広告業界ではA/Bテストが多い？？

Web広告業界では何故A/Bテストが盛んに行われているか??
それは主に下記2点が大きな理由となります。

・管理画面で即座に原稿変更可能
・数字で効果が明確に見える

マス広告や印刷物関連では、上記2点を満たすのはなかなか難しいのが現実です。
このメリットを生かして、Web広告で先行してA/Bテストを実施し効果を見た後、効果の高いクリエイティブをCMや印刷物に活かすケースも多く見受けられます。

A/Bテストの重要性

何故ここまでA/Bテストを行うか。
広告における数値結果を参考にすると、その重要性は一目瞭然です。

※今回は分かり易くする為に、impやCPCを同じ数値にしています。

上記のように同じimp数でも
クリック数で2倍、CV数では2倍以上、CPAでは5倍の差がついています。
当然ですがimpやCostが増えれば増えるほど、その影響度合いは高くなります。

A/Bテストのあるある

前述のように数値が明確になる事がベストですが、
検証が上手くいかないケースがあります。
よくあるケースとしては下記2例があります。

【検証が上手くいかないケース】
(1)クリエイティブ検証軸が明確になっていない
(2)同時に大量の本数のクリエイティブを配信する

(1)クリエイティブ検証軸が明確になっていないは
「とりあえずA/Bテストをやろう！」いう事で検証軸が明確になっていない例です。

×：悪い例（検証軸が不明確）

◎：良い例（検証軸が明確）

悪い例ではそれぞれの項目における“共通要素”がない為、
どの要素が、結果の良し悪しに影響したかが明確に見えません。

一方、良い例では“異なる要素”を訴求に絞っている為、
結果をみればどの訴求が良かったかが、結果として明確になります。

(2)同時に大量の本数のクリエイティブを配信するについては
「とにかく色々と検証したい！」とやってみたものの、
振り返った時に結局どれが良かったか分からなかったという例です。

クリエイティブを10本回した例を見てみましょう。

予算が数倍あれば、もう少々結果に差が出たと思います。
しかし上記数値ではCVが1-2件で結果が変わってしまう為、
検証としては失敗に終わってしまった例と言えるでしょう。

もし予算に限りがある場合には、
検証軸の優先度を決めた上で提案を進める事が重要です。

また過去配信実績があれば、それを元に検証出来るであろうCV数を割り出し、
検証に必要な予算をこちらから提案する事も可能になります。

A/Bテストの要素は広告クリエイティブだけじゃない

ここまでは主に広告クリエイティブのABテストについて述べてきましたが、
実際の広告運用では下記項目が係数としてかかってきます。

————————————————–
　・LP
　・配信面
　・デバイス
　・ターゲティング
　・時期
　…etc
————————————————–

つまりこれらの結果についてもA/Bテストが必要となってくるのです。
クリエイティブで明確な差が出なくとも、
上記のような各係数によって大きく成果に差が出るケースがあります。

特に時期（セールやCM）では、
その時期だけCTRやCVRが高くなるクリエイティブがあったりします。

つまり“ 時期（いつ）”ד 配信面（どこで）”ד 広告クリエイティブ（どんな）”
というそれぞれの係数の中だけやそれぞれの組み合わせの中で、検証する必要があります。

獲得と検証のジレンマ

ほとんどの場合、広告配信は検証目的ではなく
獲得目的で配信されているケースが多くを占めます。

しかし「とにかくたくさんの検証をして改善をしなければ！」と力んでしまうと
下記のような悪循環に陥ってしまう事があります。

————————————————————
　クリエイティブを大量に追加する
　　↓
　CVRが大きく変動する
　　↓
　各配信面の最適な入札価格がクリエイティブによって変わる
　　↓
　クリエイティブによって入札価格が変わる為、安定しない
　　↓
　クリエイティブ本数が多い為、配信量を多くしないと精査が出来ない
————————————————————

検証に追われ過ぎるあまり、獲得効率が悪化してしまうのが上記の例です。

私が推奨するのは、獲得と検証を同時並行で進める場合、
各CPN（キャンペーン）のクリエイティブを
2-3本（多くても4-5本）を短期間で回す事をオススメします。

そして、短期間でクリエイティブ精査を行い、
精査が出来たら追加で2-3本の広告を回す。
このPDCAサイクルであれば無駄なコストや労力をかけずに、
効率良く獲得と検証を進めることが出来ます。

最後に

これまで述べてきたように、A/Bテストは
事前の座組みやサイクルの回し方が非常に重要です。

検証する為だけにも広告費はかかります。
意義のあるA/Bテストを実施する為に、意図を持って取り組みましょう。

転載元：D2Cスマイル