こんにちは、Speeeでディレクターしております、荘司です。先日社内でABtestのノウハウをシェアするイベント、「ABtestNight」を開催しましたので、そのイベントレポをお伝えします。
ABtestNightとは
Speeeでは、クライアント様のデジタルマーケティングを支援するB2B事業と、自社メディアを展開するB2C事業を展開しており、その中でABテストなど、CVR改善などを目指して、日々サイト改善に取り組んでいます。今回はその事業間のグロースハックのノウハウ共有を目的として、「ABtestNight」を開催しました！当日は弊社が利用しているABtestツール「Optimizey」日本正規代理店の株式会社イー・エージェンシー様にもご登壇いただきました。
目標設定における失敗談
トップバッターは女性系メディアに携わる伊佐より、「ABテストの3つの失敗談」というタイトルで登壇しました。印象的だったのは「目標設計が不十分だった」という失敗談。
運用体制が固まり、ABテストが実際に回り始めると、今後毎月どの程度CVRが改善するなど、予想が立てづらくなど、なかなか目標設計が難しいものです。伊佐のチームでは、目標設定がうまくできないまま、ABテストを回していたため、達成の度合いを評価できず、チームメンバーのモチベーションを保つのも難しくなっていきました。
事業目標から改善目標を逆算する手もありますが、市場状況や流入元の変化によって、CVRなどは大きく変動します。そう考えるとABテストの目標設計は難しい問題です。そういった問題に対して、どう対処したのか。
回数×打率×改善率というプロセスKPI
ABテストの成果は、「テストを実施した回数」×「そのテストがオリジナルより良かった割合（＝打率）」×「そのテストの改善率」で決まります。このチームでは、過去に実施したABテストデータを元に、回数と打率、改善率を計算し、それぞれの値をプロセスKPIとして設計したそうです。適切に目標を掲げて、着実に成果を積み上げていきたいですね。
オンラインCVRだけを見ていて後悔した話
次に登壇したヌリカエのディレクター阿部は、「CVRだけ見ていて後悔した話」というテーマで登壇しました。ヌリカエではオンラインページでのCVの後に、オフラインの架電などで事業成果が発生します。
当初ABテストを開始した際は、オフラインページでのCVRを向上させることに重きを置いていました。しかしある施策を打った際、オンラインのCVRが向上した一方、オフラインの数値が下がっていたことが判明したのです。事業全体から考えると、オンラインのCVRをあげるだけでなく、オフラインの数値も確認しておかなければ、結果的に事業改善から遠ざかってしまうこともありえます。
オフライン×オンラインでKPIを再設計
その後阿部のチームでは、オンラインの数値に加えて、オフラインの数値を加味したKPIを再設計し、その指標を判断軸に、ABテストを回しています。来店予約など、オフライン事業の集客窓口としてWebを使っている事業者の方は、心の留めておきたい教訓です。
コンサルタントとしてのデータに基づく客観的な分析
3人目は、弊社CRO（コンバージョンレート最適化）担当の岡井が登壇しました。彼らはクライアント様のサイト改善をミッションとして追っており、これまでの2名とは異なり、B2B事業の担当者ならでは視点での発表でした。
コンサルタントとして、クライアント様の改善点を見つけ、一緒に改善していくことが求められるため、「データに基づく客観的な分析」の必要性を強く語っていました。彼らが担当するのは、これまでクライアント様が愛着などを込めて運用されてきたサイトです。その改善点を指摘するためには、主観ではなく、クライアント様も理解できる客観的なデータを用いた、徹底したデータ分析で納得いただく必要があります。
そのため彼ら独自の分析手法を作り上げ、日々クライアントへの価値提供に努めているようです。
伝えるタイミングの重要性とは
最後4人目は、イー・エージェンシー社の吉野様にご登壇いただきました。テーマは「伝えるタイミング」。伝えたいことが明確な、わかりやすいプレゼンテーションでした。
通常ABtestを実施する際、キャッチコピーなどの「メッセージ」や、色やアイコン・形などの「見せ方」に注力しがちです。たとえばCTAボタンの文言や色形などです。しかしそのボタンをユーザーに見せるべき「タイミング（訴求する順番や位置）」をしっかり考えることも、同様に重要だと吉野様は語ります。
実際同じ「メッセージ」、同じ「見せ方」の施策でも、ユーザーへ伝えるタイミングによって大きく成果が変わります。プレゼンでは、ECサイトの例を引き合いに、「在庫切れ間近」のメッセージを表示するタイミング（位置）によって、成果が大きく異なった事例を紹介されていました。
ユーザー視点に立って仮説を立てた上で、「メッセージ」「見せ方」「タイミング」をしっかり考えた上で、成果の高いテストを繰り返したいですね。
プレゼン後は座談会
プレゼンのあとは、登壇者の方に質問を投げかけながら回答いただく座談会を実施しました。
たとえば、
- 改善対象ページの決め方は？
- 施策の優先順位の決め方は？
- 施策の振り返りはどうしてる？
- 統計的有意性がでないテストはどうする？
など、ABテストを進める方がよくぶつかるけれども、なかなか書籍に解が落ちていない問について、回答いただきました。各チームごとに色があり、終盤にはオススメのツールを紹介や、突発的なお悩み相談が始まるなど、非常にフランクの雰囲気で盛り上がりをみせました。
その後は懇親会として、簡単な軽食をつまみながら、各所でABtest談話に花が咲いていました。また登壇希望企業様がいれば、随時ABtestNight第二弾を開催していきたいと考えております。ご興味ある方はぜひ荘司までご連絡くださいませ。
共催のイー・エージェンシー様ブログの当イベント記事は以下からどうぞ。
https://optimizely.e-agency.co.jp/article/speee-abtest-review/
