【ABテスト実施方法】ABテスト実行までの流れ・分析方法・ツールを紹介

バナー広告やメインビジュアルなどを検討する際、どのように計画し作成していますか？マーケティング手法の1つにABテストというものがありますが、ただただAパターンBパターンを試しておしまい。では成果を正確には測れていません。ABテストで正しく成果を測るためには、正しく課題を把握したり、正しく分析していただく必要があります。今回はABテストの具体的な実施フローをメインに解説していきます。ABテストの基本については以前の記事に載せておりますので、ご覧ください。

WebMedia参考記事

【ABテストとは】メリット・デメリットは？事例や対象・ツールを紹介

https://www.itra.co.jp/webmedia/what-is-abtest.html

Webサイトのコンテンツ変更やUI改善を助けるABテストですが、実際のメリットやデメリット、ABテストツールの利用に必要...

ABテストとは

ABテストとはWebマーケティング手法の一つで、AとBの2つのパターンを用意しどちらがより良い成果（CVRが上がったなど）を出せるかどうかを検証するものです。このABテストは一般的にWebサイトのバナーや広告の作成に使用され、客観的に最適な1つを選ぶことができます。

メリット

安価で実行できる

小規模なABテストであればWebサイトのリニューアルなどに比べると圧倒的にコストが安価です。アクセス数やコンバージョンをあげる目的で改修する方法として、Webサイトリニューアルがありますが、Webサイトリニューアルなどの場合、Web制作会社などに依頼することになるのでそれなりの金額が要求されます。一方、小規模なABテストであればインターネット上に有料もしくは無料の分析ツールが数多く存在するので、うまく活用することによりコストを抑えることができます。

工数が少なく手軽に実行できる

ABテストはWebサイトのリニューアルなどに比べ設定される工数が少なく、比較的手軽に実行できます。Webサイトのリニューアルには画面設計、デザイン、コーディングなど数多くのプロセスがあり、実行から完了までかなりの時間を要します。それに比べ、ABテストは画像の修正や文言の修正などかかる工数が少なく、手軽に実行することができます。

ABテストの実行フロー

ABテストはいわゆる統計分析の話になります。統計や分析と聞いて少し難しい印象を持たれるかもしれませんが、ポイントごとに要点を押さえることで誰でも気軽に試すことができるので、ぜひやり方をマスターして自身のサイトの分析にご活用ください。

Step1:必要なPV数の確認

ABテストを実行する前に必要な「母数」を確認しておきましょう。 ABテストを正確に行うためにはある程度の母数（アクセス数）が必要になります。 統計学上、標本誤差の優位水準は5％以下、母数単位では400以上が理想となります。標本誤差はサンプル数が多いほど小さくなるため、サンプル数が少ない場合標本誤差が大きくなってしまい正確な分析ができなくなってしまいます。 ABテストを行う上で必要な母数はいくらなのかはOptimizelyのA/B Test Sample Size Calculatorを使用することで算出できます。

1. 基準コンバージョン率

現在のコンバージョン率（CVR）を記入します。

2. 最上検出可能効果

コンバージョン率の変化の最小の範囲を記入します。

作成したバリエーションのコンバージョン率が、基準コンバージョン率（現状のコンバージョン率）から見て、プラスマイナス何％の振り幅を許容するかの範囲を示します。 正確なデータを求めるためには最小検出可能効果を小さくしましょう。ただし、最小検出可能効果を小さくした場合、より詳細なデータが必要になるので、必要なサンプル数が多くなります。

3. 統計的優位性

この検定の優位性が何％なのかを示しています（統計的優位性が90%の場合、このABテストから得られる結果の90%は偶然ではないことを意味しています）。

Step2:課題の洗い出し

ABテストを行う上で自身が抱える課題を洗い出しましょう。課題を正確に把握し、その課題をクリアするためのサンプルを作成し、そのサンプルをABテストにおいて分析することでより有効な結果を得ることができます。課題の洗い出しにはいくつか方法があります。

Googleアナリティクスを使用する

Googleアナリティクスは無料で使用できる分析ツールです。 Googleアナリティクスは、閲覧されている地域やどこから流入してきているのかを示す流入元、どのコンテンツが最も閲覧されているかなど複数の視点からページアクセスの分析ができます。分析と聞いて難しいイメージを想像するかもしれませんが、グラフや表でわかりやすく表示されるため、初めての方でも気軽に利用することができます。

専門家に依頼する（ヒューリスティック 分析）

Webサイトのユーザビリティを評価してくれる専門家に依頼するのも1つの手段です。 このWebサイトの専門家（コンサルタント）に依頼し、分析を行ってもらうことを通称ヒューリスティック分析と呼びます。このヒューリスティック分析ではコンサルタントの経験に基づくアドバイスがもらえるため、Webサイトについてのノウハウがない人におすすめです。ただし、あくまで外部業者への依頼ということで自身で課題を抽出する場合と比べコストがかかるので予算と相談しながら利用してみましょう。

ユーザーの観察調査

実際に一般の被験者を集めて、対象となるサイトを閲覧する様子を観察する方法もあります。定量的なデータを多く収集する際には向いていませんが、Googleアナリティクスやヒューリスティック分析と違いデータには現れないユーザーの潜在的な課題を発見することができます。また実際にユーザーの声を聞くことができるので、どこに課題があるのかが早期に発見できる場合があります。

ヒートマップの使用

ヒートマップとは、ユーザーの目線やマウスの動きの情報を、色の変化で示したものです。多くのヒートマップツールは、マウスの動きやクリック地点のデータを可視化したもので、実際のユーザーの目線ではありません。しかし、ユーザーの目線とマウスの動きの相関性は80%と言われています。そのため、ヒートマップツールを用いることで、ユーザーが離脱しているポイントや長時間見ているポイント、クリックしている位置を視覚的に理解することができます。詳しくは別の記事でこのヒートマップについて解説していますので、ぜひご参照ください。

WebMedia参考記事

ヒートマップでユーザー行動を解析！ツールやメリット・デメリットを紹介

https://www.itra.co.jp/webmedia/what-is-heat-map.html

Webサイトのアクセス解析に役立つヒートマップ解析ですが、具体的に何ができるのか、メリット・デメリットを知らない人も多い...

Step3:ABテストの実行

課題の洗い出しが終わったら実際にABテストを実行しましょう。

ABテストの変更要素は1つまで

ABテストにおいて変更できる要素は1つまでなので注意しましょう。もし複数個の要素を変更した場合、どの要素への変更が改善に繋がったのかを検証することが難しくなり、場合によっては誤った判断をする可能性もあります。

ABテストのツール紹介

ABテストのツールは無料と有料を含め以下の4つがおすすめです。

無料のツール

Adobe Target

Googleオプティマイズ

有料のツール

SiTest

Optimizely

ABテスト実施の日数

ABテストの結果の効果（信頼性）を高めるためにはテストの日数を調整する必要があります。自身の保有する母数（PV数）にもよりますが、より信頼性の高い結果を得るためには数日の検証ではなく、１ヶ月程度行うことが望ましいでしょう。

まとめ

ABテストは有効に活用することで大きな効果を得ることができます。実施には注意点も多く分析の質が重要になるので、正確な分析を行いCVRをアップさせていきましょう