A/Bテストでおかしがちな7つのミス

By Lauren Macdonald

異なる複数のデザインを用意してユーザーの反応を比較することでより優秀なデザインを決定する手法である「A/Bテスト」は、ウェブサイト構築の現場で広く活用されています。そんなA/Bテストを実行する上で、おかしてしまいがちな7つのミスが公開されています。

Seven A/B testing mistakes you need to stop making in 2013 - Visual Website Optimizer Blog
http://visualwebsiteoptimizer.com/split-testing-blog/seven-ab-testing-mistakes-to-stop-in-2013/

A/Bテスト専用ツールを提供するVisual Website Optimizer(VWO)は、同社の公式ブログ上でA/Bテストでうまく成果がでない原因となりがちな失敗について解説しています。漫然とA/Bテストをするときにうっかりしがちな7つのミスは以下の通りです。

◆1：サンプル数を検討しないこと

By An&

多くの人はA/Bテストを実行する前に、必要なサンプル数はどれくらいなのかについてまったく検討していないもの。しかし、統計的に意味のある結果を生み出すのにはある程度の母数が必要なのは当然であることから、A/Bテストを実行する前には専用ツールを使ってでも適正なサンプル数を計算して用意しておくことが推奨されています。

下のグラフは、あるA/Bテストの結果で、開始当初は緑のデザインの方がコンバージョンが高かったのに、時間が経過してサンプル数が増えるとその結果が逆転した例です。適切なサンプル数を事前に想定しておかなければA/Bテストの結果を読み違えることが往々にしてあるということです。

◆2：HiPPOの意見を重んじること

A/Bテストの存在を世に知らしめるきっかけを作ったGoogleでは、データの裏付けのない上司の意見のことを「HiPPO(Highest Paid Person's Opinion)」と呼んで軽蔑しています。ウェブデザインに限らずIT業界ではトップの意見がプロジェクトを台無しにしてしまうということはよくあるもの。客観的なデータを解析する手法であるA/Bテストには、本来、有害なHiPPOを排除するという役割があるはずで、A/Bテストの結果よりHiPPOを重視するのは避けなければならないとのことです。

◆3：テスト結果を「都合良く」とらえること

By Frits Ahlefeldt-Laurvig

テスト結果を信用できずに、都合の良い解釈を行うことで結論をねじ曲げたい誘惑に駆られることはよくあるものです。しかし、VWOは「テストを受け入れるつもりがないならば、何のためにテストをしたのか？」と、このような姿勢を批判しています。テスト結果を採用しないことは、現状にとどまり進歩を止めることを意味するとのことです。

◆4：小さな変更にとらわれること

By Images Money

A/Bテストの威力についてよく耳にすることは「ほんのわずかな違いから大きな成功が生まれる」というもの。しかし、この言葉を信じすぎると小さなデザインの変化ばかりを試してしまうことに。しかし、まったく新しいデザインの方がはるかに大きな成果を得られる可能性もあるので、時には大きな変更に挑戦することは大切であるとVWOは指摘しています。

近くばかりを見ていると遠くにそびえる「大きな山」が見えないもの。

◆5：対象を絞らずにテストすること

By Pete

A/Bテストをするべき対象を挙げればキリがないものですが、どの部分を変更するのかターゲットを絞ってテストすることが肝心です。

◆6：戦略を立てずにテストすること

By Joriel "Joz" Jimenez

「どんな結果を目標にして、何をどのように改良するのか」という戦略を立てることなくA/Bテストすることは避けるべきです。そして、戦略の立案にとって良い方法は、利害関係者全員の意見を集約することで、すべてのステップを一つずつもれなく行うことが大切とのことです。

◆7：満足しなくなること

By Dixie Lawrence

A/Bテストには終わりがないため、これで満足というゴールはありません。そのため成果を評価し成功を喜ぶことを忘れがち。しかし、得られた成果に対して喜びを感じることがA/Bテストを有効かつ継続的に行う秘訣であるとのことです。