効果的なA/Bテストのやり方とその心構え23個まとめ

「A/Bテスト」とは、例えば画像や文章を複数パターン用意し、それらを入れ替えて表示させてユーザーの反応を比較することで、より優秀なレイアウトやデザインを判断する手法としてウェブサイト構築で活用されています。そのA/Bテストを最大限に活用するために気をつけなければいけない23のポイントが公開されています。

23 Tips on How to A/B Test Like a Badass - Search Engine Watch (#SEW)
http://searchenginewatch.com/article/2223888/23-Tips-on-How-to-AB-Test-Like-a-Badass

A/Bテストは、2012年に出されたWIREDの記事で一躍世間の注目を浴び、その劇的な効果のおかげでさまざまなツールが登場しオンラインショッピングサイトなどに導入されました。しかし、ウェブサイト運営に関するコンサルティング会社Treehouseの代表を務めるエリック・シウさんは、クライアント企業のサイトの改良を手助けしてきた経験から、A/Bテストを導入している企業でも、それをうまく活用出来ていないケースが非常に多いと話します。

流行に乗ってA/Bテストを取り入れたけれど効果を上げられていないというサイト管理者に向けて、A/Bテストを有効活用するためにシウさんからの23個の教訓は以下の通りです。

◆01：A/Aテスト

By Russ Seidel

A/Bテストを行うために専用のソフトウェアを購入し本格的に導入する前に、そもそもそのソフトの信頼性についてまずチェックする事が肝心だとシウさんは言います。そこで、まったく同じ条件でA/Bテストを試しに行いコンバージョン率の優劣を競わせてみる「A/Aテスト」を試すよう推奨しています。もし、A/Aテストで優位的な差異が生じた場合には、そのソフトウェアの信頼性を疑うべきとのことです。

◆02：「ひっかかり」をなくす

By Bart

サイトを訪れた潜在的顧客は、ページを閲覧するときに例えば無駄に多い入力フォームや過度に長いページにイライラさせられるものです。このイライラのもとである「ひっかかり」があると、ユーザーはそそくさとページから退散してしまうため、A/Bテストから有意義なデータを引き出せる適切な条件が整わないとのこと。まずはサイトにひっかかりがないかを確認し、ひっかかりをなくした後にA/Bテストを行うべきだとシウさんは指摘しています。

具体的には、入力フォームはシンプルであること、ステップはより少なくすること、ページは長すぎないことがひっかかりをなくす上で重要なポイントとのこと。

◆03：不安を生み出さない

By Luca Rossato

ひっかかりと同様に、A/Bテストで正確な結果が出ない大きな原因に「不安」があるとシウさんは話します。例えば、サイト上でユーザーに手間のかかる作業を要求する場合には、その作業の労に見合う対価を得られるのかをユーザーが判断できなければ不安や不信感を抱いてしまい、やはりA/Bテストの結果に悪影響を与えるそうです。

◆04：分かりやすさを重視

By JoshSemans

オンラインで物やサービスを売る場合には「説得力があること」を追求しがちですが、シウさんによると説得的であることが常に最良の結果をもたらすわけではないとのこと。説得的であることよりも「分かりやすいこと」の方が大切だとしています。

そこで、分かりやすくするためには、販売プロセスのどの段階にいるのか、どんなことができるのか、なぜそうすべきなのかをユーザーが理解できるように意識することが重要で、これらの要素についてA/Bテストを行う意味があるとのことです。

◆05：利用者の生の声が第一

By Gabe McIntyre

A/Bテストの活用も大切だけれど、顧客がどのようにしてページにやって来たのか、その後どのような行動をとったのか、それは何に影響されたのかなどについて直接尋ねることこそ最初にするべきことだとシウさんは考えています。このようなユーザーの生の声を聞くことなくA/Bテストだけを頼るべきではないとシウさんは警鐘を鳴らします。

◆06：価格設定

By @Doug88888 Here

サービスに対して支払ってもらえる許容額を把握することは非常に難しいものです。支払許容価格の仮説を立て、これをA/Bテストでチェックすることはとても重要です。

しかし、顧客はその金額を払うことで得られる価値に関心がある以上、最初からテスト結果に頼るべきではなく「サービスが価格に見合う価値があるのか」ということを突き詰めた上で価格設定を行うことが大切だとシウさんは話します。やみくもにA/Bテスト任せにするのではなく、まずは徹底的に現実世界の肌感覚を頼りとして熟考を重ねた上で、最後にA/Bテストを行うべきとのこと。

◆07：高い値付けのテスト

By 401(K) 2012

安い価格だと販売量が増え、高い価格だと売れないと考えがちです。しかし、提供するサービスの値付けが安すぎることもよくあるとシウさんは指摘します。価格が安すぎるとそれなりの価値しかないサービスだと勘違いされることもあるはずです。

値段を上げてもサービスに価値が伴っていれば利益が飛躍的に向上することもあるので、「少し高めの値付け」についてはA/Bテストを行う価値があるとのこと。そこで、シウさんは2％の価格アップを試すことをお勧めしています。2％という少しの価格アップであれば、顧客は利益を取りすぎていると感じることを避けられるそうです。

◆08：SNSボタン

By SalFalko

多くの製品ページの上部に「いいね」ボタンやシェアボタンをよく見かけますが、SNSを有効活用することは非常に大切だとシウさんは考えています。例えば、スキンケア商品のクレアラシルがページ上部に「いいね」ボタンとTweetボタンを設置したところ、ページビューが25％向上したというデータが出されています。SNSのボタンはA/Bテストで試す価値があるとのこと。

◆09：AdWordsの位置

By Richard Masoner / Cyclelicious

ランディングページのAdWordsのポジションが高いほどトラフィックが増えるという常識があるかもしれません。しかし、そのような常識こそA/Bテストにかけるべきだとシウさんは話します。

AdWordsの位置が上位であるほど広告費用は高く設定されていますが、一つ順位を下げることで費用が劇的に下がることがあります。1位と2位でどう違うのか。2位と3位ならばどうか。意外とAdWordsの位置を下げてみても費用対効果は悪化しないのではないか。AdWordsの位置について常識にとらわれずにA/Bテストをするべきだとシウさんは推奨しています。

◆10：王道も疑う

By Insomnia Cured Here

ウェブデザインには、これまでの多くのテストによって生み出された「王道」がたくさんあります。例えばサイトの見出しのキャッチコピーとテキスト広告のキャッチコピーはそろえるのが良いとされています。確かに検証する時間がない場合には、これらの王道に従うのは良い選択です。しかし、仮にテストする時間があるならば、このような常識さえも疑って、A/Bテストで実際に試すべきだとシウさんは話します。

◆11：より小さな実験で試す

By kelly taylor

時間がない場合には、A/Bテストよりも小さなテストを行うことも有効だとシウさんは考えています。より小さな実験の例として5分間でデータが得られるSilverbackが挙げられています。シウさんはかつて、ある通販サイトがSilverbackの5分間テストを使ってコンバージョン率を13％向上させたのを目の当たりにしたことがあるとのこと。

◆12：優先的な3要素

By Dmitry Dzhus

シウさんは、コンバージョン率を高める3つの要素として、関連性・価値・CTAを挙げており、これらの要素を改善することの重要性を説いています。当然、これらの要素は改良を加えるべき対象であり、A/Bテストを行うべき優先事項と言えます。

◆13：マクロな視点を忘れない

By John Carlos Buen

A/Bテストによって、ささいなデザインの違いでも大きくコンバージョン率が変化することを見せつけられると、細かなデザインなどミクロな視点に終始しがちです。しかし、よりマクロな視点で大胆に変化させることを忘れるべきではないとシウさんは話します。例えば、デザインではなく文章の文言自体を変更することは大切なマクロ的視点の良い例だとのこと。

◆14：欲張らないこと

By David Goehring

A/Bテストをするのに大切なことは、ページ上の特定の「一つ」の観点に絞って変更を加えてテストすることです。A/Bテストに使うソフトウェアも複雑なデータ解析結果を詳細に表示するものよりも、一目で理解できるシンプルなデザインのものをシウさんは勧めています。

◆15：見出しの重要性

By Denise Krebs

顧客に何を訴えるべきかは重要なことで、その役割を担うのが見出しです。見出しには、サービスの最も良い点や強みだけを書くべきです。しかし、サービスの強みの中で最も顧客の心をつかむものが何かをサイト運営者自身がよく理解していないこともあり得ます。見出しに書くべき「最大のウリ」が何かをA/Bテストで探るべきだとシウさんは話します。

そのときに良い方法は、まず自分のサービスの中で「良い」と思えることをすべて書き出してリスト化し、それをA/Bテストにかけ続けることで、勝ち残ったウリを見出しに採用することだそうです。

◆16：微細なことにもこだわる

By janelle.

デザイン上のわずかな違いであっても劇的なコンバージョン率の変化をもたらすことがあり得ます。そのため、どんなにささいなことでもA/Bテストする価値があるとシウさんは話します。例えば、かつてAdWordsに表示させるURLについて、「www.YourDomain.com」と「www.yourdomain.com」のように大文字を混ぜるかどうかをA/Bテストした企業があり、結果は大文字混じりのURLが53％もコンバージョン率が高かったそうです。

◆17：大胆な変更へもチャレンジ

By Shiv Shankar Menon Palat

A/Bテストを繰り返して徐々にサイトが洗練されていくと、大きな変更を加えるのを避ける傾向があります。しかし、それまで改良してきて得られた最良のデザインを打ち破れるのは、まったく違ったデザインであるものだとシウさんは考えています。ときにはこれまで積み重ねてきたベストなものを捨てて、まったく新しいデザインをA/Bテストにかけることも必要で、ときにはタブーとされているものにも挑戦するべきとのこと。

◆18：完璧を目指さない

By Kevin Gill

A/Bテストをやり込むと、「完璧なサイト」の構築がゴールであるという勘違いに陥ることがあります。しかし、A/Bテストの目的はより良いサイトを作ることだとシウさんは話します。

◆19：最新ソフトは不要

By Taryn Domingos

A/Bテストのソフトは日々新しいものが登場しており、複雑な解析やグラフィカルな解析結果を提示してくれるものもあります。しかし、シウさんは最新のソフトが最良とは言えないとし、単純な解析しかできなくてもシンプルで比較的安いソフトが良いと話します。

◆20：適度なバランス

By Steven Lilley

サイトを改良するときに定石が通じないこともよくあります。シウさんは、以前、あまりにも情報量が多くて見栄えの悪いサイトをもっとシンプルにしてはどうかとクライアントに提案し、最適化を行ったサイトと従来のサイトをA/Bテストしたところ、従来のサイトの方が良い結果を出したことがあったと言います。サイトの最適化テクニックだけにとらわれずに顧客サービスとの適度なバランスを考慮することが大切とのことです。

◆21：結果をじっと待つ

By cadillacdeville2000

A/Bテストの結果は、白黒がつくのに時間がかかる場合があるため、時として長時間のテストが有効な場合があるとのこと。シウさんは、かつて大量の作業が必要な案件で9ヶ月という長期間にわたってサイトの改良を行った際に、当初、明らかになっていた勝者と敗者が途中で逆転するのを見たことがあるそうです。A/Bテストの結果を焦ってはいけないとのことです。

◆22：逃げ道をふさいではいけない

By Bart

ランディングページのコンバージョンを上げるためには「ページ内にユーザーの『逃げ道』となり得るリンクを徹底して排除するのが良い」という常識があります。しかし、Scribeがリンクをつけたページとリンクをすべて取り除いたページでA/Bテストを行ったところ、リンクありのページが勝利しました。これもまた、常識や定石に疑いをかけたA/Bテストの必要性の例だとシウさんは話し、常識をも疑う姿勢がA/Bテストで大切だとしています。

◆23：テストあるのみ

By Rachel Cobcroft

最後にシウさんが教訓としてあげていることは、A/Bテストにこれでいいというゴールはないということ。仮に現在ベストなものが選択できたとしても、最も良いサイトの形は時間の経過と共に変化するので、常により良いものが作れないかをA/Bテストし続け改良を続けることが大切だと話しています。