読んでもらいやすい案内メールを作り出すためのA/Bテストとは？

By JamesRoseUK

無料で最大2000人の登録者に月1万2000通までのメールマガジン・ニュースメールを配信できるウェブサービスMailChimpは、効果的なメールを作成するためのツールとしてメールの件名や送信時間などをA/Bテストできるサービス「A/B Testing」も提供しています。MailChimpはA/B Testingを利用する顧客のテスト結果をもとに「効果的なメールデザインを探し出すA/Bテストのやり方」を公開しています。

A/B Testing in MailChimp: 7 Years of Successful Experiments | MailChimp Email Marketing Blog
http://blog.mailchimp.com/ab-testing-in-mailchimp-7-years-of-successful-experiments/

A/B Testingは2007年にサービス開始以降、効果的なメールマガジン作成に利用されているツールで、2013年には20万件以上のテストが実行されているとのこと。これまで実行されたメール用のA/Bテスト結果から、MailChimpが導き出した「効果的なA/Bテストのやり方」は以下の通りです。

◆A/Bテストする項目

By Marie-Chantale Turgeon

・1：件名
「注目されやすい件名は何か？」「開封されやすい件名は何か？」を考えるのは非常に大切です。

・2：差出人
差出人の名前についてもA/Bテストすべきです。メールを送信する対象ユーザーが個人・組織のどちらの名称で送られたメールに反応しやすいのかを確かめる必要があるとのこと。

・3：送信日時
「メールを開封してもらいやすい日時」というものがあるはずで、これらの調査も重要。

・4：コンテンツ
当然、メール本文のイメージ画像・レイアウト・メッセージもA/Bテストの対象です。

◆A/Bテストする注意点
どんなA/Bテストにおいても共通する大切な事項は「一度にたくさんの部分を変更しない」ということ。複数の箇所を同時に変更した場合、仮に有意性のあるコンバージョンレートの差が出たとしても何が奏功したのか判断できなくなるからです。

さらに、テストの時間についても注意するべきだとMailChimpは注意を促しています。最初の1時間で差がついたとしても、さらに1時間経過した時点で結果が正反対になることはなきにしもあらず。テストを続行して注意深く様子をうかがう姿勢が大切とのこと。

◆A/Bテストの規模
MailChimpがオススメする配信メールマガジンでのテスト方法は、まず、全体の20％でA/Bテストを実行して、明確な勝敗がついた場合には優秀なコンバージョンレートのメールを残りの80％に送信するというもの。こうすることで、A/Bテストに必要なサンプル数を確保しつつ、得られた結果を多くのメール送信に反映できるとのこと。

◆心構え
せっかくA/Bテストを行ったのにも関わらず、ほとんど差がつかないという結果が生じることはよくあります。もしかするとメールを送られた人はわずかな変更点に注目していなくて気付かれなかったかもしれませんが、それはA/Bテストの失敗を意味するものではないとのこと。大きな成果を上げるために最も大切なのは、繰り返し繰り返し根気よくコンスタントにA/Bテストを行うことだとMailChimpはアドバイスしています。