ネットサービスの技術責任者が実例に照らして語るA/Bテストの活用法とは？

By Ricardo Alguacil

旅行サイトを比較するサービス「KAYAK」の技術責任者がA/Bテストへの取り組み方を実例を交えて説明しています。

Apptimize | KAYAK’S Most Interesting A/B Test
http://apptimize.com/blog/2014/03/kayaks-most-interesting-ab-test/

KAYAKの技術責任者のヴィナヤック・ラーナデー氏が、モバイルアプリのA/Bテストサービスを提供するAPPTIMIZEのナンシー・フアCEOとの対談で、KAYAKのA/Bテストへの取り組み方について語っています。なお、ラーナデー氏とフア氏はMITの同窓生とのことです。

フア氏に「最も興味深かったA/Bテストは何か」と聞かれたラーナデー氏は、KAYAKのモバイル端末用アプリで行ったA/Bテストで意外な結果を得たことについて話しました。ラーナデー氏によると、モバイルアプリを使うときに、人はPCを使うとき以上に商品・サービスを購入するのに慎重であるとのこと。カートに商品を入れて、最後に「購入」というボタンをタップする時に、「これをタップしたら通信エラーが起こらないか？」「情報が流出するのではないか？」「Wi-Fiを乗っ取られやしないか？」というような、セキュリティに対する不安が生じるため、そこから先へ進むのを躊躇・断念することが非常に多いとラーナデー氏は言います。

By lab604

このユーザーの不安を取り除くために、「申し込む」というボタンの下に、「この通信は暗号化によって保護されており安心です」という文言を表示させるかどうかについて、KAYAK社内で議論があったそう。一般的には、ユーザーはセキュリティへの不安が常に頭にあるわけでないため、このような情報を表示させることはかえってユーザーにセキュリティへの不安を思い出させるものであり、表示しない方が良いという見解が根強くあったとのこと。

しかし、このような業界内の慣例・常識が正しいのかについてチェックすることこそA/Bテストの意義でもあるため、ラーナデー氏たちはセキュリティの安全性について明示するもの・しないものの2種類を使ってA/Bテストを行いました。すると、結果は、セキュリティの安全性を表示した方がコンバージョン率が高かったとのこと。

このような結果が、あらゆるサービスに当てはまるものではないのは当然であり、いろいろ試行錯誤して実際にA/Bテストで試してみることが大切だとラーナデー氏は考えています。

また、「どのような問題についてA/Bテストを行うようにしているのか？その基準は？」と聞かれたラーナデー氏は、デザインをこのように変えた方がいいのではないかという意見は、経営幹部、技術者、セールス担当者、ユーザーなどさまざまな方面から出てくるものだとした上で、「それらをすべて集めてから、非常に細かな小さな違いと全体をがらっと変え得る大きな違いに分けた上で、両者のバランスに配慮しつつ試していき、有意性があるものを探していきます」と述べており、A/Bテストをする基準については、会社の採算性に影響を与えるインパクトのあるもの、これまで継続してきた改良の延長線上にあるもの、それを試すことで会社に根本的に新しい何かをもたらし得るもの、の3つの観点に焦点をあてていると回答しています。

By Torsten Werner

一方で、ラーナデー氏は、A/Bテストに頼らないデザイン変更の場面について聞かれて、最近あったiOS 7バージョンのKAYAKアプリの開発実例を紹介しています。iOS 6からiOS 7への変更は非常に大きなもので、さらに正式リリースの発表が急だったため、KAYAKのiOSアプリ開発者はかなり大規模なデザイン改良を強いられたとのこと。このような状況に出くわした場合、普通は時間をかけてひとつひとつのデザインを変更していくため、だいたい3カ月くらいデザイン変更に時間がかかるものであるところ、KAYAKでは従来のデザインの優秀さを信じて、半分の6週間で一気にデザインの再構築を行ったとラーナデー氏は話します。結果は、多くの開発者がアプリのデザイン変更に時間がかかっているのを尻目に、KAYAKは他社に先行してアプリをリリースしたおかげで大きな利益を上げたとのこと。

なお、ラーナデー氏は「A/Bテストによってサバイバルを勝ち抜いたデザインを見るのは非常に楽しいもの」と話し、その後数ヶ月間、A/Bテストを繰り返していってアプリデザインを洗練させたそうです。

時として、A/Bテストというデータに頼らないで大胆なデザイン変更を行うべき場面に出くわすことがあります。しかし、A/Bテストをする場合でも、経験や直観を信じる場面でも、「ユーザーにとって良いと思われるもの」「会社にとって全体的に見て良いと思われるもの」「商品を最終的にこうしたいというゴールを向いているもの」という基準でデザイン変更を行うことが大切であるとラーナデー氏は考えています。