1日1000個のA/Bテストを行う「Booking.com」の開発の裏話を聞いてきました【前編】

宿泊予約サイトの「Booking.com」は社員数人のスタートアップから始まり、1万3000人の世界的規模にまで成長した会社。「2つの選択肢のうちいずれがユーザーにとって優れているか？」ということを調べるためにA/Bテストを行うウェブサービスやウェブサイトは多くありますが、Booking.comでは何と毎日1000個のA/Bテストを行っているとのことで、開発の裏側はどうなっているのか、最高製品責任者(CPO)のデイビッド・ビシュマンズ氏に話を聞いてきました。

国内も海外も！ホテル・旅館の予約はBooking.com
http://www.booking.com/index.ja.html

写真の男性がデイビッド・ビスマンズ氏。

「Booking.comで行われているA/Bテストとはどういうものなのか？」ということで、まずサンプルを見せてもらいます。1つ目のA/Bテストは、検索結果として現れたホテルのリンクをクリックした時に、一方のウェブサイトは新規タブが開かずにページが移行、もう一方のウェブサイトは新規タブが開いてページが移行するという内容の時、最終的な成約率は変化するのか？というもの。

新規タブが開いたか否かで成約率が増えるのか減るのか、それとも変わらないのか……。

2つ目のA/Bテストは、指定した期間内では泊まりたいホテルで予約が取れなかったときに、「The previous week(1つ前の週)」「The next week(1つ後の週)」の空室状況を表示させるリンクをつけるというもの。これも、提案を行わない場合と、空き室がある他の週を提案した場合で最終的な成約率に変化が出るのか、テストされました。

3つ目のテストは、テキストの表現について。各ホテルの予約において「Free cancellation,pay when you stay(キャンセル無料、現地払い)」「Free cancellation-PAY LATER(キャンセル料無料・支払いは後で)」と表記を変えた場合、成約率に変化が出るのか出ないのか、ということがテストされました。

そして最後はモバイル端末での表示について、左から「価格・最大収容人数・選択ボタン」にするか「最大収容人数・価格・選択ボタン」にするかで成約率に変化が出るのか出ないのかが確かめられました。

1問目の答えは「新規タブが開いてページが移行した方が成約率が上がる」、2つ目の答えは「1つ前の週、後の週について提案を行っても成約率は変わらない」、3つ目は「『キャンセル無料・支払いは後で』と表記した方が成約率が上がる」、最後の質問は「最大収容人数・価格・選択ボタン、の方が成約率が上がる」というのが正解でした。

以前までは、「ウェブサイトのデザインをどうするのか」という問題に対しては専門家に相談するという方法がありましたが、テクノロジーの発達によって専門家に相談せずとも、A/Bテストを用いた科学的な方法で最良の手段を明らかにすることができるようになりました。ただし、A/Bテストによって導き出された答えは「なぜ？」という部分がわからないのも事実。例えば表記の順序を「最大収容人数・価格・選択ボタン」にした方が最終的な成約率が上がるということは事実なのですが、理由について「価格の表記が真ん中に表示されて目立ったがために成約率が上がったのだろう」と予測することはできても、それが事実かどうかは知ることができません。

ウェブサイトやアプリにもたらした変化に対して「カスタマーがどんな反応をするか」ということの予想を行うのは非常に困難で、A/Bテストの結果が専門家の考えと必ずしも一致するわけではありません。そのため、テストの測定をしっかりしないと、変化をもたらすことによって製品を悪化させてしまう可能性もあります。

上記のようなA/Bテストを、Booking.comは1日1000個も行っているとのこと。別環境で同じトップページを開いた以下の画像からも、コンテンツの配置や表記などが異なるのがわかります。ということで、どのように大量のA/Bテストを実行できているのかなどを聞いてみました。

Q：
Booking.comで行っているA/Bテストの被験者の集め方というか、要件はどういうものなのでしょうか。

デイビッド・ビシュマンズ(以下、ビシュマンズ氏)：
特定のユーザーに絞っているのではなく、Booking.comを見ている一般のユーザーたち全員です。ウェブページであろうがモバイルであろうが、Booking.comにアクセスしてくる人たちの半分には1つの表示を見せ、もう半分には別の表示を見せています。

Q：
被験者はA/Bテストをしているという意識がないということですか？

ビシュマンズ：
まさにその通りです。そして、どちらのパターンが最終的な成約に繋がったのか、というのを測ります。毎日1000個のテストを行っており、表示の組み合わせによっていろいろなパターンがありますので、カスタマーは同じサイトをほとんど見ていないということになります。

Q：
サンプル数は大体どのぐらいでしょうか。

ビシュマンズ：
アクセスしたユーザー全てなので、200万～2000万ぐらいですかね。

Q：
比較は1つずつしかできないと思うのですが、1000個もどのように組み合わせているのでしょうか。時間をずらしたりしているのですか。

ビシュマンズ：
同時に1000個のテストができるツールがあって、ユーザーによってはいくつものテストを見ている場合もあります。

Q：
複数のテストを同時に行った場合に、どの組み合わせが一番良いのかというのを判断するのが非常に難しいと思います。どのように結果を検証して新しいエクスペリエンスに繋げていっているのでしょうか。

ビシュマンズ：
非常に複雑なシステムですが、できるんです(笑) ただ、それを説明するにはかなりの時間がかかってしまいます。

Q：
例えば人力でその結果を見て「こっちが良いね」と判断しているのか、ディープラーニングなどコンピューターの力を使って、判断を自動で導き出しているのかどっちなのでしょうか。

ビシュマンズ：
ツールで分析結果を出し、最終的にそれを調整するのは人間です。

Q：
最終的に判断するのは人間の力だということですね。

ビシュマンズ：
最終的な決定はそうです。

Q：
A/Bテストだったり、メッセンジャーサービスだったり、ユーザーが予約して泊まった後の感想だったり、毎日膨大な量の情報が集まってくると思うのですが、どれぐらいの情報が来ているのでしょうか。

ビシュマンズ：
もう数えるのをやめてしまいましたが、今Booking.comにあるデータの総量は15ペタバイト程になっています。それだけの量があってもシステムが追いついておらず、まだ20％も見れていないかもしれないので、そこに非常に大切なデータが眠っている可能性はあります。

Q：
その膨大なデータをどのように精査してウェブサイトの改善につなげていくのでしょうか。

ビシュマンズ：
データのパターンを読み取るんです。カスタマーの動向を見ることによって、どのような新しい機能を増やしていけるかということに使います。レビューや口コミに書かれた体験も活かしていけます。

例えば、これまでの方向だと「カスタマーはどこに行きたいのか？」という部分の手助けをすることが大きかったのですが、今ではどこに行きたいのか、いつ行きたいのかが分からない場合、それをサポートする機能もあります。

これは「目的地サーチ」という、目的地を探すための機能なんですけれども、まだ目的地が決まっていなければ、ここでユーザーを手助けして、行きたいところを探してあげることができます。

Booking.com ブッキングドットコム: 目的地サーチ
http://www.booking.com/destinationfinder.ja.html

目的地サーチは「Endorsements(推薦)」という方法を使っていて、以前そこに行った旅行者の意見などを基に作られているんです。「一番良いビーチはどこか」と検索すると、今までのユーザーがどこのビーチが良かったかという意見を基にして作られたリストが出てきます。

旅行者おすすめ！世界中で「ビーチ」といったらココがベスト - Booking.com ブッキングドットコム: 目的地サーチ

宿泊の予約はしたけれども「そこで何をしよう？」という状態の時に、目的地に着いた後で、どんなことができるか、どんなオプションがあるか、というローカルの情報を調べることも可能です。

目的地に着いた後もいろいろな形でサービスを提供することで、テクノロジーも駆使しながら、ユーザーの旅全体をより良いものにしています。新しい製品を開発するこのようなアプローチは非常に科学的で、正しい方法なのだと考えています。

また、宿泊施設のオーナーが違う言語を話す場合もリアルタイムで翻訳されて正しいメッセージが送られる「ブッキング・メッセージ」というシステムも生まれました。

Booking.com Launches New Messenger App
https://news.booking.com/bookingcom-launches-new-messenger-app

今は人と人とのやりとりになっていますが、いずれは人工知能を使って自動で会話をすることでホテルへの負担を減らしたいなとは考えています。ただ、その前に質問と答えの多大なるデータを集める必要があります。どのような質問があり、どのような答えがあるのかという情報を集めるという意味でも、ブッキング・メッセージを使っている訳です。

Q：
ホテルの人たちやたくさんの人たちとのやりとりの中で集まった膨大なビッグデータは、他のパートナーに対してパッケージにして売ることもお考えでしょうか。

ビシュマンズ：
いえ、ありません。

Q：
それはなぜでしょうか？

ビシュマンズ：
一つ一つの会話を見ているのではなく、マシンラーニングを用いて大まかな形で見ているからです。自社にとって非常に重要な情報ですので、それらのデータを公開することはありません。

・つづき
1日1000個のA/Bテストを行う「Booking.com」の開発の裏話を聞いてきました【後編】 - GIGAZINE