A/Bテストを実行する際にやってしまいがちな典型的ミスまとめ
A/Bテストを始め、多数の分析・調査ツールを提供するサービス「PostHog」の公式ブログにおいて、エンジニアのリオル・ノイナー氏がA/Bテストを実行する際にやってしまいがちな典型的ミスをまとめています。
A/B testing mistakes I learned the hard way
https://newsletter.posthog.com/p/ab-testing-mistakes-i-learned-the
ノイナー氏はMetaで働いていた時や、個人的なプロジェクトなどにおいて数百回のA/Bテストを実行してきたとのこと。「数百回の経験を元に苦労して学んだ典型的な間違い」をノイナー氏は6つ述べました。
◆1：検証する仮説が不明確
テストを行うときの仮説は「何をテストするのか」「なぜテストするのか」が明確であるべきです。仮説が不明確だと、時間を無駄にするだけでなく、知らないうちに製品に損害を与えるような変更をしてしまう場合があります。
ノイナー氏は悪い仮説の例として、「『レジに進む』ボタンの色を変更すると購入が増える」という仮説を紹介しました。この仮説では、なぜこの変更によって購入が増加すると期待しているのかが不明瞭であり、ボタンのクリック数だけを測定すれば良いのか、その他のどんな指標を確認すれば良いのかが分かりません。
一方、良い仮説とは「ユーザー調査により、ユーザーは購入ページに進む方法がわからないことがわかりました。ボタンの色を変更すると、より多くのユーザーが気付いて購入ページに進むようになります。これにより、購入が増えることになります」というようなものとのこと。この仮説に従えば、ボタンのクリック数と購入数を確認すれば良いことがわかります。
このミスを防止するためには仮説が「なぜテストを実行するのか」「どのような変更をテストするのか」「何が起きると予想されるのか」という3つの質問に答えているかを確かめるべきとのこと。
◆2：全体の結果のみを表示する
例えば、全ユーザーを対象にしたA/Bテストで次のような結果が出たとします。結果だけを見ると、変更後の「Test」バージョンの方がコンバージョン率が倍増しているように見えます。
しかし、端末の種類ごとに結果を確認するとこの通り。デスクトップ端末では変更しない方がコンバージョン率が高いという結果になりました。
グループ単位の結果と全体の結果が必ずしも一致しない「シンプソンのパラドックス」が発生する可能性があるため、デバイスの種類のほか、「価格帯」「新規ユーザーかリピーターか」「獲得チャネル」などユーザーの属性に分けて実験結果を確認するべきです。
◆3：影響を受けないユーザーを実験に含める
・関連記事
A/Bテストを無駄にしないために取り入れるべき統計学的な視点とは - GIGAZINE
あらゆるサイトの収益を劇的に改善してきた実験手法「A/Bテスト」の実施に関するヒント - GIGAZINE
効果的なA/Bテストのやり方とその心構え23個まとめ - GIGAZINE
A/Bテストでの見出し変更で判明した「人気記事」を作り出すコツとは？ニューヨーク・タイムズの場合 - GIGAZINE
A/Bテストでおかしがちな7つのミス - GIGAZINE
・関連コンテンツ
