Cloudflareの「Fastlyより3倍高速」のウソを暴く検証結果をFastlyが公開

Cloudflareは2021年11月20日に、公式ブログで「自社サービスはFastlyのエッジコンピューティングプラットフォームであるCompute@Edgeより196％も高速である」とする記事を公開しました。これに対し、FastlyがCloudflareのパフォーマンス測定の手法には欠陥があると指摘し、「統計のウソに基づく無意味な結論」と反論しています。

Lies, damned lies, and (Cloudflare) statistics: debunking Cloudflare’s recent performance tests | Fastly
https://www.fastly.com/blog/debunking-cloudflares-recent-performance-tests

Fastlyによると、Cloudflareが実施したテストには以下の6点の欠陥があるとのこと。

・計測に用いた測定サービス「Catchpoint」のノードが厳選されており、都合のいい結果につながるものを抽出したことが疑われる点。
・JavaScriptを正式にサポートしているCloudflare Workersと、JavaScriptのサポートがまだベータ版のCompute@EdgeとでJavaScriptを動作させて比較した点。
・Cloudflareが用いたFastlyアカウントが、有料アカウントより機能が限定的で負荷テストには向かないトライアル用の無料アカウントだった点。
・テスト時間がたったの1時間だったため、日々発生する異常なイベントや特定のトラフィックパターンの影響がテスト結果に織り込まれにくい一方で、ランダムな偏りが反映されやすかった点。
・テストコードについて「現在の時刻を返すだけの関数を実行した」としていたにもかかわらず、その後に受信リクエストのヘッダーのコピーを返すサンプルコードが示されており、どちらかの記述が間違っていると考えられることから、テストの客観性や再現性が担保されていない点。
・計算負荷がほとんどなく、ペイロードもそれほど大きくなく、プラットフォームAPIも使っていないテストで「最初の1バイトを受信するまでの時間(TTFB)」、つまりサーバーの応答時間を評価しても意味のあるパフォーマンス測定とは言えない点。

上記の点を踏まえ、Fastlyは「ノード数を50から673に拡大」「期間は1時間から1週間に延長」「無料のトライアルアカウントではなく有料のFastlyアカウントで測定」「JavaScriptではなくRustでコンパイルされたWASMのバイナリを使用」という条件によりTTFBを計測するテストを実施しました。

その結果が以下。6つのリージョンのうち、アジアとアフリカを除く4つのリージョンでFastlyのほうがTTFBが短い、つまりパフォーマンスが良好だということが示されました。特に北米とヨーロッパでは約2倍、オセアニアでは約10倍も高速だったとのこと。また、FastlyはJavaScriptが使われていない点について「JavaScriptのサポートが多くのお客様にとって重要であることは承知していますが、私たちはCompute@EdgeにおけるJavaScriptのパフォーマンスに満足していません。これが、JavaScriptのサポートがまだベータ版である理由です」と説明しています。

Fastlyが指摘しているとおり、TTFBだけではサーバーのパフォーマンスの指標としては不十分です。そこで、FastlyはTTFBがCloudflareより遅かったアジアリージョンで「ネットワークのラウンドトリップタイム(RTT)」と「TTFB」を計測し、その中央値を以下のとおりグラフ化しました。2つのグラフのうち、左がFastlyの標準のサービスタイプであるVarnish Configuration Language(VCL)の結果で、右がCompute@Edgeの結果です。特に、VCLではネットワークRTT(青)とTTFB(緑)がほぼ同じになるほど、キャッシュヒットが高速なことが分かりました。

こうした点からFastlyは「Cloudflare WorkersがCompute@Edgeよりも196％も高速だというのは絶対にありえません」と結論づけました。また、Fastlyはより現実的な環境でパフォーマンスを評価するベンチマークに取り組んでおり、第三者機関からベンチマーク結果が出たら改めて公表する予定とのことです。