Amazon・Google・Microsoftが自社クラウドの性能比較レポートに提言、2021年以降の比較方針が修正される

商用のデータベース管理システムを開発するCockroach Labsが2019年12月に公開した、AWS・GCP・Microsoft Azureの性能をベンチマークで比較した「2020年のクラウドレポート」に対し、Amazon・Google・Microsoftから不適切な比較方法への指摘などの提言がありました。これを受け、Cockroach Labsは2021年以降のレポート作成における比較方法の修正内容を公表しています。

AWS, Azure, & GCP Respond to the 2020 Cloud Report | Cockroach Labs
https://www.cockroachlabs.com/blog/aws-azure-gcp-respond-to-the-2020-cloud-report/

Cockroach Labsが2019年に公開したレポートでは、AmazonのAWSが全体として良好な成績を収めていました。レポートの詳細は、以下の記事を読むとよくわかります。

Amazon・Google・Microsoftのクラウドのパフォーマンスを比較した結果が公開中 - GIGAZINE

今回のレポートを公開した後、Amazon・Google・Microsoftから複数の比較要素についてフィードバックを受けたとのこと。例えば、GCPの検証に使用したN1インスタンスでは「--min-cpu-platform=skylake」というオプションを指定し、使用するCPUの世代を限定すべきであるという指摘や、Microsoft Azureにおいて基本的にはデフォルトで有効になっている「ネットワークのアクセラレーション機能」が無効になっているという指摘、仮想マシン間の物理的距離の条件がクラウド間で統一されておらず、通信の遅延が異なるという指摘などを受けたそうです。

Cockroach Labsはこうした指摘を受け、2021年版のレポートでは比較方法について複数の修正を行うとし、その内容を公表しました。まず、2020年版のレポートではクラウドによって異なるバージョンのOSがインストールされており、ストレステストに利用しているソフトのバージョンが統一されていなかったため、OSのバージョンを各クラウド間で統一してCPUのストレステストに利用する「stress-ng」コマンドのバージョンを統一しました。

ネットワークにおいては、サポート期間内である「iPerf2」を帯域測定に引き続き利用しつつ、Azureが高速化をサポートしていないICMPに代わってTCPによる速度測定を行うそうです。

また、ストレージについて、2020年版ではローカル接続とネットワーク接続のストレージを合わせた数値を公開していましたが、20201年版からは区別をし、よりクラウド間の違いをわかりやすくするとのこと。ベンチマークソフトは引き続き「Sysbench」を利用し、オンライントランザクション処理に負荷をかけた際のパフォーマンスを測定していきます。しかし、Microsoftによる「Sysbenchのようなメモリーとストレージを同期するfsyncを頻繁に行うベンチマークテストは効果的でない」という指摘も考慮し、設定を調整すると述べられています。

TPC-Cの結果については、ext4のライトバリアを無効にした条件下での数値でしたが、ライトバリアが無効の状態は仮想マシンが危険にさらされており、不適切との指摘がありました。しかし、クラウド各社はいずれもライトバリアの有無による障害の耐久度に関する情報を公開していないため、比較が困難であるとのこと。

Cockroach LabsはAmazon・Google・Microsoftの各社と調査段階から協力し、より正確なレポートを顧客に届けることを目指すと述べています。