AMDがIntelとのベンチマーク比較についてフォルクスワーゲンの不正と同じ事だとほのめかす

PCを選ぶときにマシン性能を比較・検討することはごくごく普通のことであり、中でも使用したときの「体感速度」は重要な要素の一つです。この「体感速度」を推測するための指標として「ベンチマークソフト」が大きな役割を果たしていますが、半導体大手のAMDが、ライバルIntelのマシンと比較実験を行って、ベンチマークソフトの出す結果のおかしさを糾弾するムービーを公開。その中で、排ガス逃れのための不正プログラムを仕込んでいたことが世界的に大問題となっているフォルクワーゲンを例に挙げています。

Truth or Myth?: Is SYSmark a Reliable Benchmark? - YouTube

「PCを購入するときに『マシン性能』は最も大切な判断要素です」と話すのはAMDのコンピュータープロダクトディレクターのジョン・ハンプトン氏。しかし、PC業界にはこの判断を誤らせる要素として「間違った」ベンチマークソフトの存在があるとのこと。

「最近、大きな自動車会社の性能テスト結果に対する不正がありました」と、フォルクスワーゲンのテスト偽装ソフトウェア問題を絡めるハンプトン氏。Intelのベンチマーク結果は同じような偽装の産物だとほのめかしています。

正しい性能を計測できるベンチマークの重要性を説いた後で、「では、ベンチマークソフト『SYSmark 2014』は信頼できるのでしょうか？」と、本題に切り込んでいきます。

AMD研究所はSYSmark 2014が信頼に足るか否かをデータで検証するとのこと。ここで、トニー・サリナス氏にバトンタッチ。

「SYSmark 2014の信頼性を検証するために、比較としてPCMark 8を使ってみます」と述べるサリナス氏。

まずは、SYSmark 2014のベンチマーク結果を提示。Intel製CPUのCore i5を用いるPCのスコアは「987」

一方、AMD製CPUのFXシリーズを用いるPCのスコアはというと……

「659」。Intel製CPUの方が約50％もハイスコアとなっています。

「しかし、このスコアはPCを実際に使用していて感じる印象をまったく反映していません」と語るサリナス氏。

「それではベンチマークソフトをPCMark 8に変更してみましょう」

PCMark 8でのIntel Core i5のスコアは「4199」

一方、AMD FXのスコアは「3908」。その差は約7％に縮まりました。

「なぜ、このような結果の大きな違いが生じるのでしょうか？」

その理由は、ベンチマークソフトの性格にあるとのこと。サリナス氏によると、SYSmark 2014はほとんどCPUの演算能力のみを考慮して性能スコアを提示するのに対して、PCMark 8ではCPU、GPU、GPUサブコンポーネントシステムなどCPU以外の能力を考慮した上で総合的な性能スコアを表示するから。単にCPUだけ猛烈に使うというような特殊な使用シーンを除けば、一般的なPCの利用場面では総合的な性能こそが体感速度を正確に反映すると主張しています。

ベンチマークでマシン性能を計測するときには、そのベンチマークソフトの計測結果が、どのような要素を考慮しているのかを理解した上で比較する必要があるというわけです。

「ここで、多くのユーザーが日常的にPCを使う場面ということで、Officeスイートでのワークロード時間を使ってマシン性能を比較してみましょう」

Intel Core i5では61秒なのに対して……

AMD FXは64秒。その差は約6.7％。PCMark 8のスコアと近いものになったとのこと。

これらの検証から、SYSmark 2014がPCMark 8ほどは、一般的なソフトウェアの利用シーンでの体感速度を反映できていないことが明らかだとのこと。

結論として、SYSmark 2014は日常での体感速度を調べるベンチマークソフトしては不適格。

ベンチマークソフトとして重要なのは、「現実的であること」「バイアス(偏り)がないこと」「客観性があること」「透明性があること」という4要件をAMD研究所は掲げています。