Huaweiスマホがベンチマークのときだけ性能を爆アゲするチートモードを使っていると判明

スマートフォンの世界シェア2位のHuaweiが、ベンチマークアプリを検出すると一般モードとは別の「裏モード」を起動してスコアを爆増させていたことがわかりました。

Huawei & Honor's Recent Benchmarking Behaviour: A Cheating Headache
https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache

Benchmark smartphone drama: We wouldn't call it cheating, says Huawei, but look, everyone's at it • The Register
https://www.theregister.co.uk/2018/09/05/huawei_on_smartphone_benchmarks/

Huaweiのベンチマーク・チート行為を指摘したのはAnandTech。なお、AndandTechは、これまでにもSamsungのGalaxy S4でのベンチマーク・チートを摘発するなど、実際の実力以上にスマートフォンを高性能に見せかける行為を糾弾してきたことで知られています。

AnandTechのアンドリュー・フルムアヌ氏とイアン・クトレス氏は、Huaweiのハイエンドスマートフォン「Honor Play」でベンチーマークテストを行っている中で、まったく同じSoCを使っているHuaweiの「P20」に比べてベンチマーク結果が異様に高いことに気づきました。なお、P20が旧モデルのHuawei Mate10に比べてもスコアが悪く、その後のアップデートでスコアが向上するなど結果にばらつきがあったこともAnandTechは確認していたことから、Honor Playのベンチマークをより詳細に検証することになったようです。

検証の結果、Honor Playでは特定のベンチマークアプリが実行されていることを検出すると、消費電力アップや高発熱を理由に通常用途では行われないほどのハイパフォーマンスモード(BMモード)が起動して、ベンチマーク結果をかさ上げしていることが判明したとのこと。

GFXBench T-Rex(オフスクリーン)でのベンチマーク実行時の消費電力を調べると、BMモードのオン/オフでフレームレートは66.54fps→127.36fpsと変化し、平均消費電力は通常モードが4.39Wだったのに対してBMモードでは8.57Wに爆増したことが確認されています。

Honor Playで採用されていたBMモードはCPUやGPU性能を過度に引き上げることから発熱量が多く、スマートフォンのオーバーヒートを引き起こしかねず、さらにバッテリーを著しく消費するため、一般的なモバイル利用では適用されないモードです。つまりは良好なベンチマーク結果を引き出すためだけの裏モードで、端末の性能をユーザーに誤認させる可能性の高いものだといえます。

AnandTechはスマートフォンの性能は処理速度の速さだけでは測ることができず、バッテリー寿命などその他の重要な要素を加味した上で評価すべきものであり、もはやベンチマーク結果のみで判断すべきものではないと考えています。

BMモードの存在についての回答を求められたHuaweiのコンシューマー・ビジネス部門のソフトウェア責任者のワン・チェングル氏は、「他の企業も同様の行為を行って高いスコアを得ています。Huaweiとしては黙っていられません」とチート行為を暗に認めた上で、ベンチマーク結果が消費者の購買行動を左右する中で、他の企業との競争上必要なことだと弁解しています。

Huaweiは「ベンチマークアプリ開発者と協力して、ユーザー体験を正確に反映するベンチマークの基準を探している」とも述べている通り、スマートフォンの性能を簡単に比較できる現状のベンチマークアプリにも問題はありそうです。いつまでたってもベンチマーク・チート行為がなくならないのは、端末のレビュワーやユーザーが性能比較材料として単純で簡単なベンチマークスコアに依存していることの裏返しかもしれません。もはや、スマートフォン利用時の体験をそれほど反映することがないベンチマークアプリのスコアを過信するべきでないという教訓を、ベンチマークチート事件は与えてくれます。