4万台以上のHDDを運用して得たモデル別故障率の「生データ」が公開されダウンロード可能に

By Daniel "LWS" Nimmervoll

オンラインストレージサービスBackblazeが公開しているHDD運用データを元にした「メーカー別HDD信頼性レポート」は、特定のメーカーの信頼性の高さや特定メーカー・特定モデルの圧倒的な壊れっぷりなどが一目瞭然で、業界関係者の注目を集めるだけでなく、一般人がHDDを吟味するのに大いに役立っています。しかし、あまりにも突出した故障率の高さを示すモデルの存在が明らかになる一方で、「このデータは本当に正しいのか？」という素朴な疑問が沸いてくるのが自然なところ。そんな疑問に答えるべくBackblazeは、これまで運用してきた4万台を超えるHDDのS.M.A.R.T.(スマート)値の「生データ」を一挙に公開。故障率の集計の仕方まで解説しています。

Hard Drive Test Data - Determining Failure Rates and More
https://www.backblaze.com/hard-drive-test-data.html

上記ページの下に、これまで運用してきたHDDのスマート値が年度別にCSVファイルで公開されています。このデータはもちろんダウンロード可能。2013年分が約800MB、2014年分が約3GBという巨大なファイル容量が、データの「密度」を物語っています。

例えば2013年4月10日のデータはこんな感じ。HDDはメーカー・型番だけでなくシリアルナンバーも表記されており、スマート値は全部で80種類記入されており「0」が正常値。ただし、メーカーによってスマートで計測して出力される種類が異なるためモデルごとに空欄があり、また一部の値についてはメーカーからの情報がなく何の意味を持っているのかが不明なものもあるので、モデル別に相対的に比較する必要があるとのこと。

公開された生データは運用する全HDDで毎日集計されたもの。業務上使っているデータそのものという事実だけで信頼性がありそうです。もっとも生データなので、それ自体を眺めていても故障率の高さや信頼性あるHDDを理解するのは困難です。そこで、生データからHDD故障率を集計する方法の仕方をBackblazeは例示しているので、実際に実行してみました。

上記サイトのページ下部から「docs.zip」「2014_data.zip」というファイルをダウンロードし、デスクトップなどに保存してから「Explzh」などを使って解凍しておきます。

次に、SQLiteの公式ページの「Download」をクリック。

今回はWindows搭載PCを使うので、「Precompiled Binaries for Windows」のコマンドラインシェルプログラムをクリックしてZIPファイルをダウンロード、解凍します。

好きな場所にフォルダを作って、先ほどダウンロード・解凍しておいた「2014_data」フォルダの中の「2014フォルダ」、「docs」フォルダの中の「すべてのSQLファイル」、SQLフォルダの中から「sqlite3.exe」をすべてコピーします。今回は分かりやすいようにデスクトップに「test」というフォルダを作成してすべてのファイルをコピーしました。

次にコマンドプロンプトを起動させ、「cd desktop」→「cd test」と入力してtestフォルダに移動してから、「sqlite3 drive_stats.db」と入力して実行。

「.read create_table.sql」と入力して実行。

「.read import.sql」と入力して実行。

すると2014フォルダ内のCSVファイルがインポートされるのでしばらく待ちます。インポートが完了したら、「.read stats.sql」と入力して実行。

「.mode columns」と入力して実行。

最後に「select * from failure_rates order by model;」と入力して実行すると……

こんな感じでモデル別HDDの故障率の集計データが出力されました。

この出力結果をグラフ化したのが、すでに記事にした「HDD4万台以上の運用データが公開され信頼できるハードディスクメーカーの傾向に変化が生じていることが判明」で使われたグラフ(色つき)というわけです。

なお、Backblazeが公開するHDDクラッシュ生データは、「ソースがBackblazeだと示すこと」「データは自己責任で使うこと」「データを売り物にしないこと」という条件の下で、自由に使ったりシェアしたりしてOKとのことです。