超高難度の「GPFS」＆「RAID50」で1TB×96本のサーバーデータ復旧に挑んだデジタルデータリカバリーに成功手法の秘密を直撃インタビュー

容量1TBのHDDを96本搭載し、多くのスーパーコンピューターにも用いられているIBMの大規模ファイルシステム「GPFS」を採用した大規模サーバーに発生した障害を復旧するという国内でも前例がほとんどない難題に、国内9年連続日本No1のデータ復旧件数を誇るデジタルデータリカバリーが成功しました。大規模構成のサーバーであり、しかもHDD管理システムの仕様が一切公開されていないという悪条件の中で、幾度の解析を経て復旧に成功するまでの一部始終について、実際の作業はどのようなものだったかという知られざる舞台裏を直撃して聞いてきました。

データ復旧ご依頼件数　選ばれ続けて9年連続日本国内No1｜【データ復旧.com】
https://www.ino-inc.com/

◆HDD96本を使用するサーバー障害を修復
実際に障害が発生した客先に足を運んで作業にあたったのが、デジタルデータリカバリーのデータ復旧事業部で復旧グループリーダーを務める太田 高寛さん。実際に障害が発生した客先から問い合わせを受け、作業にあたった一部始終を話してもらいました。

デジタルデータリカバリー(以下、DDR)：
今回復旧したのは、大阪に拠点を置くメーカーのサーバーです。1TBのHDDを96本搭載した合計96TBの大容量サーバーで、IBM社のシステムストレージDS3400を4台使用し、IBM独自の「GPFS」と呼ばれる分散ファイルシステムを使用しています。

今回のご依頼では、拠点が大阪にある上にHDDが96本という大容量なので、機器そのものを持ち出すことが難しいという状況がありました。そんなときに弊社の無料サービスである8つの無料に含まれる「法人のお客様向けの無料出張診断サービス」を耳にされ、お問い合わせをいただいたという流れです。

お問い合わせがあったその日に私と営業担当の2名で現地に向かい、どこが壊れているのかの診断をして復旧にかかる費用の見積もりを出せる状況にまで持って行こう、ということになりました。実際に現地に着いたのは当日の夕方ぐらいだったのですが、実は私どもが到着する前にIBMの担当者が実際の機器をチェックしに来られていたようです。

GIGAZINE(以下、G)：
DDRの診断を受ける前にIBMに診てもらっていた、と。

DDR：
そうです。その場で不具合のある箇所などをヒアリングしてある程度の状況は判明していたそうなんですが、実際に復旧するとなると全く手が出ない状況だったそうです。IBMさんの判断では、HDDを取り替えて新しくリビルドで再構築するしかないということだったと聞いています。

その後、私どもが現地にお伺いして診断を実施しました。通常、私どもが機器の不具合をチェックする際にはまず、症状を調べるために1個ずつ耳を当てて音を聞くんですけれども、96本をその方法で診断するとなるととてつもなく時間がかかってしまいます。そこで、今回は午前中のIBMさんのチェックで判明していた、明らかに異常が起きていると思われる2本をピックアップして、実際に音を聞いてどこが壊れているかを確認するという作業を実施しました。

結果としては2本ともに重度物理障害が発生していました。HDDの磁気ヘッドが弱っているのと、不良セクターが多数あるという2点が判明したことから、この2つが原因で障害が生じたものと思われる、という診断結果までは当日中にお伝えすることができました。その時点ではすでに夜遅くなっていましたので、私と営業の2名は大阪にある弊社の拠点に滞在し、翌日にまた現地に向かいました。実際にはお客様もメーカー様ということで、生産されている製品の最終的な品質に関わる様なデータが96TBのHDDに全部取り溜められているということで、早期の復旧を希望されている状況でした。

G：
それはそのメーカー企業のすべてのサーバーというわけではなく、ある特定の分野のサーバーということなのでしょうか。

DDR：
ほぼすべてと思っていただいてかまいません。実際の商品のデータが保存されているため、日々のお客様対応などにも大きく影響が及ぶところでした。そのような状況もあり、お客様からは「○月○日まで」というリミットは見えない状況で、とにかく「期限は決めにくいけど早く直して欲しい」というご要望でした。

「なるべく早く復旧を」ということだったわけですが、データの復旧にあたって96本のHDDすべての持ち出しとなると、重要なデータが入っている物を持ち出すということ自体がかなりのリスクになります。また、その規模の復旧作業ということになると、作業が1ヶ月以上かかるという状況になり、お客様にとってもとても許容できるものではありません。そういうわけでいろいろと試行錯誤をしまして、サーバーやストレージはおそらくそのまま使えるということをベースに、「異常のある2本だけを持ちだして復旧する」という方法を弊社側からご提案しました。

今回の手法のもとになっているのが、「壊れているHDDからデータを抜き出して『クローンディスク』を新しく作ることができれば、理論上はクローンディスクを戻すことでうまく復旧できる」という考え方です。お客様には「この方法で行けば、最速でお客様の環境を使ったまま戻せます。難易度としては前例がないぐらい高いものですが、ご希望であれば可能です」とご提案しました。

逆に、96本全てを持ち出して作業を行うとすると、物理的なHDDの台数に加えて別の問題が発生します。今回のサーバーで用いられているIBM独自の分散ファイルシステム「GPFS」が非常に複雑なものになっているため、96本に渡って解析してデータを取り出すというのは、作業工数を見積もっても間違いなく1か月～2か月ほど必要になるボリュームでした。一方、今回ご提案した方法だと難易度はさらに高くなってしまいますが、短期間で復旧できるという点を重視して、強くお勧めした次第です。

最終的に、今回の契約に関しては金額面などの検討材料もあったことから、2本壊れていたうちの直近に壊れたであろうHDD1台を修復するということになりました。IBMさんによる解析の結果からは、今回のサーバーでは「RAID50」と呼ばれるRAID5とRAID0を組み合わせたような構築方法になっていることが判明していました。理論上はそのHDDだけ直れば環境もきちんと直るはずだという仮説に基づいた上で、「今回は1本だけを復旧」という内容でお見積もりを出し、ご契約後に作業開始となりました。その1本に関しては機器持ちだしもすぐにOKが出たので、弊社宛に送ってもらい、復旧作業を開始しました。

◆意外な壁に直面した復旧作業

DDR：
実際の復旧作業はIBMさんにも協力していただいて進めました。今回のように、物理的に壊れてしまったHDDを完全に戻すことはできません。そこで、データを取り出して中身が完全一致するクローンのディスクを作成する作業になるのですが、作業前には「どんなHDDでも良いというわけではないだろう」と予測していました。実際にHDDを取り出してみるとSeagate製のHDDだったのですが、例えばこのHDDからデータを抜き出してWestern Digital製のHDDに移してクローンを作成したとしても、うまくはできないだろう、ということです。

今回のDS3400の場合は、サーバーの筐体側で96本のHDD全ての情報を管理しており、特定のHDDが「全体のうち何本目の構成になるのか」というメンバー管理を行っているはずだと考えました。そのため、仮にクローンディスクを移植したとしても、そのHDDの情報が元のHDDとピッタリと一致しないと、例えば「102本目のHDDが入ってきた」と別のメンバーであると認識されてしまうことになります。こうなると、場合によっては全体のリビルドがかかってしまい、データが全て消えてしまう可能性すらありました。

G：
消えてしまうというのは、サーバー全体のデータが消えてしまうということですか？

DDR：
そうですね、IBMの担当者からも「可能性としてはあり得るよ」とのことでした。

そこで、なるべくリスクを最小限に抑えるために、IBMさんでストックされているSeagate製のHDDをクローン用としてお客様に準備していただき、障害が生じているHDDと一緒に弊社宛に送っていただくことにしました。そして弊社に到着後、まずは壊れているHDDの物理修復やクリーニングを実施して完全に修復を行い、その上で弊社の通常の物理復旧の技術を用いて、クローンディスクの作成までを完了しました。これが期間としては1日半ぐらいでしょうか。

G：
実際のHDDを分解し、内部のハードウェアを交換して動作する状態にしてから、中身のデータを抜き出して別のクローンディスクにそっくりそのまま移し替えるということですよね。この作業を1日半で終わらせたと。

DDR：
そうですね。物理障害の復旧に関しては私たちが9年連続ナンバーワンなんですけれども、これは弊社が物理復旧の技術に特に注力していることが理由であるといえます。実際の例として、他社で直らなかった物理障害HDDが私たちのところにどんどん持ち込まれてくるということがあるのですが、これは物理復旧の設備やエンジニアの技術投資を強化していることが知られているおかげだと思います。このような弊社だけの技術を投入することで、作業を1日半ぐらいで終わらせることができました。

このようにして完成したクローンHDDをお客様の現場に持参し、実際にサーバーに組み込む作業を実施しました。その際にはIBMさんにも立ち会っていただいて、きちんと環境が問題なく動くかどうかの検証を行ったのですが、この1回目の立ち会いでの納品は結論として失敗しています。

G：
そこまでやったにも関わらず、うまくできなかったのですね。

DDR：
そうです。そのクローンディスク単体は正常動作していたのですが、懸念していた「メンバーとして認識してくれない」という予想が現実のものとなってしまいました。クローンディスクはHDDとして動作していたのですが、サーバー全体のメンバーとして認識されず、別のものが入って来たということで、そのまま進めてしまうと再構築でデータが消えてしまう可能性が生じるという、恐れていた状況になりました。

すぐに対処を試みたのですがなかなか前に進まず、その日に関してはうまくできないまま作業を終了しました。その後は弊社で原因を分析したのですが、その中で浮かび上がってきた仮説が「クローンディスクが保持している型番やHDD固有の情報の全てを書き換えられていないため」ではないか、というものでした。型番や生産ロットレベルまで同じディスクを調達してもらったのですが、サーバーが個々のHDDが持っている固有の番号などの情報レベルまで管理する仕組みになっているために、同一のメンバーとして認識されなかったのではないか、という見解がIBMさんからも寄せられたのです。

G：
単なる型番や容量というレベルではなく、固有のID情報レベルでハードウェアが管理されていたということですね。

DDR：
はい。弊社ではそのような情報を「ファームウェア」、つまり工場出荷時のオリジナルの情報として定義しています。今回の場合はそのファームウェアまで完全一致する状態にまで持って行かないと解決できないと判断し、一度クローンディスクとオリジナルのHDDを持ち帰ることにしました。

こうして持ち帰ったHDDから、今度はシリアルナンバーやファームウェアバージョンなどを含む10種類以上のデータを移植することを試みました。本来ならばHDDに焼き付けられているファームウェアはHDDメーカーでも書きかえられないようなものであり、容易に対処できるものではありません。しかし、弊社では1日あたり50～60件レベルの修復のご依頼をいただいており、蓄積されたノウハウも相当なものがあります。そのような経験やノウハウを投入して試行錯誤することで、ファームウェアの書き換えに成功しました。これにはおよそ3日間ほどの時間を費やしました。

G：
そこはもう、実物を解析しながらという流れですか。

DDR：
そうですね。今回使われていたSeagate製のHDDにも様々なモデルがありますし、それぞれの特徴もあるので、1個1個分析して試行錯誤してみて、書き換えられるだけのファームウェア情報を全て書き換えました。というのは、IBMさんの方でも実際にサーバーがどの情報を見てメンバー管理をしているかという仕様は開発側のシークレット情報であり、IBM社内でも絶対に公開されていないことなので、参考になる資料が存在していないのです。

G：
社外だけでなく、社内に対してすらも公表されていないのですね。

DDR：
IBMの技術者の方からも「そこから先は私たちにもわかりません」ということでしたので、「これはもう、自分たちでやるしかない」ということであらゆる試行錯誤をしました。その結果、可能な限りのファームウェアの書き換えが成功したクローンディスクを作って、お客様のもとへ2回目のトライにお伺いしました。そしてクローンディスクを載せてお客様側の管理者に立ち上げをしてもらったところ、見事にメンバーとして認識が行われてサーバーが立ち上がり、無事に復旧成功ということになりました。

◆立ちはだかったIBMのファイルシステム「GPFS」

By IBM

G：
今回の1つの大きな要素はGPFSのシステムだと思うのですが、それが最も関わっている部分は、先程おっしゃっていた1回目のトライは上手くいかなかったという、シリアルナンバーがメンバー管理の部分だろうというご見解だったということですね。

DDR：
その通りです。

G：
このGPFSはIBMの中では新しい技術なのでしょうか？

DDR：
IBMの方からは、比較的歴史が長くて一番最初に作られたのが1998年だと伺っています。実際に運用が始まってWindowsサーバーなどとして使えるようになったのは2007年から2008年あたりのようです。

G：
では、ある程度枯れてきている技術といえそうだと？

DDR：
ファイルシステムとしては歴史が長いのですが、IBMさんでは結構ずっと使っているようですね。

IBM General Parallel File System - Wikipedia

G：
それが今回初めて復旧に成功した、ということなんですね。

DDR：
はい。この分散ファイルシステムを使うぐらいなので、ある程度大きな規模のサーバーで発生する問題です。そういった意味ではこの規模の依頼をお受けするというのは、なかなか珍しいケースかもしれないですね。

G：
今回は、GPFSが動作するサーバー上でのHDD障害の発生ということですが、どういったところが一番大きな問題になるのでしょうか。

DDR：
GPFSというよりは分散ファイルシステムの方がかなり復旧としてはネックになります。通常のRAIDですとHDDが複数あって、どういうデータの順番で入ってくるかということの解析が肝になってくるのですが、データが分散されてしまうために管理だけでも大変なうえに、IBM固有のロジックでやられていてそこは公開されていないということがあります。ファイルシステムの仕組みをリバースエンジニアリングして解析するのがとにかく複雑で、そこで本来ならば2ヶ月～3ヶ月かかってしまうぐらいですね。

そのぐらいの時間をかければできると思うのですが、やはり法人のお客様に2か月～3か月待っていただくというのはあり得ないことで、「だったら一から作り直すよ」となってしまってお客様にメリットをご提供できません。なるべく早く納品できるような方法をご提案できるかどうかというのが今回の大きなポイントだったと思います。難易度としては分散ファイルシステム自体が非常に高いです。

G：
あくまで今回はスピード最優先という感じでやられたと。

DDR：
そうですね。

G：
最初にお問い合わせがあって完了するまでの期間はどれぐらいでしたか？

DDR：
お問い合わせから納品までは2週間弱だったと思います。

G：
それは、依頼側での機材持ち出しにまつわる社内調整の時間も含んでということでしょうか。

DDR：
そうですね、そこが一番長くて、1週間程度を要しています。

G：
ということは、復旧にかかった期間の半分以上が依頼者側の社内稟議に費やされているという状況ですか。

DDR：
実際に「お願いします」と機器が送られてから、最終納品までは1週間ちょっとです。

G：
復旧の方法としては再構築するよりもこういう形で入れ替えてしまうのが時間も早く効果も抜群にあるのでしょうか。

DDR：
はい、入れ替えることのメリットをお客様にはご提案しました。実際にストレージされているデータ内容量は50TBぐらいだったのですが、再構築によるデータ復旧の場合だと96本全てを分析してきちんとデータが取り出せる状況になったうえで50TBを別メディアに移して、それをお客様に納品して、お客様が自社で共有できるようにサーバーにアップロードするというプロセスになります。ここで生じるロスを考えると、今ある環境を復旧するというのが一番よい方法だろうということでご提案しました。

G：
DDRでは「8つの無料」ということで電話相談や初期診断費用、バックアップ作業費用、出張診断費用などを請求しないというメリットを打ち出されていると思うのですが、残念ながら上手くいかなかった1回目のトライに関しても費用は発生していないということでしょうか？

DDR：
もちろんです。

G：
おお、そうなんですね。

DDR：
基本的には出張は何でもかんでも無料です。他社の中には出張診断代だけで10万円程度の費用がかかるというケースもあるとお聞きしていますが、弊社では「お客様の機器のどこが壊れているのか」というのが最重要で必要な情報だと思いますので、そこでお金を頂くのは違うなと考えています。また、修復に必要な費用に関しても、事前にお見積もりで提示した上で契約いただき、成功時にご請求という流れになるので、お客様にも納得していただけるものになっているかと思います。

◆実際に修復を行っている社内の現場に潜入
当日は、実際に依頼のあったPCやHDD、さらにシリコンメディアなどを修復している現場を見せてもらいました。

作業エリアに入る際には、このようなセキュリティゲートを通過する必要があります。これは空港などでも使用されている性能のゲートとのことで、身に付けている金属を探知します。ただし、検査する目的は危険物の探知というよりも、記録メディアの持ち込みを防止することでデータの流出を防止するためとのこと。顧客から大事なデータを扱う企業ならではのセキュリティ体制が構築されています。

オフィス全景。多くのスタッフが働いている状況で、少し手狭にも見えますが、2016年内にさらに広いオフィスへの移転が決定しているそうです。

依頼を受け、持ち込まれたり送付されてきたりした機器はまず「入出庫エリア」で管理が行われ……

「初期診断エリア」でまず診断を行い、診断に応じて奥にある「物理復旧エリア」へと送られます。

オフィスには多くの見学者が訪れており、このようなパネルも設置されています。データ復旧を成功させるカギは、なによりも「正確な初期診断」とのこと。

磁気ヘッドの故障など、HDDを分解する必要のある作業を行うためのクリーンルームが設置されているのが大きな特長。実は自社でこのような設備を備えている企業は意外と少なく、HDD修復サービスを提供している企業がDDRに実際の分解作業を委託しているケースもあるほど。

思わず目を疑ったのがこの光景。左側の画面には、右にある顕微鏡で拡大した画像が映し出されているのですが、これが何かというと……

内部のプリント基板がむき出しにされたmicroSDカードでした。よく見ると、髪の毛ほどの細さしかない電線がつながっています。

肉眼では見るのも難しいぐらいの回路に手作業でリード線をハンダ付けし、直接データを読み出すための手法というわけです。思わず何度も画面と実物を見比べてみましたが、爪よりも小さなmicroSDカードに細いリード線をハンダ付けする技術の高さに驚きを禁じ得ません。

オフィス内に所狭しと並ぶラックには、おびただしい数のHDDが保管されています。

これらは全て、修復の際に「ドナー」となるHDDで、いわゆる「部品取り」のためにストックされているもの。オフィス内だけで8000台、さらに倉庫に保管しているものをあわせると2万台規模のHDDをストックしておくことで、必要な部品をすぐに手配できる体制が整えられています。

なお、ドナー用HDDを仕入れる際にはメーカー名や型番はもちろん、生産ロットやHDDの固有番号レベルで注文を入れているとのこと。実は同じHDDでも生産時期などによって細かな仕様変更が加えられているので、ありとあらゆる状況に対処するために豊富なドナーHDDが用意されているというわけです。

◆技術ノウハウの蓄積

G：
今回も新たなノウハウを取得されたということだと思うのですが、未知の技術の研究はどのようにして進めているのですか？例えばHDDメーカーから技術のある人を雇い入れているとか、そういうことはあるのでしょうか。

DDR：
復旧技術を持った人の採用はほとんど行っていません。といより、そのような人材を採用する事は困難です。そのため、未知の技術に関しては、研究開発部門が社内にありますので、ご依頼を受けた案件で直面した困難な課題を分析・研究して方法論を確立させています。日々研究を行い、それをやり続けるというたゆまぬ努力の積み重ねです。

G：
なるほど。ちなみに、今回の復旧作業では、何名ぐらいで分析されていたんですか？

DDR：
今回は3名ですが、メインは2人ですね。私ともう一人です。

G：
なるほど。当然、HDDのファームを書き替えるツールなども既製品はないと思うのですが、それもDDRの社内で開発されたということですか？

DDR：
そうですね、はい。

G：
その開発力というのも強みですね。今後、こういうケースは増えていくのでしょうか。

DDR：
増えていくと思います。企業様側でもそうですし、データセンター様など、大容量系に関してはデータを持ち出すということが機密上ネックになってくると思うので、そういった環境の構築・復旧というのは今後は増えてくるかと考えています。

G：
今お話を伺っていて、DDRの強みはハードの面で直せることが大きいと思うのですが、今はサーバーでもSSDを使用するケースが増えていると聞きます。ハードディスクからSSDに移行していくと、ハード面はまた違う分野の復旧になってくるのではないかと思っているのですが、その辺りの今後の展望というか、どういった形でDDRの強みを活かしていけるとお考えですか？

DDR：
実はHDDに対する需要がそれほど減るとは考えていません。実際にHDDの出荷台数自体は停滞していてSSDへの移行が進んではいますが、やはり大容量が入るもので一番安価なのはHDDですので、データセンターやビッグデータ系に関しては基本的にはHDDに収まるかなと思っています。そしてHDDの寿命が3～4年であり、今まで出荷されたものの需要が3年後、5年後に来ますので、今後100年続くかというと分からないですけれども、少なくとも私たちが生きている間は需要としては出てくるかなと思います(笑)。今でさえ1990年代の大きいHDDが来たりしますので。

G：
そうなんですね！実は、オフィス入口に置いてある巨大なHDDを見て驚いていました(笑)。

DDR：
あそこまで極端ではないですけどね(笑)。やはり今でもWindows 95のお客様もいらっしゃいます。

G：
そんなケースもあるのですか。でも今のHDDとは技術が別物だと思うのですが。

DDR：
別物ではあるんですけど、似通ったところはあるんです。なので、私たちの技術を少し試行錯誤すれば直るものも結構あります。HDD自体の需要がそこまで急に減るとは心配していません。

あとはSSDだったりメモリー系への移行に関して申し上げると、そのような技術的な分野にも取り組みを行っていまして、SSDを含めUSBやmicroSDに関しても、技術が高まりだしています。実際の復旧率としては、60～70％ぐらいは直るような状況です。ここにはまだ伸びしろがありますので、どんどん技術投資していく方向で取り組んでいます。

G：
なるほど、そして今回ファイルシステムで対応されたということは、HDD、SSD関係なくということですよね。そこを直せるというのは強みですね。

DDR：
そうですね。大きな部分です。

G：
最後に、サーバーを運営されている方に対して、何かトラブルを起こさないためのアドバイスや、トラブルが起きたときの対処方法があるとすればどのようなことか教えていただけますか。

DDR：
これはたびたびお話しすることなのですが、無理に自分で直そうとするのは避けてほしい、ということですね。保守されている側からすると「何とか直してやろう」と自力で危機を打破しようとしてしまいがちなのですが、データ復旧の観点からすると全くもって悪影響です。結果的にデータを消して状況を悪化させるだけなので、HDDの状態を初期診断できないまま何か手を入れてしまうのはまず避けてもらいたいというのが一番強い願いですね。

G：
なるほど。再起動するだけでもダメですか？

DDR：
危ないですね。物理障害が発生している場合には、逆にとどめを刺してしまう可能性もあります。

G：
その場合はどうすれば良いですか？電源を切ってしまって止める方が安全なのでしょうか。

DDR：
そうですね。何かあったら一旦ストップして電源を落としてしまい、その後はHDDには通電させないであげることです。

G：
なるほど。

DDR：
変な話、その状況でさらっと直るものであれば実際に私どもが伺って少しアドバイスするだけで終わりですので、早急に立ち上げて悪化させるよりははるかに良いと思います。

G：
今新しく取り組まれている新しい課題はありますか？

DDR：
いくつかあります。現在だと引き続きVMFSなどの仮想系はどんどん手を付けていくのと、データベース関連のデータ自体が壊れてしまっている場合、私たちの方でデータベースを取り出せたは良いのですが、お客様の方で壊れてしまっているというところの状況だと、私たちとしても納品しても使えなければ意味がないと思っていますので、お客様が使用しているデータベースを完全に元に戻すことですね。

また、技術的にはUSBメモリ系と、HDDに関しては今はどうにも現状が復帰できないと言われているディスク表面の傷、スクラッチと呼ばれる症状ですね。これに関しては私たちがやらないといけないという使命感がありますので、引き続き取り組ませていただきます。

G：
プラッタの物理的な傷ということになると復旧は無理だと思うのですが、単純に綺麗に磨いたら直るというわけでもないですよね。それが復旧できると。

DDR：
一応取り組ませていただいていまして、実績は少しずつ出ています。

G：
それが完全にできるとかなり画期的なことになりますね。

DDR：
それだけでもかなりのニーズがあると見込んでいます。

G：
今後も修復の技術は重要になるということですね。本日はありがとうございました。

DDR：
ありがとうございました。

累積ご依頼件数116,289件以上　RAIDサーバ復旧実績年間1,200件以上　データ復旧率 96.2%
国内9年連続日本No1データ復旧カンパニー　「デジタルデータリカバリー」
(デジタルデータソリューション株式会社、代表取締役：熊谷 聖司)
https://www.ino-inc.com/