4億個・70TB保存実績ありの分散オブジェクトストレージシステム「STF」無料のオープンソースとして公開

livedoor Blogなどのサービスで実際に大量の画像データ管理・保存に使用され、「高価な専用ストレージを使用することなく安全、高速に大量のデータを保存・参照することが可能になります。またSTFは既存のオープンソース技術で作られているため専用ストレージに比べ運用に際して新たなノウハウを学習する必要がありませんので、運用にかかるコストが低くなります」というなかなかよさそうなストレージシステム「STF」が公開されました。ライセンスは「Artistic License2.0」です。

livedoor ラボ「EDGE」 開発日誌 : 分散オブジェクトストレージシステム「STF」公開のお知らせ - livedoor Blog（ブログ）
http://blog.livedoor.jp/edge_labs/archives/1609981.html

開発までの経緯は以下のようになっています。

以前 livedoorブログなど、ユーザーがコンテンツを投稿するWebサービスでは年間で千万円単位のコストがかかるストレージシステムを使っていました。増え続けるデータに今後どう向き合っていくのかという課題に、ライブドアのエンジニアが出した答えは「ストレージシステムの自社開発」でした。

まず最初に作ったのは、ユーザーごとに分散するタイプのストレージシステム。これは DAVStorage という名前で、５年ほど前から本番環境へ投入し稼働していました。 DAVStorage はコスト的にメリットがありましたが、当初問題なかったものの大規模化するに従って機能面での不足が明らかになり、次世代型のシステムを開発する必要性がありました。

そこで作られたのが、今回オープンソースで公開する分散オブジェクトストレージシステム「STF」です。STFではファイル単位の分散が可能となり、より安全に、より高速に大量のデータを保存・参照することが可能になりました。メンテナンス・運用の利便性も以前より向上し、現在では安価になったHDDを並列で使い制御するシステムを開発・運用し、コスト面での改善と数多くのユーザーに対応出来るようになっています。

というわけで、STF 是非お試しください。

以下のページから実際にダウンロードすることが可能です。

STF 分散オブジェクトストレージシステム - livedoor labs EDGE
http://labs.edge.jp/stf/

特徴は以下のようになっています。

・Apache, MySQL, Q4M, memcached, Perl 等のオープンソースソフトウェアで実装

・オブジェクト保存時に複数のコピーを用意し、万が一のデータ破損にも対応

・データ破損時の自動修復

・ゼロダウンタイムでストレージの追加・削除

・クライアントとは汎用性の高いHTTP通信

典型的な構成図はこんな感じになります

「MogileFS」との差は以下のページで説明されています。

STF分散オブジェクトストレージ - Perl Advent Calendar Japan 2011 Hacker Track
http://perl-users.jp/articles/advent-calendar/2011/hacker/22

STFは分散オブジェクトストレージです。Perlメインの似たようなシステムとしてはMogileFSが有名ですが、STFは後発のメリットを生かしてPSGI互換にしたり、使用するプロトコルを基本的にHTTPというオープンで枯れた技術を採用したりとメンテナンス・運用の利便性があがっていると考えています。

STFはオープンソースプロジェクトとして公開されました。誰でも利用できます。

枯れた技術とオープンなプロトコルばかりを使っているのでメンテナンスやトラブルシューティングもかなり楽です。パフォーマンスも申し分ないです。ゼロダウンタイムのデプロイまわりをうまく設定できてしまえばシステムアップデートもまったくストレスなく行えます。おすすめです！