Google File System（GFS）が削除に適さない問題と、次世代分散ファイルシステムに関するつぶやきメモ

(･∀･)キムティ♪@荒浪一城 @kimtea

こうした問題は、アルゴリズムとデータ構造の本質的だからなぁ。(-ω-;)ウーン、難しい。

かかしみねこ・ｘ・” @gsminek

実装がないのは確かだし、ネットワーク越しでレイテンシは大きいわ、データの信頼性がないわ、通信路そのものも安定しない危険も大きいわ、で、従来のファイルシステムにはない検討事項も多い。し、使い回しによるセキュリティ的な話ももちろんある。最低でもスイープしないとまずくね？的な。

(･∀･)キムティ♪@荒浪一城 @kimtea

Coda File Systemか、知らないw　http://www.coda.cs.cmu.edu/

かかしみねこ・ｘ・” @gsminek

そこで付加される機能による速度劣化とサービスのレスポンスのバランスなんだろうな。リソースが少ない時代に付加機能が少なかったのはそのバランスをレスポンスにふってたからだし。

かかしみねこ・ｘ・” @gsminek

そういう意味では、ファイルシステムは粒度の荒い半構造データだから、半構造データをどう扱うか、という知見についてはファイルシステムの実装にかなりの部分含まれているんだろうなぁ。

かかしみねこ・ｘ・” @gsminek

あ、TLの誰かに「そういう意味では」禁止されてたきがするのに使っちゃったな。まあいいか。

(･∀･)キムティ♪@荒浪一城 @kimtea

分散ファイルシステムと分散データストアがあるけど、どうなんでしょうか？

かかしみねこ・ｘ・” @gsminek

現在取り組んでいるプロジェクトでも、半構造データのハンドリングは重要なポイントをしめている。それは、メッセージングであり、ユーザ間のデータ共有であり、セッションデータのストレージである。データが必須だったり、アクセスコントロールが必要だったり、履歴が必要だったり。

かかしみねこ・ｘ・” @gsminek

サーバローカルだけでなく、サーバ間でその情報を連携したりすることも後々必要になる。そう考えるとESBとかバスだけあっても仕方がなくって、データをどういう風にストアするかという全体像があってはじめてESBなんて実装できるんじゃないかなぁ、と思う。

(･∀･)キムティ♪@荒浪一城 @kimtea

ネットワークをインデックスのように使ってしまうのは、遅延させ解消できれば、ある意味最強だな

かかしみねこ・ｘ・” @gsminek

うえー。なんか大変だな。もっと世界を単純に扱いたいな。あー。いまさらだけどPaxosって合議プロトコルなんだ。なるほどね。Magiシステムを作るときに必要になる基礎技術か(そんな理解かよ)。

(･∀･)キムティ♪@荒浪一城 @kimtea

(･∀･)ほう、　Splay trees Distributed fault-tolerant file systems でググるとでてくるな

かかしみねこ・ｘ・” @gsminek

Chubbyは、汎用のファイルシステム風のレプリケーションなわけだ。やっと見えてきた。APIがどんな感じで見えるかによるけど、DB側でレプリケーションすると粒度が細かすぎてコストがかかるから、AP側に引き寄せて制御してやれば大規模にも対応できそう、ってとこかな。

(･∀･)キムティ♪@荒浪一城 @kimtea

SPLAY: Distributed Systems Evaluation Made Simple　http://bit.ly/5CBRLf

かかしみねこ・ｘ・” @gsminek

クラウドの基礎技術としてはあるべき研究だなぁ。ただ、エンタープライズの現場視点では、業務アプリチームの脆弱な開発力に余計な課題を持ち込みたくない、その部分はインフラでカバー、とかなりそうだな。そう、でも、本当にその単位のロックが必要なのか、という問題提起にはなるな。

かかしみねこ・ｘ・” @gsminek

結局、Webアプリケーションにおいて、ユーザインタラクションを求める限り、Submitボタンが押されてからレスポンスを返すまでを1トランザクションにするわけだから、それ以上細かい粒度のトランザクションやロックは必要ない、という暴論も吐ける。

(･∀･)キムティ♪@荒浪一城 @kimtea

We developed the following applications using SPLAY: Chord and Pastry , two DHTs　(0ﾟ･∀･)wktk

(･∀･)キムティ♪@荒浪一城 @kimtea

SPLAY can handle 5,500 nodes (500 on each host) without significant drop in performance OlogN か〆(._.)ﾒﾓﾒﾓ

かかしみねこ・ｘ・” @gsminek

@kimtea そぼくなぎもーん。"(0ﾟ･∀･)wktk" は通じるの？

(･∀･)キムティ♪@荒浪一城 @kimtea

@gsminek えっ、知らないw

かかしみねこ・ｘ・” @gsminek

と思ったら、コメントかｗ

(･∀･)キムティ♪@荒浪一城 @kimtea

Windows Azure Google File System Chunk Chrod Pastry　この単語にすべて反応してくれるものがなかったorz

(･∀･)キムティ♪@荒浪一城 @kimtea

まあ、Azureはスケールしないから対象外か・・・

(･∀･)キムティ♪@荒浪一城 @kimtea

逆に、Google File System Chunk Chrod Pastry　ならばあるね(0ﾟ･∀･)wktk

(･∀･)キムティ♪@荒浪一城 @kimtea

そういえば、金融工学者フィッシャー・ブラックが届いた件