Google File System（GFS）が削除に適さない問題と、次世代分散ファイルシステムに関するつぶやきメモ

(･∀･)キムティ♪@荒浪一城 @kimtea

@gsminek この「なにをクリアしたらいいのか曖昧なまま進む」というのはよくある話ですが、結局最も優先すべき事柄があいまいだと区切りがつけられなくて、費用が莫大になったりするわけですね。いつの間にか「システム化」が目標にすり替わっているという罠

かかしみねこ・ｘ・” @gsminek

@kimtea ITベンダーからすれば「システムが期日通りに動くこと」が最優先課題になりますからねぇ……。でもユーザ企業側はそうではないはずなんですよ……。

かかしみねこ・ｘ・” @gsminek

だって、しめきりまもらないとおまんまくいっぱぐれるもん！

かかしみねこ・ｘ・” @gsminek

深刻な事態が存在しないがためにより軽微な問題で過剰な反応を引き起こす、人体におけるアレルギー反応みたいなもんだなぁ、と思う。その結果、フォーカスするべき、スナッフフィルムを資金源とする組織の問題などが霞んでしまう。課題はなにか、ということの設定ミスの最たるもんだと思う。

かかしみねこ・ｘ・” @gsminek

ということで、日本人には課題設定力が足りないと思うのです。問題を見つける力、状況を分析する力、解決方法の模索。それらをまとめて、クリアする課題を設定するという力が足りない。それを伸ばす教育も、情報提供するジャーナリズムも、腰をすえた分析も、そして、立法・行政の実行力も。

かかしみねこ・ｘ・” @gsminek

みんながすごいというRSS Flash gはなんかが理由でやめてNetNewsWireに変えたんだけど、そのなにかが思い出せない。流し読みするのがUI的に面倒だとかそういう理由かな……。1000+たまっちゃってるし……。

かかしみねこ・ｘ・” @gsminek

世界の中で日本が政治的、経済的にどういう役割を果たすべきか、が重要ですよね。 RT @mozantotani: 海外ｖｓ日本という単純かつ意味のない二項対立を捨てよう。

かかしみねこ・ｘ・” @gsminek

そもそも海外ってなにさ。なんで、日本以外が均質だと思うのさ。一番安い物の価格は中国から引っ張ってきて、長期休暇についてはアメリカから引っ張ってきてとかするから、おかしくなる。それぞれの地域にあったそれぞれの地域戦略があるだけじゃん。ガラパゴスなんてガラパゴスに失礼だ。

かかしみねこ・ｘ・” @gsminek

情報を隠すことによって優位に立つ、という世界はどこかで破綻をきたすように思うのですよね……。チキンレースになるというか……。 http://bit.ly/6ggECZ

かかしみねこ・ｘ・” @gsminek

知財では特許制度で公開することにより社会に貢献するという道筋を示していますし、ソフトウェアの世界では、GNUによって囲い込みはねえべ、っていう流れを作ってきたように思いますし。「俺だけが知ってる」で維持される優位というのはどこまで褒められたもんかな、と。

(･∀･)キムティ♪@荒浪一城 @kimtea

Google File System（GFS）の問題点は、チャンクサイズが64Mバイトと大きく頻繁な削除に適していないこと。この問題をどう解決するか

(･∀･)キムティ♪@荒浪一城 @kimtea

というか既存のファイルシステム自体が、実態として削除フラグを立てて実際に消しているわけではない。だからファイル復元ソフトなるものが存在する。

(･∀･)キムティ♪@荒浪一城 @kimtea

つまりユーザーから見えなく操作できなくさせることを、既存のファイルシステムでは「削除」と呼んでいる。

(･∀･)キムティ♪@荒浪一城 @kimtea

これはどういうことかと言えば、2分探索木における削除の複雑性に起因するものと考えられるのかな。

かかしみねこ・ｘ・” @gsminek

@kimtea FATでは、不可視属性、読取り専用属性、システム属性があり、削除は属性ではなくエントリテーブルの削除だったと記憶。ユーザからだけでなく、ファイルシステムのレイヤでは操作できないよね。単純化のためだと思うけどちょっと気になった。

(･∀･)キムティ♪@荒浪一城 @kimtea

データベースのインデックスに用いられる、木構造は情報を探索しやすい反面、削除ではコストが肥大化する。

かかしみねこ・ｘ・” @gsminek

アーカイブ属性を忘れていたけど、気にしないことに。

(･∀･)キムティ♪@荒浪一城 @kimtea

じゃあ、この問題を解決できるアルゴリズムって何(･∀･)？

かかしみねこ・ｘ・” @gsminek

UFSだと、ファイルリストのエントリからまるごとあきブロックのリストに追加される形になるのかな。 http://j.mp/8ZGsJl

(･∀･)キムティ♪@荒浪一城 @kimtea

となると、「平衡2分探索木」がそのデータ構造として適しているのかな(･∀･)？

かかしみねこ・ｘ・” @gsminek

ZFSだと、確かにそもそも削除しなさそうだなぁ。スナップショットを任意の時点で高速に作れることが売りっぽいから。 http://j.mp/6UI42D

かかしみねこ・ｘ・” @gsminek

あれｗ FATでもMS-DOSモードだと削除したファイルを復元できるって書いてあるぞ、おいｗ http://j.mp/6me7R9

(･∀･)キムティ♪@荒浪一城 @kimtea

スプレー木なんてものがあるのか　http://ja.wikipedia.org/wiki/%E3%82%B9%E3%83%97%E3%83%AC%E3%83%BC%E6%9C%A8

かかしみねこ・ｘ・” @gsminek

ファイルシステムに特化して考えると、データベースで目指してきたものよりも、トランザクションでもデータ量でもかなり荒い粒度でのロックでよいし、管理でよいということになろう。1クラスタにおさまる範囲のファイルの管理でよいなら従来のFSより楽ができることは間違いない。

かかしみねこ・ｘ・” @gsminek

と、いうことはだ。クラウド時代だからといって、無理に一から新しいパラダイムを今更生み出す必要があるのか、従来のファイルシステムのサブセットで実用になるんじゃないか、温故知新的なところってどうなのよ、とまず思う。あたくし自身無知なので。