共有メモリクラスタとかファイルシステムとか?

コンパイルを速くしたいと複数台の共有メモリをつなげて見せるクラスタ ファイルシステムってどうなんだろうなどというお話
3
イーロン・マスクツイッターやめろ @naota344

と、いうようなファイルシステムとやってるような研究室に行きたいです! (行くなら

2010-11-12 15:51:30
イーロン・マスクツイッターやめろ @naota344

まぁとりあえず一度計測して、簡単に実装してみるところからなんだろうなぁ…。うちの環境は Linux, FreeBSD, DragonFly がいるのでそれでも動くようにしたいところだけど…。

2010-11-12 15:52:52
イーロン・マスクツイッターやめろ @naota344

マルチプラットフォームを考えると userland になっちゃうかな? 速度出したいところを一部 kernel にいれて……って sheepdog は完全に userland のみ?

2010-11-12 15:56:28
イスラエルエリカちゃん @syuu1228

いきなり3OS対応とな!!RT @naota344: まぁとりあえず一度計測して、簡単に実装してみるところからなんだろうなぁ…。うちの環境は Linux, FreeBSD, DragonFly がいるのでそれでも動くようにしたいところだけど…。

2010-11-12 15:58:10
SODA Noriyuki @n_soda

@syuu1228 @naota344 FUSE ベースなら、そんなに難しくないような。(あれ、DragonflyBSDって FUSEあったっけ…?) RT @syuu1228 いきなり3OS対応とな!!

2010-11-12 16:05:13
イスラエルエリカちゃん @syuu1228

ユーザランドで妥協するならそうですねぇ RT @n_soda: @syuu1228 @naota344 FUSE ベースなら、そんなに難しくないような。(あれ、DragonflyBSDって FUSEあったっけ…?) RT @syuu1228 いきなり3OS対応とな!!

2010-11-12 16:06:24
イーロン・マスクツイッターやめろ @naota344

んー、 iSCSI <-> Sheepdog で sheepdog さんを tmpfs で動かせば結構いい感じ…か?

2010-11-12 15:59:29
SODA Noriyuki @n_soda

iSCSIはまだお勧めできないんじゃいかなあ。Linux bnx2i の TCP offloading 関係のバグフィックスのリスト見てたら、怖い考えになってしまったことが…

2010-11-12 16:02:20
イスラエルエリカちゃん @syuu1228

あれはVM前提でホストOSのユーザランドでうごくのぢゃ。RT @naota344: マルチプラットフォームを考えると userland になっちゃうかな? 速度出したいところを一部 kernel にいれて……って sheepdog は完全に userland のみ?

2010-11-12 15:59:38
イーロン・マスクツイッターやめろ @naota344

などと sheepdog であれこれ言ってますが使ったことないのですすみません…

2010-11-12 16:05:08
SODA Noriyuki @n_soda

@naota344 ブロックデバイスとして見えた場合、その上のファイルシステムイメージを、複数ホストから一貫して書き換えるのは面倒では?Red Hat GFS とかはそういうものらしいけど(←使ったことない)。デバイスへの読み書きは、1ホストに限るのかな?ならいけそう。

2010-11-12 16:14:44
小崎 資広 (KOSAKI Motohiro) @kosaki55tea

MESIっぽくダーティーデータを持てるノードを1つに絞るのが簡単かつ効率的な気がする RT @n_soda: @naota344 ブロックデバイスとして見えた場合、その上のファイルシステムイメージを、複数ホストから一貫して書き換えるのは面倒では?Red Hat GFS とかはそう

2010-11-12 17:04:00
SODA Noriyuki @n_soda

メタデータの更新って、更新権限をホスト間で受け渡すのと、更新権限持ってるホストへ更新依頼を転送するのと、どっちがいいんでしょう。後者の方がレイテンシで有利? RT @kosaki55tea MESIっぽくダーティーデータを持てるノードを1つに絞るのが簡単かつ効率的な気がする

2010-11-12 17:12:09
イスラエルエリカちゃん @syuu1228

@naota344 @n_soda sheepdogはクラスタファイルシステムでの利用を想定しているものでは無いですよ、用途が違います。むしろ多ノードからの同時アクセスは出来ないという前提にしてパフォーマンスを稼ぐような実装をしていたよーな気が

2010-11-12 19:27:07
イーロン・マスクツイッターやめろ @naota344

なんだ、 DragonFly に FUSE じっそうしてふゆこみにだせばいいのか(ぉ

2010-11-12 16:07:53
イーロン・マスクツイッターやめろ @naota344

かしこくて管理が楽で速い分散コンパイルシステムの研究したいです

2010-11-12 16:14:37
イーロン・マスクツイッターやめろ @naota344

@n_soda あれ確かに面倒そうですね…もともと sheepdog って qemu のVM一個から見えるはずですし…どうなんでしょう >> @syuu1228

2010-11-12 16:17:13
SKS rep @repeatedly

Googleに入るよろし RT @naota344: かしこくて管理が楽で速い分散コンパイルシステムの研究したいです

2010-11-12 16:15:30