編集可能
2011年6月10日

hadoopと仮想化的な話

10
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

Hadoopのような分散環境が普通に出てくると、実は逆に仮想化の取り扱いが困ってくるという問題が発生する(というかしてる)。分散ではハードの代替性が高いので、対障害性という意味での仮想化は利用箇所が局所的になる。全面仮想化マンセーはちょっと困ったことになる。

2011-06-09 22:17:20
Guutara (⁰⊖⁰) Stay Home @Guutara

@okachimachiorz1 だから、まえから、言ってるじゃん! www

2011-06-09 22:19:32
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

特に運用側面から見ると、仮想化の位置づけはきわめて有効な部分と、そうでない部分があるのは意識したほうがいいと思う。仮想化の前提がLAMPSであるなら、なおさら分散クラウドでの位置づけは再考した方が良いと思う。前提が違う時は、手当が必要になることが多い。なんとなくそう思う。

2011-06-09 22:22:04
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

そもそも仮想レイヤーをどう位置づけるのか、という議論が不十分なままでサーバー集約に走ったのが問題。そのレベルでとどめておけばよかったにもかかわらず、クラウドのバズワードに乗っかって、仮想化=クラウドの言葉が一人歩き(これは多分にマスコミに責任がある。)引くに引けなくなってる。

2011-06-09 22:31:57
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

処理プログラムに下位の実行物理レイヤーを意識させない、ということが仮想化の主目的の一つであれば、分散環境はすべて仮想化ということになる。Hadoopも典型的にそう。ひいてはOSの位置づけも再考することになるけど、これはもう各所で議論されているわね。

2011-06-09 23:01:13
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

分散環境をOSに見立てたときに、興味深いのはOSのアナロジーがそのまま利用できること。たとえば、モノリシックなのか、モジュール指向にするのか、とか。多分モノリシックにするとクラウドコントローラみたいなものが必要で、モジュール指向だと自律制御が優先できる仕組みになると思う。

2011-06-09 23:05:48
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

要は(仮想環境=分散環境)間の資源の融通をどうするか?という議論になるわけで、これDRふくめて停電や資源節約にも直結する。その融通をどう制御するかというお話で。そこに頭をおくか、資源間で勝手に融通させるか、という違いはある。

2011-06-09 23:09:10
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

結局ローレイヤーのIOはできるだけオーバーヘッドをなくせ、というのが鉄則になるので、あんまり仮想化すんな、と言う話がでてくる。んじゃ対障害はどうするかってのはあるけど、むしろ上位でかたづけろ的な話で終わって、その上位層をどう調整するか?というお話。その場合は従前の仮想化は不要。

2011-06-09 23:13:32
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

今日も某所で仮想化の位置づけの議論になって、今週立て続けでこの話題がでている。引き金はHadoopで、なんというかHadoopは本当に鬼っ子で、いろんなところのスイッチを押しすぎる。逆にいうと今まで問題を放置しすぎたともいえる。その意味でいままでのF/Wとはインパクトが違う。

2011-06-09 23:17:17
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

Hadoopの狂想曲を見ていると、「文字通り、群盲象を撫でるが如くだな」などと皮肉の一つも言いたくなるが、たぶんこれはHadoopの問題ではなくて、今まで内在していた問題がHadoopを切っ掛けに表に出てきているという風にみる方が正しい。

2011-06-09 23:21:47
船井 覚, Satoru Funai @satoruf

今の主流の仮想化が資源共有が前提なので混乱するのでは?私は必ずしも仮想化=共有資源では無いと考えてますRT @okachimachiorz1: 今日も某所で仮想化の位置づけの議論になって、今週立て続けでこの話題がでている。引き金はHadoopで、なんというかHadoo...

2011-06-09 23:24:42
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@satoruf 逆にいうと仮想化が資源共有ではない、と言い切れれば議論は結構すっきりします。現状のコンテクストとは真逆ですけどw。

2011-06-09 23:33:45
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@ichiro_satoh そうですね。Hadoopが仮想化との相性が悪いのは周知の通りなので。・・HadoopをGoogleとは違うやり方である専用資源でという方向でいくのであれば、なおさら仮想化サービスとの衝突はどのベンダーも避けられない課題ですね。

2011-06-09 23:37:42
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

ヒント:セキュリティ。RT @Nakada_itpro: OpenFlowの研究者の方が、Hadoopのようなワークロードにこそ、OpenFlowのような仕組みが効く、と言っていた意味に、少しだけ近付けたような気がする。頑張って学ばなくては…

2011-06-09 23:43:13
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

Hadoop等の分散環境でのセキュリティについては、番犬のような形ではなく、某社がもっと違うレイヤーで解答を事実上出しているということに最近気づいた。

2011-06-09 23:45:16
tamagawa ryuji @tamagawa_ryuji

@okachimachiorz1 Hadoopって、物理I/O(ディスクやネットワーク)を使い切る仕組みが強みの1つだと思うんで、インフラよりの仮想化とは相性悪いでしょうね。その意味じゃ、AWSで象は邪道な感じもしますけど、開発や運用のメリットを考えると、ありになるのかなと。

2011-06-09 23:47:43
船井 覚, Satoru Funai @satoruf

@okachimachiorz1 元祖IBM/VMやLPARは共有資源の分割使用から動的再配分に進化してきたのですから、仮想化と共有資源化は無関係と言い切ってもいいのでは?

2011-06-09 23:50:15
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@tamagawa_ryuji AWSでの象は、たしかにIOの側面では邪道ですが、マルチテナントという意味では一つの解だと思います。少なくとも0.21よりはずっといいです。

2011-06-09 23:54:22
船井 覚, Satoru Funai @satoruf

なになに、どの話ですか?RT @okachimachiorz1: Hadoop等の分散環境でのセキュリティについては、番犬のような形ではなく、某社がもっと違うレイヤーで解答を事実上出しているということに最近気づいた。

2011-06-09 23:54:47
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@satoruf それは賛成です。ただし、某N系BPとかではそれはかなり辛いはず。

2011-06-09 23:55:31
船井 覚, Satoru Funai @satoruf

@okachimachiorz1 @tamagawa_ryuji MESOSではlxcを使ってますね、これも一つの解と思います

2011-06-09 23:59:36
Shinpei Ohtani @shot6

IYHってなんですか? RT @ar1: さて。そんなわけで夜なのでIYH未遂タイーム

2011-06-10 00:00:02
残りを読む(56)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?