Hadoopは仮想化の流れに逆行するのか？

しもみ @shemomi

@naom44 数十www ハード落ちたら全社で悲鳴が上がるんだwww ハードベンダー責任重大やのう

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@satoruf 逆にいうと仮想化が資源共有ではない、と言い切れれば議論は結構すっきりします。現状のコンテクストとは真逆ですけどw。

綾瀬ヒロ @ayasehiro

あ、それムリwww RT @naom44: @Shisimin それもそうだし、今まで1OSしかなかったところに数十とか仮想OSが乗ってるハードを、どう止められるよ、メンテナンスするよ、って。ほかの所に移動するだけで一苦労だぜぃ。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@ichiro_satoh そうですね。Hadoopが仮想化との相性が悪いのは周知の通りなので。・・HadoopをGoogleとは違うやり方である専用資源でという方向でいくのであれば、なおさら仮想化サービスとの衝突はどのベンダーも避けられない課題ですね。

naom（6.7インチ） @naom44

@Shisimin んなもんで単一障害点回避のためにハードの多重化とデバイスの冗長構成組んだら、仮想デバイスと組み合わさってさらに構成が複雑で障害解析右往左往(´；ω；｀)

naom（6.7インチ） @naom44

@ayasehiro でしょｗｗｗ冗長構成で稼働してるけど障害起こしたカードの交換するのにサーバー落とすにあたり、VM全移動に1ヶ月スケジュール必要だったよｗｗｗ勘弁ｗｗｗ

綾瀬ヒロ @ayasehiro

うはwww RT @naom44: @ayasehiro でしょｗｗｗ冗長構成で稼働してるけど障害起こしたカードの交換するのにサーバー落とすにあたり、VM全移動に1ヶ月スケジュール必要だったよｗｗｗ勘弁ｗｗｗ

綾瀬ヒロ @ayasehiro

ハード屋には仮想化でなく、省エネ省スペースをもっと追求して欲しい。 RT @naom44: @Shisimin んなもんで単一障害点回避のためにハードの多重化とデバイスの冗長構成組んだら、仮想デバイスと組み合わさってさらに構成が複雑で障害解析右往左往(´；ω；｀)

naom（6.7インチ） @naom44

@ayasehiro 実際の所、今のハードウェアスペックでVMを山ほど「乗せられる」と、「乗せて運用できる」は全く違うって言うのがね。スペック上統合できるからがんがん統合するとあとで大変だなーと言うのが、障害対応やってて正直に思うところ。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

ヒント：セキュリティ。RT @Nakada_itpro: OpenFlowの研究者の方が、Hadoopのようなワークロードにこそ、OpenFlowのような仕組みが効く、と言っていた意味に、少しだけ近付けたような気がする。頑張って学ばなくては…

naom（6.7インチ） @naom44

@ayasehiro 1デバイス１OSで省電力省スペース、壊れたらもうBOX毎交換、とかいうコンセプトで2000年頃にスタートしたのがBlade Serverだったはずなんだけどねぇ。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

Hadoop等の分散環境でのセキュリティについては、番犬のような形ではなく、某社がもっと違うレイヤーで解答を事実上出しているということに最近気づいた。

綾瀬ヒロ @ayasehiro

結局、アプリがCPUスペックを持て余してるだけだからね。アプリはもっと真剣に設計すべき。動きゃいいってもんじゃない。 RT @naom44: @ayasehiro 実際の所、今のハードウェアスペックでVMを山ほど「乗せられる」と、「乗せて運用できる」は全く違うって言うのがね。…

ICHIRO SATOH @ichiro_satoh

御意。仮想化による稼働率向上は、処理内容の相違が前提ですから、Hadoopの単一タスクの多重処理は向いているとはいえません。@ayasehiro 特に仮想化によるノード多重化と、分散並列処理は相性が悪いだろうなぁ。分散並列処理ではいかに１ノードの処理性能を上げるか……だろうから。

tamagawa ryuji @tamagawa_ryuji

@okachimachiorz1 Hadoopって、物理I/O（ディスクやネットワーク）を使い切る仕組みが強みの1つだと思うんで、インフラよりの仮想化とは相性悪いでしょうね。その意味じゃ、AWSで象は邪道な感じもしますけど、開発や運用のメリットを考えると、ありになるのかなと。

船井　覚, Satoru Funai @satoruf

@okachimachiorz1 元祖IBM/VMやLPARは共有資源の分割使用から動的再配分に進化してきたのですから、仮想化と共有資源化は無関係と言い切ってもいいのでは？

wyukawa @wyukawa

Hadoopって仮想化と相性悪いとは聞くけど、どう悪いのかがよくわからん。IO処理の比重が大きくてVMだとオーバーヘッドが大きいということかしらん。そのデメリットが運用上のメリットを上回るということかな。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@tamagawa_ryuji AWSでの象は、たしかにIOの側面では邪道ですが、マルチテナントという意味では一つの解だと思います。少なくとも0.21よりはずっといいです。

船井　覚, Satoru Funai @satoruf

なになに、どの話ですか？RT @okachimachiorz1: Hadoop等の分散環境でのセキュリティについては、番犬のような形ではなく、某社がもっと違うレイヤーで解答を事実上出しているということに最近気づいた。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@satoruf それは賛成です。ただし、某N系BPとかではそれはかなり辛いはず。

綾瀬ヒロ @ayasehiro

@ichiro_satoh 仮想化によるノード多重化は、アプリの多重処理化が出来ないための苦肉の策のように感じています。業務アプリは品質重視で多重処理を避けてきましたが、Hadoopなどがその敷居を下げてくれるのではと思っています。

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

仮想化は、余った資源の上で、プロセスを、OSとしてを分割して沢山動かす事で、使い切る事なので、分散じゃなくて集約。

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

Hadoopなどの分散処理は、一台では、まかなえない処理を、与える事で、一台の能力を使いきる、だから、処理は集約するけど、物理は、分散。

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

1VMを、１ノードに、みたてて、比較すると、仮想化は、ネットワークを使いきれない。（解決するには、高いNICが必要らしい）分散は、すぐに、使いきってしまう。

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

Open Flowは、ノード単位のNW資源を上手に使いきる為には、有効だと思う。それと、複雑になりがちな、NWの物理と論理の層が、すっきり、する気がしている。ただ、コアの方向で、考えていこうとすると、多分、CISCOに負ける。。