-
- いいね！11
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
Hadoopのような分散環境が普通に出てくると、実は逆に仮想化の取り扱いが困ってくるという問題が発生する（というかしてる）。分散ではハードの代替性が高いので、対障害性という意味での仮想化は利用箇所が局所的になる。全面仮想化マンセーはちょっと困ったことになる。
2011-06-09 22:17:20
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
特に運用側面から見ると、仮想化の位置づけはきわめて有効な部分と、そうでない部分があるのは意識したほうがいいと思う。仮想化の前提がLAMPSであるなら、なおさら分散クラウドでの位置づけは再考した方が良いと思う。前提が違う時は、手当が必要になることが多い。なんとなくそう思う。
2011-06-09 22:22:04
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
そもそも仮想レイヤーをどう位置づけるのか、という議論が不十分なままでサーバー集約に走ったのが問題。そのレベルでとどめておけばよかったにもかかわらず、クラウドのバズワードに乗っかって、仮想化＝クラウドの言葉が一人歩き（これは多分にマスコミに責任がある。）引くに引けなくなってる。
2011-06-09 22:31:57
やぴ＠歌姫デレ32
@henachokodoumei
@okachimachiorz1 分散処理してるのに分散先が集約されたサーバの仮想環境じゃ意味ねーじゃん、てことですよね？（イマイチ自信なし
2011-06-09 22:40:22
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
@henachokodoumei それもあります。加えて、仮想化のオーバーヘッド（コストも含めて）もあるにはあるので、それに応じたメリットが取りづらいという事です。
2011-06-09 22:55:22
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
@kenji_rikitake ですね。トラブった時にどのレイヤーかわからんとか、結構各所で起こっているようですね。層が増えれば、問題も当然増えますから。
2011-06-09 22:56:40
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
処理プログラムに下位の実行物理レイヤーを意識させない、ということが仮想化の主目的の一つであれば、分散環境はすべて仮想化ということになる。Hadoopも典型的にそう。ひいてはOSの位置づけも再考することになるけど、これはもう各所で議論されているわね。
2011-06-09 23:01:13
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
分散環境をOSに見立てたときに、興味深いのはOSのアナロジーがそのまま利用できること。たとえば、モノリシックなのか、モジュール指向にするのか、とか。多分モノリシックにするとクラウドコントローラみたいなものが必要で、モジュール指向だと自律制御が優先できる仕組みになると思う。
2011-06-09 23:05:48
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
要は（仮想環境＝分散環境）間の資源の融通をどうするか？という議論になるわけで、これDRふくめて停電や資源節約にも直結する。その融通をどう制御するかというお話で。そこに頭をおくか、資源間で勝手に融通させるか、という違いはある。
2011-06-09 23:09:10
やぴ＠歌姫デレ32
@henachokodoumei
「タスク負荷の分散」っていう目的に対して分散か仮想化かという2つの手段があるわけで、両方混ぜちゃうとどちらのメリットも生かせないというのは確かだ
2011-06-09 23:09:30
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
結局ローレイヤーのIOはできるだけオーバーヘッドをなくせ、というのが鉄則になるので、あんまり仮想化すんな、と言う話がでてくる。んじゃ対障害はどうするかってのはあるけど、むしろ上位でかたづけろ的な話で終わって、その上位層をどう調整するか？というお話。その場合は従前の仮想化は不要。
2011-06-09 23:13:32
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
今日も某所で仮想化の位置づけの議論になって、今週立て続けでこの話題がでている。引き金はHadoopで、なんというかHadoopは本当に鬼っ子で、いろんなところのスイッチを押しすぎる。逆にいうと今まで問題を放置しすぎたともいえる。その意味でいままでのF/Wとはインパクトが違う。
2011-06-09 23:17:17
やぴ＠歌姫デレ32
@henachokodoumei
@okachimachiorz1 国内に限って云えば、リソースの集約を目的とした「ブレード→仮想化」の流れはかなり大きかったのに対して、分散処理にはこれまであまり注力されてこなかった印象があります。
2011-06-09 23:21:39
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
Hadoopの狂想曲を見ていると、「文字通り、群盲象を撫でるが如くだな」などと皮肉の一つも言いたくなるが、たぶんこれはHadoopの問題ではなくて、今まで内在していた問題がHadoopを切っ掛けに表に出てきているという風にみる方が正しい。
2011-06-09 23:21:47
綾瀬ヒロ
@ayasehiro
仮想化は、ハードと分離できなかったOSを分離したことで運用性に利点があったが、仮想化によるノード多重化は、むしろ運用性が悪くなるのではないか。障害調査とか面倒になるだけだし。
2011-06-09 23:23:05
船井 覚, Satoru Funai
@satoruf
今の主流の仮想化が資源共有が前提なので混乱するのでは？私は必ずしも仮想化=共有資源では無いと考えてますRT @okachimachiorz1: 今日も某所で仮想化の位置づけの議論になって、今週立て続けでこの話題がでている。引き金はHadoopで、なんというかHadoo...
2011-06-09 23:24:42
しもみ
@shemomi
@ayasehiro もうすでに仰る通りになってるよwwwウチのデータセンターでやってる仮想化従量サービスは、障害起こったらどこで何が起こってるのか分からんようになりつつあるって。で、海外の製品だけど、そういうのを一括で管理するような仮想化管理システムも登場し始めてるらしい。
2011-06-09 23:26:00
綾瀬ヒロ
@ayasehiro
OS以上のレイヤーの運用性が高くなれば、仮想化は必ずしも必要ないし、そもそも自前でインフラ運用しないんだったら、仮想化なんて意識しなくなる。
2011-06-09 23:27:25
ICHIRO SATOH
@ichiro_satoh
Hadoopは、専用分散システムで実行するのか、汎用分散システムで、しかも空いた計算リソースで処理すべきかの問題になるかと。おそらくGoogle MRは後者。他社が前者を狙うにしても仮想化との相性は疑問ですね。@okachimachiorz1: 今日も某所で仮想化の位置づけの…
2011-06-09 23:27:59
綾瀬ヒロ
@ayasehiro
特に仮想化によるノード多重化と、分散並列処理は相性が悪いだろうなぁ。分散並列処理ではいかに１ノードの処理性能を上げるか……だろうから。
2011-06-09 23:29:54
naom（6.7インチ）
@naom44
@Shisimin それもそうだし、今まで1OSしかなかったところに数十とか仮想OSが乗ってるハードを、どう止められるよ、メンテナンスするよ、って。ほかの所に移動するだけで一苦労だぜぃ。
2011-06-09 23:30:49