Hadoopは仮想化の流れに逆行するのか? - Togetter
Twitterのつぶやきマッシュアップメディア!
@togetter_jpをフォロー
マイページ
メニュー
設定
ログイン
トップ
ニュース
社会
地域
芸能・スポーツ
IT・Web
科学・教養
カルチャー
趣味
生活
仕事
ネタ・お笑い
ログ・日記
震災
311
放射脳
震災
なりきり
支援
河本準一
物資
速報
国内
アジア
アメリカ
ヨーロッパ
その他
政治
経済
国際
法律
環境
コラム
東京
東京近郊
北海道
東北
関東
北陸・信越
東海
近畿
中国・四国
九州・沖縄
海外
芸能
テレビ
ラジオ
野球
サッカー
ゴルフ
格闘技
競馬
モータースポーツ
その他
Android
Apple
インターネット
パソコン
モバイル
ガジェット
サイト制作
プログラミング
その他
科学
テクノロジー
エネルギー
数学
物理
宇宙
自然
人文
建築
心理
その他
アニメ
ゲーム
マンガ
アイドル
映画
音楽
書籍
演劇
ファッション
社会学
カメラ
車・バイク
電車
旅行
釣り
歴史
アート
デザイン
動物
その他
ハウツー
レシピ
グルメ
恋愛
マネー
節約
健康・医療
教育
ペット
起業・ベンチャー
経営
マーケティング
会計・人事
法務
就職・転職
語学・資格
ネタ
お笑い
大喜利
画像・動画
やってみた
その他
ログ
日記
思い出
雑談
メモ
飲み会
議事録
イベント
セミナー
復興
原発
支援
政府
自治体
トップ
>
IT・Web
>
プログラミング
> Hadoopは仮想化の流れに逆行するのか?
2011/06/10 00:43:11
IT・Web
プログラミング
編集可能
hadoop
+
Hadoopは仮想化の流れに逆行するのか?
まとめました。
by
wyukawa
23 fav
3621 view
Fav
23
お気に入りに登録ならここをクリック!
まとめ
メニューを開く
一括削除
Hadoopのような分散環境が普通に出てくると、実は逆に仮想化の取り扱いが困ってくるという問題が発生する(というかしてる)。分散ではハードの代替性が高いので、対障害性という意味での仮想化は利用箇所が局所的になる。全面仮想化マンセーはちょっと困ったことになる。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 22:17:20
特に運用側面から見ると、仮想化の位置づけはきわめて有効な部分と、そうでない部分があるのは意識したほうがいいと思う。仮想化の前提がLAMPSであるなら、なおさら分散クラウドでの位置づけは再考した方が良いと思う。前提が違う時は、手当が必要になることが多い。なんとなくそう思う。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 22:22:04
そもそも仮想レイヤーをどう位置づけるのか、という議論が不十分なままでサーバー集約に走ったのが問題。そのレベルでとどめておけばよかったにもかかわらず、クラウドのバズワードに乗っかって、仮想化=クラウドの言葉が一人歩き(これは多分にマスコミに責任がある。)引くに引けなくなってる。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 22:31:57
仮想化は、過渡期の技術なんだろうなぁと。そのうち、意識しなくなるのではないかなとか思う。
返信する
RTする
ふぁぼる
ayasehiro
2011/06/09 22:33:01
仮想化と分散処理は確かに相反するよね…
返信する
RTする
ふぁぼる
henachokodoumei
2011/06/09 22:38:08
@okachimachiorz1
実サーバでしか性能が出ない場合もありますしねえ.
返信する
RTする
ふぁぼる
kenji_rikitake
2011/06/09 22:38:56
@okachimachiorz1
分散処理してるのに分散先が集約されたサーバの仮想環境じゃ意味ねーじゃん、てことですよね?(イマイチ自信なし
返信する
RTする
ふぁぼる
henachokodoumei
2011/06/09 22:40:22
@henachokodoumei
それもあります。加えて、仮想化のオーバーヘッド(コストも含めて)もあるにはあるので、それに応じたメリットが取りづらいという事です。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 22:55:22
@kenji_rikitake
ですね。トラブった時にどのレイヤーかわからんとか、結構各所で起こっているようですね。層が増えれば、問題も当然増えますから。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 22:56:40
処理プログラムに下位の実行物理レイヤーを意識させない、ということが仮想化の主目的の一つであれば、分散環境はすべて仮想化ということになる。Hadoopも典型的にそう。ひいてはOSの位置づけも再考することになるけど、これはもう各所で議論されているわね。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 23:01:13
分散環境をOSに見立てたときに、興味深いのはOSのアナロジーがそのまま利用できること。たとえば、モノリシックなのか、モジュール指向にするのか、とか。多分モノリシックにするとクラウドコントローラみたいなものが必要で、モジュール指向だと自律制御が優先できる仕組みになると思う。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 23:05:48
要は(仮想環境=分散環境)間の資源の融通をどうするか?という議論になるわけで、これDRふくめて停電や資源節約にも直結する。その融通をどう制御するかというお話で。そこに頭をおくか、資源間で勝手に融通させるか、という違いはある。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 23:09:10
「タスク負荷の分散」っていう目的に対して分散か仮想化かという2つの手段があるわけで、両方混ぜちゃうとどちらのメリットも生かせないというのは確かだ
返信する
RTする
ふぁぼる
henachokodoumei
2011/06/09 23:09:30
結局ローレイヤーのIOはできるだけオーバーヘッドをなくせ、というのが鉄則になるので、あんまり仮想化すんな、と言う話がでてくる。んじゃ対障害はどうするかってのはあるけど、むしろ上位でかたづけろ的な話で終わって、その上位層をどう調整するか?というお話。その場合は従前の仮想化は不要。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 23:13:32
今日も某所で仮想化の位置づけの議論になって、今週立て続けでこの話題がでている。引き金はHadoopで、なんというかHadoopは本当に鬼っ子で、いろんなところのスイッチを押しすぎる。逆にいうと今まで問題を放置しすぎたともいえる。その意味でいままでのF/Wとはインパクトが違う。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 23:17:17
@okachimachiorz1
国内に限って云えば、リソースの集約を目的とした「ブレード→仮想化」の流れはかなり大きかったのに対して、分散処理にはこれまであまり注力されてこなかった印象があります。
返信する
RTする
ふぁぼる
henachokodoumei
2011/06/09 23:21:39
Hadoopの狂想曲を見ていると、「文字通り、群盲象を撫でるが如くだな」などと皮肉の一つも言いたくなるが、たぶんこれはHadoopの問題ではなくて、今まで内在していた問題がHadoopを切っ掛けに表に出てきているという風にみる方が正しい。
返信する
RTする
ふぁぼる
okachimachiorz1
2011/06/09 23:21:47
仮想化は、ハードと分離できなかったOSを分離したことで運用性に利点があったが、仮想化によるノード多重化は、むしろ運用性が悪くなるのではないか。障害調査とか面倒になるだけだし。
返信する
RTする
ふぁぼる
ayasehiro
2011/06/09 23:23:05
今の主流の仮想化が資源共有が前提なので混乱するのでは?私は必ずしも仮想化=共有資源では無いと考えてますRT
@okachimachiorz1
: 今日も某所で仮想化の位置づけの議論になって、今週立て続けでこの話題がでている。引き金はHadoopで、なんというかHadoo...
返信する
RTする
ふぁぼる
satoruf
2011/06/09 23:24:42
@ayasehiro
もうすでに仰る通りになってるよwwwウチのデータセンターでやってる仮想化従量サービスは、障害起こったらどこで何が起こってるのか分からんようになりつつあるって。で、海外の製品だけど、そういうのを一括で管理するような仮想化管理システムも登場し始めてるらしい。
返信する
RTする
ふぁぼる
Shisimin
2011/06/09 23:26:00
@Shisimin
仮想化されたせいでハードウェアサポートも苦労するんだよね…(´・ω・`)
返信する
RTする
ふぁぼる
naom44
2011/06/09 23:27:04
OS以上のレイヤーの運用性が高くなれば、仮想化は必ずしも必要ないし、そもそも自前でインフラ運用しないんだったら、仮想化なんて意識しなくなる。
返信する
RTする
ふぁぼる
ayasehiro
2011/06/09 23:27:25
Hadoopは、専用分散システムで実行するのか、汎用分散システムで、しかも空いた計算リソースで処理すべきかの問題になるかと。おそらくGoogle MRは後者。他社が前者を狙うにしても仮想化との相性は疑問ですね。
@okachimachiorz1
: 今日も某所で仮想化の位置づけの…
返信する
RTする
ふぁぼる
ichiro_satoh
2011/06/09 23:27:59
特に仮想化によるノード多重化と、分散並列処理は相性が悪いだろうなぁ。分散並列処理ではいかに1ノードの処理性能を上げるか……だろうから。
返信する
RTする
ふぁぼる
ayasehiro
2011/06/09 23:29:54
@Shisimin
それもそうだし、今まで1OSしかなかったところに数十とか仮想OSが乗ってるハードを、どう止められるよ、メンテナンスするよ、って。ほかの所に移動するだけで一苦労だぜぃ。
返信する
RTする
ふぁぼる
naom44
2011/06/09 23:30:49
Content from Twitter
残りを読む(80)
ブログへ
iframe版
拡張版
張付けプレビュー
Fav
23
あわせて読みたい
hadoopと仮想化的な話
大名古屋#07
Hadoop Hack Night Vol. 2
#hadoop_training
Hadoop Hack Night Vol.2 #hadoophn
powered by Preferred Infrastructure
コメント
追加。 こちらも参考 hadoopと仮想化的な話
http://togetter.com/li/146489
返信
wyukawa
2011/06/10 01:25:42
0
追加
返信
wyukawa
2011/06/10 01:28:30
0
6/10分を追加
返信
wyukawa
2011/06/10 22:17:49
0
コメントを入力してください。
Twitterにも投稿する
みんなのおすすめ商品
商品を編集
おすすめ商品を登録する
設定を変更する
まとめを作成する
プロフィール
フォローする
wyukawaです。こんちは。
wyukawa
link
twitter
rss
フォローされている
2
アップデート
まとめ
17
71
Hadoopは仮想化の流れに逆行するのか?
41
Hadoopのテスト環境はどうやるのがいいのか?
23
Hadoopでログ解析ってよく聞くけど。。。
コメント
5
新着のまとめ
至誠館(公式)tweet5月25日、26日、2..
new
神主結婚式&二次会実況#zun_wdg まとめ..
new
核燃料サイクル:秘密のお勉強会 事務局官僚&原..
new
vol.16 ナマポの定義
new
農水省畜産部の原田英男氏( @hideohar..
new
もっと見る
@togetter_jp
最近追加された商品
詐欺の心理学―どうだます?なぜだまされる? (ブルーバックス)
蒼い炎
最新 詐欺撃退マニュアル
スーパールームガード2
馬鹿まるだし [DVD]
オススメ
マイスター
トゥギャ通
MIT から低線量被曝影響の研究論文〜自然放射..
金環日食の写真を加工して遊んでたら収集つかない..
PKAnzug氏による検証 『福島県の子供の病..
昭和初期の『格差』について
中核派が北九州瓦礫受け入れ妨害行為への関与を宣言
(短編まとめ)金環日食にちなんだイラストがNA..
もっと見る
深夜の東大生を中心に発生した「たのしい人生」TL
new
「女川」ツイートまとめメモ 2012/05/2..
new
らいおん君稼動1周年記念オリコ・結果発表まとめ
new
江川紹子さんがつぶやく 「NHKスペシャル 未..
new
落合洋司弁護士がつぶやく 「NHKスペシャル ..
new
NHKスペシャル 未解決事件 File.02 ..
new
もっと見る
第80回「日食写真と昭和格差」
号外「みんなの金環日食まとめ―画像から教養ま..
第79回「虚構新聞とJリーグ」
第78回「コンプガチャとIT系かあちゃん」
第77回「びろーんと自宅警備隊」
第76回「Appleとパンツクッキー」
もっと見る
コメント