Hadoop座談会(第二回）まとめ

marble @marblejenka

#hadoopModeling USTのひときたのでもうちょっとしたらUST開始されると思いますよ。

Mikka @mikka_tech

どこまでMapReduceするかでアプリケーションの範囲が限定されてくる(フロント、中間、バックエンド) #hadoopModeling

Kato Kiwamu @kiwamuk

"Hadoop は、大量データの最終処理までやるのに向いてるかは分からない。中間処理にとどめたほうが幸せかも" #hadoopModeling

OsamuHashimoto @osacaz4

これ、今お世話になってる教授も同じ事を言ってます。Hadoopの導入の容易さは魅力だとか。 RT @nsiena: 「第一印象: 何が新しいの? 1990's の並列LISP の MR との違いは並列数: 当時の知見を利用可能。 #hadoopmodeling

Mikka @mikka_tech

あくまでバッチ処理向けのもの、それ以外は考えない方がいい #hadoopModeling

NAO @nemoton

割りきってどう使うか？はまらないところにはめようとするのはダメ。。。癖が強い、バッチ処理強し。適材適所で。きちんと自分のもっているデータを見極めたうえで。目的と手段がアベコベにならんように。 #hadoopModeling

東雲 翡陽@442hz.tokyo @H_Shinonome

RT @nsiena: 「MR の特性に合ってるものなら分散性を意識しないですむ。Hadoop に向いてないのに、Hadoop を使いたいがためにアプリを作ってしまうことがあるだろうけど、全くお薦めしない。」 .o(全く同意。適材適所で使い分けるべき。 #hadoopmodeling

Mikka @mikka_tech

アプリケーションに向けてDSLを作るべき。Hadoop/MapReduceのためにDSLをつくるのは本末転倒なのでは #hadoopModeling

marble @marblejenka

#hadoopModeling DSLってふつうアプリごとにつくるもの。対象を限定することによって開発能力を向上させる的な。ただ、hadoopに関していえば、分散システムであることを隠蔽する非機能要件的なDSLがいるかもね。

did2 @did2memo

BOOM(USB) http://boom.cs.berkeley.edu/ #hadoopModeling

Mikio Yoshida @kibayos

1990's の並列LISP って何を指してたんだろ。 #hadoopModeling

@nsiena

「DSL。必要だが、アプリに応じて設計されるべきで、MR/Hadoop に対して DSL を設計すべき出はない。対象を限定することで、簡単にかけることが DSL のポイント。例えば、分散システムの難しい部分の隠蔽 (e.g. BOOM)。 #hadoopmodeling

Mikka @mikka_tech

RT @marblejenka: #hadoopModeling DSLってふつうアプリごとにつくるもの。対象を限定することによって開発能力を向上させる的な。ただ、hadoopに関していえば、分散システムであることを隠蔽する非機能要件的なDSLがいるかもね。

Mikio Yoshida @kibayos

なんじゃこりゃ！Datalogがでてきたぞ RT @did2memo: BOOM(USB) http://bit.ly/bGPlZD #hadoopModeling

close_yutori @kimukou2628

BooM(UCB) DSL for Hadoop プロトコル、投機実行制御記述できる #hadoopModeling

あおうさ @bluerabbit777jp

#hadoopModeling 電力とHadoop

Mikka @mikka_tech

MR用のDCは消費電力が均一化できないのでよろしくない。GoogleはGmailとかいろいろ処理をちりばめることで均一化している #hadoopModeling

@nsiena

「研究のトレンド。DCでは、消費電力の変動が大きいので、Hadoop ラスタと物理的に対応する専用システムはNG。複数の Hadoop クラスタを混合して実行して平準化すべき。Hadoop では、消費電力の予想は困難。DC向けでないと見られている。 #hadoopmodeling

marble @marblejenka

#hadoopModeling hadoopクラスタの電力モデルが安定しないとか。頑張っていろいろ計測してもモデルができないので、データセンターつくったりするのが難しいとか。

Yosuke Nagatomo @gtmhouse

Google は多分もうデータセンターに興味がないと思う #hadoopModeling

Kazunori Sato @kazunori_279

見えますか？問題あったらお知らせください。遅くなって大変申し訳ありません！ (#hadoopModeling live at http://ustre.am/hx3O )

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

Datacenter as a Computing 翻訳が、今月末には、でるはず。 #hadoopmodeling

Yosuke Nagatomo @gtmhouse

RT @hiromiarts: DCの1番の問題は消費電力。だけどMapreduce/Hadoopは平準化できないため消費電力観点だとお勧めできない。消費電力は予測できない。 #hadoopmodeling

Kato Kiwamu @kiwamuk

Google 様はコアな技術は明かさないので、そんな本が出版されたのはもうデータセンターに興味がない証拠 (サードパーティ製に乗り換えてく？) #hadoopModeling

did2 @did2memo

！間違えてるorz RT @kibayos: なんじゃこりゃ！Datalogがでてきたぞ RT @did2memo: BOOM(USB) http://bit.ly/bGPlZD #hadoopModeling