Hadoopのジョブ管理

3
deli @deli_phi

HadoopのJP1連携はできるらしい。

2011-07-06 15:08:28
Kenichiro HAMANO @hamaken

NTTデータでも、HadoopのジョブをJP1で制御するシステム構築実績がある。既にジョブ管理システムが入ってるシステムと連携する場合、それでHadoopの面倒も見ろと言われるケースが多い。 RT @deli_phi HadoopのJP1連携はできるらしい。

2011-07-06 22:42:13
deli @deli_phi

なるほど、確かに既に入ってる場合はそういう発想になりますね。 RT @hamaken: NTTデータでも、HadoopのジョブをJP1で制御するシステム構築実績がある。既にジョブ管理システムが入ってるシステムと連携する場合、それでHadoopの面倒も見ろと言われるケースが多い。

2011-07-06 22:48:36
Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

JP1 は、この世から、いちど、消えないといけないものの、一つだとおもう。

2011-07-06 23:00:21
wyukawa @wyukawa

JP1は使ったこと無いからわからんのよね。ジョブ管理というものがどうゆうものなのかもわからんので、Hadoopジョブのジョブ管理といってもピンとこない。

2011-07-06 23:05:45
綾瀬ヒロ @ayasehiro

システム構成を考え直すいい機会になりそう! RT @Guutara: JP1 は、この世から、いちど、消えないといけないものの、一つだとおもう。

2011-07-06 23:09:55
綾瀬ヒロ @ayasehiro

うちのシステムのジョブ管理にもJP1を使っているけど、使い勝手が良いとは言いがたい……管理サーバの冗長化もなんか中途半端だし。

2011-07-06 23:11:35
綾瀬ヒロ @ayasehiro

JP1でもそうだけど、保全系から本番系への構成情報の移動をもう少し製品でフォローして欲しい。エクスポート/インポート機能だけだと足りなくて、自作変換ツール作ってるし……製品の恩恵が無いよなぁ。JP1に合わせたシステム構成設計にするのもなんか違うよね。

2011-07-06 23:14:47
Kenichiro HAMANO @hamaken

ジョブ管理システムに頼り切って、ジョブが細かく複雑になりすぎ、もはや棚卸しできなくなってるケースを何度も見てきているが、ああなってはいけない Hadoopジョブの構成でも、運用容易性を意識している。Hadoopらしくデータの走査単位が大きくなるようアプリを作ればたいていは大丈夫

2011-07-06 23:18:02
wyukawa @wyukawa

シェルスクリプト地獄もJP1のジョブネットみたいに可視化されていれば見やすいかもな。blockdiagとかで書いても良いかも

2011-07-06 23:18:40