YARN-1458とHadoopのビルド

Ryu Kobayashi @ryu_kobayashi

@oza_x86 YARN-1458これの対象が2.6.0で.2.4系には当てられないのよ...

oza @oza_x86

@ryu_kobayashi oh, なるほど．2.5 辺りで scheduler はコードの統一化が計られたから，それで patch が当たらなくなってるんだと思う．

Sadayuki Furuhashi @frsyuki

@oza_x86 YARNって、プロトコル互換性ってどのくらい気にされているんでしょう？ 例えば2.6系のサーバと2.4系のクライアントとかって大丈夫？

oza @oza_x86

@frsyuki 明文化はされてないけど，user-facing の client は基本的に壊さない方針．必要にかられたら壊すことはある...ので要テスト．

oza @oza_x86

@ryu_kobayashi あ，2.6 に入ってたか，あの変更

Sadayuki Furuhashi @frsyuki

@oza_x86 ふむ…！なるほど。YARN的にはプロトコルはuser-facing扱いなんですねー。それならわりと大丈夫そう…な印象。Thrift？の定義のchangelogを確認すれば、きっと問題なさそうな。

oza @oza_x86

@frsyuki minor nits ですが，プロトコル定義は protobuf です(Please see: find . -name "*.proto")．変える場合は reasonable か否かを徹底的に議論しますね．

Sadayuki Furuhashi @frsyuki

@ryu_kobayashi @oza_x86 2.2.0は2013年10月リリースだから、まぁそんなもんでは。

Sadayuki Furuhashi @frsyuki

@ryu_kobayashi @oza_x86 そりゃわりと困りますね…livelock/deadlockとか、サーバが止まる系はバックポートして欲しいかな。まぁディストリビュータのカバー範囲という気もするけど。Hortonworksががんばれば！

Sadayuki Furuhashi @frsyuki

@ryu_kobayashi @oza_x86 その手があったか…！！！

oza @oza_x86

@frsyuki @ryu_kobayashi 忘れさられてしまったパターンだね... backporting するか．

Sadayuki Furuhashi @frsyuki

@ryu_kobayashi @oza_x86 でもわりと真面目に各コンポーネントごとに個別にアップデートできるようにしておかないと、先々でまた困る気がしますね。HDPのリリースを待っていられるのかどうか。

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi 神降臨の予感…！

oza @oza_x86

@frsyuki @ryu_kobayashi まったくもって正しい．

oza @oza_x86

@ryu_kobayashi 最近 git に移行したんだよ！！

Ryu Kobayashi @ryu_kobayashi

@oza_x86 2.5からでしょ。名前変えるのはいいんだけど、デカイからなかなか落ちてこないの...

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi Hadoopというかpomの問題という気もするけども、例えば今のHiveのHEADってhadoop-core-1.2.1 に依存しているじゃないですか。そうするとhiveをバージョンアップするとhadoopも上げないといけなくて、

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi でもhadoopはJIRAを見たところ未解決の問題が発生しているから上げたくない…みたいなときに、どうやってhiveをビルドするのか…となって困る問題はどうやって回避する方法があるんでしょう？ エコシステムが大きいので、

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi Hadoop, Hive, Pig, YARN, Zookeepr などなど主要コンポーネントに加えて、さらにorg.apache.commonsとかも混じってくるので、わりと破綻することが想定される…

oza @oza_x86

@frsyuki @ryu_kobayashi 本当は，Tez みたいに -Dhadoop.version=2.5.0 とか指定してできるとベストだけど，Hive がまだそこまでやってないのだと思われる．

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi ちなむとPrestoの場合は、airbaseという「ルートpomファイル」があって、そこで共通して依存ライブラリ（commonsとかguavaとか）のバージョンは関連コンポーネント間で統一されるようになってますね

Ryu Kobayashi @ryu_kobayashi

@oza_x86 @frsyuki Hiveは今、hadoop1かhadoop2しか指定できないね

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi ただそうするとルートpomファイルに書いてあるライブラリのバージョンを上げるのがものすごく大変になるという負荷が開発者側にかかってくるわけですが…

oza @oza_x86

@frsyuki @ryu_kobayashi ほほう，これですかね github.com/facebook/prest…

Sadayuki Furuhashi @frsyuki

@oza_x86 @ryu_kobayashi それでする。その-Dhadoop.version=って、どこまでのバージョンなら指定してもOK！って、どこかのCIサーバか何かでテストされている感じですかね？