-
- いいね！0
Daisuke Kobayashi
@d1ce_
#huejp / “EMR 4->5 バージョン間で Hue データを移行する - Qiita” htn.to/AVkGWi
2017-09-20 19:56:58
TakahiroMoteki
@tkmoteki
Hueのユーザ情報はexternal DB(RDS for mysql)で保存してたけど、Hueの履歴はとろうと思わなかったなぁ、 #huejp
2017-09-20 19:57:42
Sho Shimauchi
@shiumachi
社内の200人以上が Pig、Hive on Spark、Spark使ってるとかすごいなドワンゴ #huejp
2017-09-20 20:06:29
Tatsuo Kawasαki
@kernel023
ドワンゴさんはワークロードの80-90%がPigなのか... Hue 4.0はPigのエディタも刷新されているのでオススメですよw #huejp pic.twitter.com/twfRyEpSGE
2017-09-20 20:07:28
拡大
Daisuke Kobayashi
@d1ce_
Cloudera World Tokyo 2017 でも話すらしい！ clouderaworldtokyo.com #huejp
2017-09-20 20:08:26
Sho Shimauchi
@shiumachi
Hadoop用のWeb UIを自作するの、作ったときはいいんだけど結局は開発・保守が辛くなるという話はよく聞くな #huejp
2017-09-20 20:11:02
Daisuke Kobayashi
@d1ce_
定型処理はOozie Coordinatorで自動化されており、現在50種類のCoordinatorが動作している #huejp
2017-09-20 20:11:22
スチール
@s_wool
ここ数年、毎年なんらかの形でドワンゴさんのhadoop環境の進化を聴いているせいか、かつて自分が運用していた環境なんじゃないかと勘違いしそうになる #huejp
2017-09-20 20:11:44
Daisuke Kobayashi
@d1ce_
ワークフローは多いもので5並列、3段のOozie Workflowが定義されている。HueからであればXMLを書く必要もないので開発しやすい。OozieのXMLは地獄だからなー #huejp
2017-09-20 20:12:49
Daisuke Kobayashi
@d1ce_
Hueに移行してからアクセス数が増えるようになった。負荷が高くなったので、スレッド数の増加やHW増強、複数台設置などの対応をした #huejp
2017-09-20 20:19:34
Daisuke Kobayashi
@d1ce_
Hueの高可用性に関するドキュメント #huejp / “Hue High Availability” htn.to/QtESo3JFc
2017-09-20 20:21:39