Hue meetup のまとめ #huejp

日本では初開催された Hue meetup のツイート集です https://connpass.com/event/65052/
0
Daisuke Kobayashi @d1ce_

#huejp / “EMR 4->5 バージョン間で Hue データを移行する - Qiita” htn.to/AVkGWi

2017-09-20 19:56:58
TakahiroMoteki @tkmoteki

Hueのユーザ情報はexternal DB(RDS for mysql)で保存してたけど、Hueの履歴はとろうと思わなかったなぁ、 #huejp

2017-09-20 19:57:42
やっさん🍶 @yassan168

Hueってデータ構造変わった場合にマイグレーションなどは用意されないのかなぁ #huejp

2017-09-20 19:58:08
Daisuke Kobayashi @d1ce_

ドワンゴ木浦さん、Hueによる分析業務改善事例 #huejp

2017-09-20 20:01:13
Daisuke Kobayashi @d1ce_

ドワンゴの分析基盤、ワークロードは Pig が 8-9割!! #huejp

2017-09-20 20:04:46
Sho Shimauchi @shiumachi

ドワンゴの社内ワークロード、なんと80-90%がPig #huejp

2017-09-20 20:05:34
Daisuke Kobayashi @d1ce_

オンプレCDHで、現在のバージョンは5.11.1。社内ユーザーは200人強 #huejp

2017-09-20 20:05:53
Sho Shimauchi @shiumachi

社内の200人以上が Pig、Hive on Spark、Spark使ってるとかすごいなドワンゴ #huejp

2017-09-20 20:06:29
Tatsuo Kawasαki @kernel023

ドワンゴさんはワークロードの80-90%がPigなのか... Hue 4.0はPigのエディタも刷新されているのでオススメですよw #huejp pic.twitter.com/twfRyEpSGE

2017-09-20 20:07:28
拡大
Daisuke Kobayashi @d1ce_

Cloudera World Tokyo 2017 でも話すらしい! clouderaworldtokyo.com #huejp

2017-09-20 20:08:26
Sho Shimauchi @shiumachi

Hadoop用のWeb UIを自作するの、作ったときはいいんだけど結局は開発・保守が辛くなるという話はよく聞くな #huejp

2017-09-20 20:11:02
Daisuke Kobayashi @d1ce_

定型処理はOozie Coordinatorで自動化されており、現在50種類のCoordinatorが動作している #huejp

2017-09-20 20:11:22
スチール @s_wool

ここ数年、毎年なんらかの形でドワンゴさんのhadoop環境の進化を聴いているせいか、かつて自分が運用していた環境なんじゃないかと勘違いしそうになる #huejp

2017-09-20 20:11:44
Sho Shimauchi @shiumachi

ドワンゴではHueとSlackを連携してるのか。ジョブ実行と完了をSlackに通知してる #huejp

2017-09-20 20:12:33
Daisuke Kobayashi @d1ce_

ワークフローは多いもので5並列、3段のOozie Workflowが定義されている。HueからであればXMLを書く必要もないので開発しやすい。OozieのXMLは地獄だからなー #huejp

2017-09-20 20:12:49
Sho Shimauchi @shiumachi

ドワンゴの社内Hueドキュメント、めっちゃ読んでみたい… #huejp

2017-09-20 20:17:08
Daisuke Kobayashi @d1ce_

社内Hue勉強会、社内ユースケースに応じたドキュメントの整備を行ったらしい。すごい #huejp

2017-09-20 20:17:11
Tatsuo Kawasαki @kernel023

ドワンゴさんの社内Hue勉強会に参加してみたい #huejp

2017-09-20 20:17:15
Daisuke Kobayashi @d1ce_

Hueに移行してからアクセス数が増えるようになった。負荷が高くなったので、スレッド数の増加やHW増強、複数台設置などの対応をした #huejp

2017-09-20 20:19:34
スチール @s_wool

hue、横に並べられるようになったんだ #huejp

2017-09-20 20:19:52
Daisuke Kobayashi @d1ce_

Hueの高可用性に関するドキュメント #huejp / “Hue High Availability” htn.to/QtESo3JFc

2017-09-20 20:21:39
Sho Shimauchi @shiumachi

Hue からS3につなぐときってアクセス制御ってどうするんだろ? #huejp

2017-09-20 20:24:32
Daisuke Kobayashi @d1ce_

オープンコレクター岡野さん、Djangoエンジニアの観点から見たHue #huejp

2017-09-20 20:24:47