2014/02/14 デブサミ2014【14-B-2】グリーを支えるデータ分析基盤の過去と現在 #devsumiB
- natsu_nanana
- 1701
- 0
- 0
- 1
googleアナリティクスじゃいかんの?と思ったけど、アクセス数高すぎてオンプレミスにしたのか #devsumi #devsumiB
2014-02-14 11:20:33アクセス遷移分析:ページ遷移、離脱、クリック箇所の可視化ツールを作成している #devsumiB
2014-02-14 11:20:36ページ遷移分析:ゲームのクリック箇所の遷移(割合など)が可視化できるようになった。「TOPページからアイテム一覧でxxまで到達したひと」など #devsumiB
2014-02-14 11:22:11クリック分析:Chromeのエクステンションを開発してゲーム画面にオーバーレイ表示。(このボタンがxx%など直接画面にだす) UI UX改善に効果がある #devsumiB
2014-02-14 11:23:31橋本「クリック分析は、Chrome Extensionを利用してそれぞれのクリック情報を実際のゲーム画面にオーバーレイ表示させて、UI・UXの改善に紐付けている。」 #devsumi #devsumiB
2014-02-14 11:23:55データを解放すると非効率なジョブが大量に投げ込まれるー>遅延する(あるある!) ジョブ管理ツールを作成した #devsumiB
2014-02-14 11:25:47橋本「ジョブ管理ツールについて。データを社内に開放すると、非効率なジョブが大量に投げ込まれる。結果、ユーザから欲しいデータが得られないという問い合わせが増える。」 #devsumi #devsumiB
2014-02-14 11:26:02誰でも見られるように、誰でもジョブ投げられるようにしたら超重くなった ジョブのモニタリングと管理が重要 遅いやつを可視化 遅すぎるやつは殺す 遅すぎるやつを投げた人を発見しやすくする #devsumi #devsumiB
2014-02-14 11:26:57ジョブの可視化。資源は限られているのです。だれがどのクエリを投げたかわかるようにしているし、統計もとっている。 #devsumiB
2014-02-14 11:27:30橋本「ジョブ管理ツールは、投げ込まれたジョブの可視化する。実行時間や送信元などの情報が得られる。しきい値以上の時間のかかっているジョブの統計と一覧を表示させて、(ジョブを)投げいる人に対して改善を依頼。」 #devsumi #devsumiB
2014-02-14 11:27:50橋本「つづいてGREE Platformのデータ分析基盤について。これはHadoopベースで内製。」 #devsumi #devsumiB
2014-02-14 11:30:12橋本「構成としては、JDK7+CDH4+Apache Hive(v0.12 + α)。これらに対して独自拡張。例えば社内認証システムとの連携やGREE専用で作っているUDFsを自動ロードするものとか。」 #devsumi #devsumiB
2014-02-14 11:32:04GREE Platformのデータ分析は一日5000ジョブ 60Tを利用 120ユーザ程度でほとんど非エンジニア #devsumiB
2014-02-14 11:33:02