2014/02/14 デブサミ2014【14-B-2】グリーを支えるデータ分析基盤の過去と現在 #devsumiB

Developers Summit 2014 Story http://event.shoeisha.jp/devsumi/20140213/ <講演概要> グリーではユーザに喜んでもらえるサービスを提供するための継続的な改善を重視しており、創業期よりログデータの分析基盤の開発・運用に注力してまいりました。昨年より、従来の自社開発の解析基盤に加え、Hadoopやfluentdなどを本格的に運用開始し、解析基盤のさらなる強化を実施しております。サービスの成長を支えるデータ分析基盤の構築・運用・活用方法について自社の事例をベースにお話します。 続きを読む
2
せみやしん @shin_semiya

googleアナリティクスじゃいかんの?と思ったけど、アクセス数高すぎてオンプレミスにしたのか #devsumi #devsumiB

2014-02-14 11:20:33
てすてっど(testedquality) @testedquality

アクセス遷移分析:ページ遷移、離脱、クリック箇所の可視化ツールを作成している #devsumiB

2014-02-14 11:20:36
てすてっど(testedquality) @testedquality

ページ遷移分析:ゲームのクリック箇所の遷移(割合など)が可視化できるようになった。「TOPページからアイテム一覧でxxまで到達したひと」など #devsumiB

2014-02-14 11:22:11
せみやしん @shin_semiya

ああ、プレイ時間とか、ユーザごとのアクティブ率をみたいのか #devsumi #devsumiB

2014-02-14 11:22:23
てすてっど(testedquality) @testedquality

クリック分析:Chromeのエクステンションを開発してゲーム画面にオーバーレイ表示。(このボタンがxx%など直接画面にだす) UI UX改善に効果がある #devsumiB

2014-02-14 11:23:31
みよひで画伯 @miyohide

橋本「クリック分析は、Chrome Extensionを利用してそれぞれのクリック情報を実際のゲーム画面にオーバーレイ表示させて、UI・UXの改善に紐付けている。」 #devsumi #devsumiB

2014-02-14 11:23:55
せみやしん @shin_semiya

クリックログはJSでサーバへ送信 お知らせやランキングの効果などで活用 #devsumi #devsumiB

2014-02-14 11:24:23
紅月さん@がんばらない @koduki

実画面にコンバージョンをオーバーレイで出すの良いな! 作ってみようかな #devsumiB

2014-02-14 11:25:36
せみやしん @shin_semiya

なあこの話、のむそーが3年くらい前にしていた話じゃなかったか #devsumi #devsumiB

2014-02-14 11:25:37
てすてっど(testedquality) @testedquality

データを解放すると非効率なジョブが大量に投げ込まれるー>遅延する(あるある!) ジョブ管理ツールを作成した #devsumiB

2014-02-14 11:25:47
みよひで画伯 @miyohide

橋本「ジョブ管理ツールについて。データを社内に開放すると、非効率なジョブが大量に投げ込まれる。結果、ユーザから欲しいデータが得られないという問い合わせが増える。」 #devsumi #devsumiB

2014-02-14 11:26:02
ばしし @rada_bashishi

データを社内に開放すると非効率なジョブが大量に投げ込まれるようになった。 #devsumiB

2014-02-14 11:26:17
せみやしん @shin_semiya

誰でも見られるように、誰でもジョブ投げられるようにしたら超重くなった ジョブのモニタリングと管理が重要 遅いやつを可視化 遅すぎるやつは殺す 遅すぎるやつを投げた人を発見しやすくする #devsumi #devsumiB

2014-02-14 11:26:57
てすてっど(testedquality) @testedquality

ジョブの可視化。資源は限られているのです。だれがどのクエリを投げたかわかるようにしているし、統計もとっている。 #devsumiB

2014-02-14 11:27:30
みよひで画伯 @miyohide

橋本「ジョブ管理ツールは、投げ込まれたジョブの可視化する。実行時間や送信元などの情報が得られる。しきい値以上の時間のかかっているジョブの統計と一覧を表示させて、(ジョブを)投げいる人に対して改善を依頼。」 #devsumi #devsumiB

2014-02-14 11:27:50
てすてっど(testedquality) @testedquality

もう一つGREE Platformの分析はHadoopで自社作成 #devsumiB

2014-02-14 11:29:09
ばしし @rada_bashishi

GREE Platformは自分たちで作ったHadoopベースで分析 #devsumiB

2014-02-14 11:29:18
みよひで画伯 @miyohide

橋本「つづいてGREE Platformのデータ分析基盤について。これはHadoopベースで内製。」 #devsumi #devsumiB

2014-02-14 11:30:12
せみやしん @shin_semiya

Hive使うのにJavaか。 GREEなのにJava使っても椅子を蹴られないのか #devsumi #devsumiB

2014-02-14 11:31:24
みよひで画伯 @miyohide

橋本「構成としては、JDK7+CDH4+Apache Hive(v0.12 + α)。これらに対して独自拡張。例えば社内認証システムとの連携やGREE専用で作っているUDFsを自動ロードするものとか。」 #devsumi #devsumiB

2014-02-14 11:32:04
せみやしん @shin_semiya

100ユーザしかいなくてもひぎぃしちゃうのかGREE #devsumi #devsumiB

2014-02-14 11:32:27
てすてっど(testedquality) @testedquality

GREE Platformのデータ分析は一日5000ジョブ 60Tを利用 120ユーザ程度でほとんど非エンジニア #devsumiB

2014-02-14 11:33:02