2014/02/14 デブサミ2014【14-B-2】グリーを支えるデータ分析基盤の過去と現在 #devsumiB
-
natsu_nanana
- 1695
- 0
- 0
- 1
-
- いいね！1
Hiroyuki Ito
@chigasaki_it
B会場のコーヒースポンサー席は最前列からスクリーンまでの距離が近すぎて、首が痛くなりそう。 猫背矯正にはよいかも。 #devsumiB
2014-02-14 11:08:00
みよひで画伯
@miyohide
橋本「過去（2011年）のGREEにおけるデータ分析基盤について。Webサーバから上がってくるログをrsyncで集めて、バッチで集計。2012年にはそれに加えて、Analytics DBを用意して生データを触れる用に。」 #devsumi #devsumiB
2014-02-14 11:10:50
みよひで画伯
@miyohide
橋本「だんだん困ってきたこと。データがほしい人が増えてきた（サービスが増えた、人が増えた）。データ提供（生データから集計するバッチのメンテ）が正直しんどくなってきた。」 #devsumi #devsumiB
2014-02-14 11:11:48
てすてっど(testedquality)
@testedquality
GREEさんのデータ分析基盤について #devsumiB 「データ提供が正直しんどい」正直だねぇ
2014-02-14 11:12:18
みよひで画伯
@miyohide
橋本「ここ1年でこの仕組を修正。データに対してはだれでもアクセスできるように（Accessability）、どれだけ貯めこんでもよいように（Scalability）をコンセプトとした。」 #devsumi #devsumiB
2014-02-14 11:13:45
せみやしん
@shin_semiya
ゲームへのアクセスログはTD げーむからAPIへのアクセスログはHadoopベースのオンプレミス #devsumi #devsumiB
2014-02-14 11:14:08
みよひで画伯
@miyohide
橋本「また、従来の基盤は活かして、ゲーム（ゲームへのアクセスログ）についてはTreasure Dataベースで。GREE Platformは内製のHadoopベースで。」 #devsumi #devsumiB
2014-02-14 11:14:27
てすてっど(testedquality)
@testedquality
データ分析基盤 Treasure Data ＆Hadoop の２種類を追加 #devsumiB
2014-02-14 11:14:33
みよひで画伯
@miyohide
橋本「Treasure Dataを利用した理由は、Hadoopクラスタの構築が不要ですぐに利用可能、ログのコレクトからストアまでワンストップで提供（fluentdのプラグインで実現）、スキーマレスで自由度の高いログフォーマット。」 #devsumi #devsumiB
2014-02-14 11:15:28
みよひで画伯
@miyohide
橋本「単純に言うと、データ・ウェアハウスの運用コストの削減が狙えるのがTreasure Data採択の理由。」 #devsumi #devsumiB
2014-02-14 11:16:11
ばしし
@rada_bashishi
ゲームのログはイベントなどによってフォーマットがころころ変わるのでスキーマレスなサービスが都合がいい。 #devsumiB
2014-02-14 11:16:18
Manabu Uchida
@uchimanajet7
ですよねートレジャーさんは個人的にちょー使ってみたい… #devsumiB http://t.co/Y5CorJcCAm
2014-02-14 11:16:40
拡大
y_koh
@y_koh
まとめを更新しました。「2014/02/14 デブサミ2014【14-B-1】やる気を引き出す組織風土のつくり方 #devsumiB」 http://t.co/gbx5cBqPP7
2014-02-14 11:16:48
せみやしん
@shin_semiya
20ゲームタイトル Webサーバ2k台 log aggregator 40台 送信データ 1TB/月 #devsumi #devsumiB
2014-02-14 11:17:08
みよひで画伯
@miyohide
橋本「データ量について。20ゲームタイトル、Webサーバーは2,000台以上、送信データ量は1TB/月。」 #devsumi #devsumiB
2014-02-14 11:17:28
てすてっど(testedquality)
@testedquality
TreasureData (製品) 構築が簡単、スキーマレスで自由度の高いログフォーマット対応など自分たちで作る必要がなかったのが選択理由 #devsumiB 約20ゲームWebサーバ2000台以上 データ1TB を毎月運用
2014-02-14 11:17:35
みよひで画伯
@miyohide
橋本「基盤としてはログを送信するところだけをやればいいので、そんなにコストはかかっていない。ログデータをゲーム改善のアクションに繋げられるようにデータの可視化に力を注いでいる。」 #devsumi #devsumiB
2014-02-14 11:18:41
せみやしん
@shin_semiya
ログデータをゲーム改善のアクションにつなげる Webサイトの手法をソシャゲに導入 ジョブ管理をしっかり ・ジョブ管理ツール #devsumi #devsumiB
2014-02-14 11:19:03
てすてっど(testedquality)
@testedquality
GREEのゲーム回線のアクションに ログデータを使う。Webサイト分析で行う手法をゲームに適用してアクセス遷移分析を行う。UI UXの改善。#devsumiB
2014-02-14 11:19:29
みよひで画伯
@miyohide
橋本「分析方法としては、アクセス遷移分析。Webサイト分析では一般的な手法をソーシャルゲームに導入している。ページ遷移（目的にページに到達しているか）、離脱（離脱率の高いステップはどこ？）、クリック（どのリンクがクリックされているか）」 #devsumi #devsumiB
2014-02-14 11:20:32