まとめの限定公開に「リンク限定」が追加されました。URLを伝えてまとめを共有しよう!
2
Developers Boost【U30エンジニアの登竜門】 @developersboost
B-3セッション『ゲーム運用を影から支えるCygamesのデータ分析基盤について』藤田晋哉さん(Cygames)です! #devboost #devboostB pic.twitter.com/sMkY6QUhkK
 拡大
そば太郎 @_sobataro
「ゲーム運用を影から支えるCygamesのデータ分析基盤について」 event.shoeisha.jp/devboost/20181… #devboost #devboostB
策士TANUKI @Sakushi_TANUKI
Cygamesのデータ分析基盤、Amazon Redshiftなのか #devboostB
そば太郎 @_sobataro
データ分析基盤の役割について。分析・集計に特化した DWH として RedShift を利用。もとはオンプレだった。 #devboost #devboostB
ライナス @Linus_MK
14:15【B-3】ゲーム運用を影から支えるCygamesのデータ分析基盤について #devboostB redshiftの話が中心です もともとオンプレのDWHを使っていたけど、事業規模拡大に対応するためにRedshiftを採用
そば太郎 @_sobataro
各ゲームごとにインスタンスを用意、最大で約7年分のデータを保存。歴史がすごい #devboost #devboostB
こやぴっぐ。 @koyapig
ゲームDBはMySQL -> Redshiftにログを取り込む #devboost #devboostB
そば太郎 @_sobataro
ゲーム DB, サーバログからデータを取り込み、分析、内製 BI ツール、不具合調査・補填対応に利用。 #devboost #devboostB
k3nNy(けん汰) @i_am_tunaaaaa
#devboost #devboostB アジャイル開発やってみた話かな?
やまと @0vccWIHNou
ゲームのKPIとかほしいデータ多すぎてそれをどうDWHに突っこむかってめっちゃ大事だよなあ…その辺が一番大変そう #devboostB
ライナス @Linus_MK
#devboostB Redshiftに入れたデータは何に使われるか ・データマイニングのチームtableau 分析業務 ・内製のBIチーム ・不具合や障害の解析 最新だけではなくあらゆる期間のデータが必要 ソシャゲはアップデートが多い→テーブルのスキーマ変更も多い
策士TANUKI @Sakushi_TANUKI
イベント開始前日の負荷対策のスキーマ変更……… #devboostB
そば太郎 @_sobataro
要件: 次回イベントの参考などのため、過去のデータをすべて置いておく必要がある。イベント開始直後などに速報値もとりたい。ゲームのアップデートや負荷対策により DB のスキーマ変更もあるが、急なカラム追加があっても止まると困る。けっこう大変そう #devboost #devboostB
Shoko(107)@1/18渋谷サポーターズ @_okohs
「必要なときに必要な期間」はどんなログ管理システムでもカバーしてるけど、スキーマ変更まではどう対応しているのか気になるな #devboostB
そば太郎 @_sobataro
実際の構成の話。 EC2 + SQS + S3 + Redshift. 非同期処理のため、ほとんどのデータを SQS 経由で扱う & 取り込める状態のデータを S3 にアーカイブ。前日分データを毎日取り込む。 #devboost #devboostB
そば太郎 @_sobataro
Redshift へのロード時にスキーマを比較する。スキーマが変わっていたら既存のテーブルを rename して退避し、データ取り込みは止まらないように。なるほど #devboost #devboostB
Shoko(107)@1/18渋谷サポーターズ @_okohs
これ、古いテーブル定義のログと新しいテーブル定義のログをまたいでデータ分析とかかけたいときどうやって処理するんだろう #devboostB
こやぴっぐ。 @koyapig
同期間隔はどれぐらいなんだろ? #devboost #devboostB
そば太郎 @_sobataro
1日1回、昨日1日分のデータをロード、という話からすると、おととい以前のデータは rename されたテーブルだけに入っている、ということかな? #devboost #devboostB
ライナス @Linus_MK
#devboostB ■分析基盤の構成 EC2 SQS S3 Redshift ほとんどの処理はSQSのメッセージを媒介 ゲームのデータベースをS3に →S3のデータをRedshiftに の2段階構成 テーブルのスキーマに変更があったら、既存テーブルをリネームして一旦退避する
そば太郎 @_sobataro
過去のデータも、すぐに Redshift に入れられる形で S3 にアーカイブする #devboost #devboostB
そば太郎 @_sobataro
一方サーバログについては、内製ツールで常時集約 -> s3 -> parse -> s3 -> Redshift に load. parse 前の生ログもとっておいて kibana とかで使う #devboost #devboostB
残りを読む(4)
ログインして広告を非表示にする
ログインして広告を非表示にする