KLab勉強会#6

matsuu @matsuu

#KLab KLabのソーシャルゲームは12タイトル、33サイト（モバゲー、GREE、mixi、iPhoneアプリなど）。1サイトあたり最大数千万PV/日。膨大なログを要約/可視化する必要がある

matsuu @matsuu

#KLab KLabでは、BI用ツール(kg_report)を開発するチームとデータマイニングチーム(kg_kpi)がある。BIは経営寄り、データマイニングはマーケ＋開発寄り

matsuu @matsuu

#KLab BIチームのミッションはkg_reportの開発。売上管理の側面として、全プロジェクト網羅的、正確であることが重要。ただ、数字は合計だけで、厚い情報は必要ない。担当者が確認できるツールが必要。

matsuu @matsuu

#KLab データマイニングチームは、開発側は多くのゲームのデータを統一フォーマットで収集・蓄積し分析に利用できるようにすること。定常的なレポートの整備。企画側はデータを分析し運用などへフィードバック。

matsuu @matsuu

#KLab データマイニングは分析に必要になったときに、使える状態にあればよい。最低限蓄積されていれば良い。どういう使い方になるかわからないから。また、深い・細かい情報が必要。標準化されたフォーマットで蓄積されていことが大事。

matsuu @matsuu

#KLab データマイニング用のシステムはAmazon AWS上に構築している。データはS3に蓄積、それをRDSにエクスポート。それをEC2を使って分析かな？

matsuu @matsuu

#KLab 集計スクリプトはPythonで。各プロジェクトのサーバーで稼働し、アクセスログ+DBデータをシリアライズして送信。データフォーマットはメタデータ＋タブ区切り。売上ログ、アクセスしたユーザー、招待、新規インストール、レベルのスナップショット、他諸々

matsuu @matsuu

#KLab Apacheのアクセスログももちろんとってる。Apacheという言葉が出てきたからApache使ってるんだな。ふーむ、nginxじゃないのか。

matsuu @matsuu

#KLab AWSデータストレージ。EC2でスクリプトを動かし、S3にアクセスログおよびKPIデータをファイルで格納。RDSに分析用データを格納。EMR(Elastic MapReduce)でログをバイナリフォーマットに変換

matsuu @matsuu

#KLab 静的HTMLレポートを生成している。HTMLのメリットとして迅速に項目追加できること。HTMLテーブルはエクセルにコピペできるので便利。また図も載せられるのし。

LambdaCracker @masahiroSkd

ランニングコストがかかるのでhtmlの静的ファイルで出力。 htmlだとグラフ化できるのもメリット。 #Klab

matsuu @matsuu

#KLab HTMLテーブルはエクセルにコピペできるので便利ってのは目から鱗だな。xlsやcsvで出さなきゃって考えがち。

matsuu @matsuu

#KLab KLabではジニ係数をよく利用する。主に取得格差の指標として使用されるが、KLabでは購入額（課金額）の差を数量化。ほう面白い。0.81485927827って数字が出てるがこれモノホンの数字かな？

matsuu @matsuu

#KLab 成功しているサービスは一部のユーザに依存せずたくさんのユーザーがお金を使ってくれる傾向がある。なのでそのチェックにジニ係数が使えるらしい。

matsuu @matsuu

#KLab デシル分析。上位x％のユーザーで売上の何%を占めるか。ほうほう。

Satoshi SUZUKI 🌗 @studio3104

デシル分析はfluent-plugin-datacounterで出来そう #KLab

matsuu @matsuu

#KLab アクセスログはmsgpackでバイナリ化している。会員IDごとにファイルを100分割。時刻、会員ID、URL、GETパラメータの4カラムのバイナリデータに変換。これによってログ検索の高速化を行なっている

LambdaCracker @masahiroSkd

R言語の話やはりきたか #Klab

matsuu @matsuu

#KLab バイナリログのメリット。パス別の滞在時間やユーザーの行動履歴などが高速に計算できる。バイナリだからってのはよくわからん。

matsuu @matsuu

#KLab Elastic MapReduceを使い13台の仮想マシンによる分散処理でログを変換している。毎時$0.06を13台。

matsuu @matsuu

#KLab 統計パッケージの利用。RやSPSSを使ってる。Rは言わずもがな。プログラマ向け。SPSSはIBM製で有償。GUIで統計解析を実行。企画・マーケチームの利用を想定。

matsuu @matsuu

#KLab 有用なレポートは定常レポートへ。Python: numpy + matplotlib。Pythonで実装することが多いらしい。

matsuu @matsuu

#KLab おー、ほんまや/usr/bin/bzgrepはただのシェルスクリプトだった RT @smbd: @matsuu shell scriptなので同じかと

LambdaCracker @masahiroSkd

KLab勉強会#6 本編は終了!! #Klab いざ懇親会へ!!

matsuu @matsuu

#KLab SPSSを導入するとIBMのコンサルからいろいろ教えてもらえるらしい