2017/04/26 データ分析基盤Night #2 #データ分析基盤Night
-
- いいね！14
this is matsuu speaking
@matsuu
#データ分析基盤Night freee で使用しているミドルウェア/サービス MySQL, Rails, Redshift, Elasticsearch, Kibana, EMR, Spark, Firebase, Kissmetrics, JIRA
2017-04-26 20:10:56
this is matsuu speaking
@matsuu
#データ分析基盤Night freeeで利用しているクラウドサービス（一部） Marketo, salesforce, zendesk, zuora, LiveChat, New Relic, bugsnag, mackerel, Google Analytics, JIRA
2017-04-26 20:14:02
this is matsuu speaking
@matsuu
#データ分析基盤Night re:dashの導入でデータ利用が加速した。が、ダッシュボード多すぎ問題とクソクエリー再利用されまくり問題。re:dash警察が活躍してクソクエリーを潰してまわってる。
2017-04-26 20:18:29
this is matsuu speaking
@matsuu
#データ分析基盤Night freee 分析基盤のつらみ Salesforce/marketoとの連携がつらい。Rate LimitなどのAPICAL制限がきつい。外部サービス故にbulk apiで取得する際のIOPSに気をつける必要がある
2017-04-26 20:20:34
this is matsuu speaking
@matsuu
#データ分析基盤Night Redshiftのチューニングは結構コツが必要。Redshift SpectrumがTokyoリージョンに早く来て欲しい
2017-04-26 20:21:19
this is matsuu speaking
@matsuu
#データ分析基盤Night メルカリのデータ分析基盤 アプリからfluentdで集約サーバに、そこからbatchサーバ→BigQueryや、NorikraからmackerelとSlackへ
2017-04-26 20:34:34
this is matsuu speaking
@matsuu
#データ分析基盤Night メルカリ、BigQueryへはバッチで流し込み。GCSやS3にバックアップを保存。BigQueryには定額プランがあってクエリの料金を気にしなくていいようにしてる。ただしスロットは有限なのでクエリを投げすぎると大幅に遅延。
2017-04-26 20:36:46
this is matsuu speaking
@matsuu
#データ分析基盤Night メルカリ、ダッシュボードにはChartioを利用。 BigQueryからデータをGoogle Spread Sheetへダウンロードして集計、グラフ化。Excel形式は慣れている人が多いので、非エンジニアとの共有が捗る。
2017-04-26 20:38:40
this is matsuu speaking
@matsuu
#データ分析基盤Night メルカリ、イベント収集はcookpad/puree-(ios|android)からOpenRestyを経由、fluent-agent-hydraでfluentdを経由してBigQueryに。
2017-04-26 20:44:09
prototechno
@prototechno
#データ分析基盤Night / “モバイルアプリのログ収集ライブラリ「Puree」をリリースしました - クックパッド開発者ブログ” htn.to/YNDMmfZrUd
2017-04-26 20:44:59
this is matsuu speaking
@matsuu
#データ分析基盤Night A/Bテストは数十件単位で同時進行。A/Bテストの副産物として段階的リリースができるようになった。feature flag driven developmentだ。A/Bテストの結果分析はBigQuery。
2017-04-26 20:48:33