tokyo Linux Study 02 #tlstudy
-
understeer
- 2991
- 0
- 2
- 1
-
- いいね！1
Satoru MIYAZAKI
@s_miyaza
Tokyo linux study 02始まりました。早速レッドブる http://ow.ly/i/egzu #tlstudy
2011-07-13 19:03:45
joker1007 (アルフォートおじさん)
@joker1007
mongodbとHadoopによるデータ解析 doryokujin氏は同い年だ。 #tlstudy [T]
2011-07-13 19:04:52
前佛 雅人 - Masahito Zembutsu
@zembutsu
まずは @doryokujin さん「mongoDBとHadoopによるデータ解析」 #tlstudy
2011-07-13 19:05:46
株式会社リンク広報担当
@LINK_PR
今回はレッドブルのお姉さんお二人に翼を授けに来ていただきました！ @aigamo: tokyo linux studyに到着 Red Bullをいただいた！ #tlstudy
2011-07-13 19:05:56
株式会社リンク広報担当
@LINK_PR
おねーさんは19時までの天使で、もうお帰りになられました〜。ありがとう、お姉さんたち！ @tagomoris: Tokyo Linux Study #2 やってきた。なんか入口でレッドブルなおねーさんにレッドブルもらったｗ #tlstudy
2011-07-13 19:07:12
joker1007 (アルフォートおじさん)
@joker1007
ログの収集をAmazon S3か、DCから行って、HDFSに入れるのは結構時間がかかると思うのだが、どうやってるんだろう。 #tlstudy [T]
2011-07-13 19:15:43
tagomoris
@tagomoris
mongoDBに入れとけば、JSONで取り出してjQueryに食わせて可視化が超ラク、という話。そのまま表示できるデータならこれでいいか。集約関数の結果もJSONだろうからmongoべったりならそれでいいのか #tlstudy
2011-07-13 19:19:28
tagomoris
@tagomoris
データストアのスケールアウト、DailyバッチからHourlyバッチへの切り替え、集計処理単位を小さくした軽量集計フレームワークが必要、生ログへのアクセス性の維持も大事 #tlstudy
2011-07-13 19:22:26
前佛 雅人 - Masahito Zembutsu
@zembutsu
一日一回の解析から、フレキシブルに毎時毎のバッチ処理のためにMongoDBを使うようになったと。エンジニアにはバグ情報の生ログ、サポート向けには対象ユーザの行動をトラッキングするため（クレーム対応にデータで参照する仕組み）が必要になった #tlstudy
2011-07-13 19:24:24
株式会社リンク広報担当
@LINK_PR
レッドブルは懇親会でも配りますので、その時にお飲みください！ @understeer: 早くブル飲みたいよー(´Д` ) #tlstudy
2011-07-13 19:26:50
MATSUO a.k.a マッツォ
@understeer
数億行/日 のログをMongoDBにぶっこむので、12台(Replicaset 6pri+6seco) に生データを入れる。#tlstudy
2011-07-13 19:27:39
前佛 雅人 - Masahito Zembutsu
@zembutsu
生ログは24シャードに分割。一日24時間だから、hour をキーに24分割 #tlstudy
2011-07-13 19:29:01
株式会社リンク広報担当
@LINK_PR
ありがとうございます！ 質問なども受け付けますので、何かありましたら、いつでもどうぞ！ @kakoi_ferment: #tlstudy にはUstで参加。
2011-07-13 19:29:30
MATSUO a.k.a マッツォ
@understeer
hourをシャードキーにすると、シャーディングクラスタの負荷がどこに掛かっているかが把握しやすい。#tlstudy
2011-07-13 19:31:12
MATSUO a.k.a マッツォ
@understeer
N-Mapper-Combiner 1-Reduce という、MongoDBのMapReduce。MongoのMR の優位性を語る@doryokujin △! #tlstudy
2011-07-13 19:33:32