KLab勉強会#6

ただハッシュタグ #KLabを拾っただけです。 多分重複は除いてあります。
2
KLab株式会社 @KLab_pr

本日19:00よりKLab勉強会#6を開催します。#KLab【詳細】http://t.co/lDedc1Ex 【USTREAM】http://t.co/VVzzUOco

2012-06-25 18:49:42
LambdaCracker @masahiroSkd

19:00開始なのに人がまばら… #KLab

2012-06-25 18:55:16
mk📱 @xga

#Klab ヒルズ森タワー受け付けに着いてはもう終わった形なのでしょうか?

2012-06-25 19:11:31
matsuu @matsuu

受付いないよーどこいけばいいの… #KLab

2012-06-25 19:12:58
matsuu @matsuu

#KLab 普通に受け付けした。greeと違って素直に入れた。

2012-06-25 19:18:25
LambdaCracker @masahiroSkd

KLabは結構変わった経歴の方が多いのかなぁw #Klab

2012-06-25 19:32:38
matsuu @matsuu

#KLab KLabのログ収集のしくみは、深夜のバッチ実行により、日付ごとのディレクトリに分割、1時間毎に1サーバに集約

2012-06-25 19:35:25
matsuu @matsuu

#KLab ログはbzip2で圧縮。平均ファイルサイズ60MB、解凍すると数十GB。大変

2012-06-25 19:36:07
matsuu @matsuu

#KLab bzip2で圧縮しているけど、必要なログって部分的であることが多い。bzip2圧縮のまま部分的に取得できるといいんじゃね?

2012-06-25 19:36:51
matsuu @matsuu

#KLab BZip2のヘッダ情報をもとに場所を探ってみた。しかしハフマン符号化されててバイトの開始位置が不定。しかしそこはビットシフトされた8パターンのビットパターンを検索すればいけるらしい。

2012-06-25 19:41:28
matsuu @matsuu

#KLab bzip2recoverなどを使えば同じことができる。

2012-06-25 19:42:01
matsuu @matsuu

#KLab bzip2の並列解凍 pbzip2などがあるよ

2012-06-25 19:43:02
matsuu @matsuu

#KLab bzip2で圧縮したログファイルでから日付で探索するプログラムを作った。二分探索で高速抽出。

2012-06-25 19:44:41
matsuu @matsuu

#KLab grepよりも早い比較。まぁgrepは遅いのでawkと比較するといいと思いますよ。

2012-06-25 19:45:37
matsuu @matsuu

#KLab bzcat hoge.bz2 | grepよりもbzgrepの方が早かったりするんだろうか。同じかな?

2012-06-25 19:46:13
Mew Roy aka ネコビト @hdknr

RT @matsuu: #KLab bzip2の並列解凍 pbzip2などがあるよ

2012-06-25 19:49:50
matsuu @matsuu

#KLab バイナリエディタはStirlingなるものを使われてはる。Windows用。

2012-06-25 19:51:11
matsuu @matsuu

#KLab 俺のツイートが読まれてる!

2012-06-25 19:55:15
matsuu @matsuu

#KLab 「サッカーのルールを知らなくてもサッカーゲームが作れる!」

2012-06-25 19:57:17
LambdaCracker @masahiroSkd

次はソーシャルのデータマイニングについて。 #KLab

2012-06-25 19:57:39
LambdaCracker @masahiroSkd

メモを取りながらネタに走ることしか考えてない #KLab

2012-06-25 19:58:29
matsuu @matsuu

#KLab ソーシャルゲームxデータ解析 高田敦史さん

2012-06-25 19:59:07
matsuu @matsuu

#KLab 最初に、何のためにデータの収集・解析が必要なのか。それは、・ゲームの運用改善、サービス向上に役立てるため。・運用企画のフローの一部に組み込まなければならない。・技術だけで完結する話でもない

2012-06-25 20:00:36