イベントログ収集ツール #fluent 周りの最近の話題
やっとこさfluentについて少し見てみたけど軽量な感じだし拡張しやすそうで、かなり良い感じっぽい。 本体のコードも簡潔なように見えるけどこれがRubyの力って感じなのかな…
2011-09-30 14:04:59#fluent というログ管理ツールがバズっていたので環境を作ってみたよ!というお話 http://t.co/j9OmWrgt
2011-09-30 12:54:13just released fluent-plugin-scribe v0.9.9 to include @tagomoris patch.
2011-09-29 00:47:38tail input pluginをコピーして、vmstatを勝手に入力するfluent plugin作ってみた。かなり適当。 http://t.co/E6yWNIkx
2011-09-30 12:01:04fluent plugin for hbase を key は timestamp. column-family は tag になるように修正. http://t.co/qFciwApt #hbase #fluent
2011-09-29 03:53:34fluentをgrowl outにつなげて遊ぶなど。これいいなぁ。適当なスクリプト書いたときにタグでほいほい出力分けられるのか。
2011-09-30 11:52:21それ楽しそうwww RT @goth_wrist_cut: fluentをgrowl outにつなげて遊ぶなど。これいいなぁ。適当なスクリプト書いたときにタグでほいほい出力分けられるのか。
2011-09-30 11:53:55@goth_wrist_cut わりと早めにコードをgithubに上げた上で fluent-plugin-growl.gem をリリースして下さい^^;
2011-09-30 13:14:57@tagomoris あとこれ、categoryフィールドが、fluentのタグになると便利ですかね?挙動に悩み中。
2011-09-29 00:58:04@kzk_mover 自分はその方が嬉しいですねー。元々メタデータだったものがbodyに入ってきちゃうとscribedそのもののメッセージと形態が変わっちゃうので面倒くさいです。あとtagがファイル名orディレクトリ名に入ると嬉しいな!(一発でhiveにLOADできるので)
2011-09-29 01:00:04明日のmeetupを牛耳れば俺の望むがままの分散stream processing frameworkがfluent上に作られる公開プロジェクトが立ち上がる可能性が……(ニヤニヤ
2011-09-29 01:02:00@kzk_mover @kzk_mover 自分がパッチ書くならって考えてたのは、あるオプションを有効にするとcategoryをtagに持っていってbodyはmessageの文字列だけになるって感じでした。期待してまーす。YAPC(ry
2011-09-29 01:03:57out_hoopを作ってラクラクに書けるけど性能問題に悩むのと、out_hdfsにいきなり取り掛かって茨の道をどこまで行けるかわからないまま突き進むのではどちらが明るい未来だろう
2011-09-29 01:04:50@tagomoris Scribeでlogを転送した時って、category情報はルーティングのみに使われて、保存されたデータには含まれないという理解で良いのでしょうか…? ^_^;
2011-09-29 01:05:28@kzk_mover 保存時に基本的に $category/filename みたいな感じになるので、カテゴリごとに場所が分かれますね。もしくはその手前で store で分岐するか。
2011-09-29 01:06:46明日の #fluent meet-up が濃すぎる件 Fluent Meetup #1 : ATND - http://t.co/DQLyKMZn
2011-09-29 01:07:34@kzk_mover ああ、で、ログ行には含まれません。時刻とかの付加もなし。scribeは基本的に渡されたmessageを書き出すだけで、末尾に改行を追加するかどうかだけ選べます。
2011-09-29 01:07:59@tagomoris なるほど。ではcategoryをtagに使ってしまって良さそうです。outputプラグインでtag情報を使って書きだすpluginを作れば良さそう。 > (例) http://t.co/E04lLQ3B
2011-09-29 01:08:48